NVIDIA и лаборатория AI4Bharat при IIT Madras собрали корпус для обучения ИИ на 22 языках Индии. В нём около 2,8 трлн токенов: 2,601 трлн в местных письменностях и ещё 224,6 млрд в латинской записи. Вместе с корпусом обещан открытый конвейер, который переводит английские документы, проверяет перевод и чинит неудачные куски.
Тут важна не только гора текста. Индийские языки часто проигрывают английскому не потому, что для них нельзя сделать модель, а потому что модели тупо не на чем нормально учиться. Особенно если нужен не бытовой чат, а математика, код, таблицы и технические объяснения. В этот набор как раз положили веб-тексты, вопросы-ответы, математику и код из 15 подборок Nemotron-CC-v2.
Авторы не просто прогнали всё через переводчик и поставили галочку. Для 12 языков текст переводили целыми документами, чтобы не развалить смысл между абзацами, таблицами и формулами. Затем другой проход оценивал смысл, стиль, терминологию и форматирование. В корпус оставляли варианты с оценкой от 75 из 100; слабые сначала пытались исправить. Эти 75 баллов — порог внутренней проверки, а не «точность перевода 75%». Такая мелочь обычно теряется в красивой цифре про триллионы.
Есть и другой подвох. 2,8 трлн токенов — не объём уникальных английских документов. Один исходный текст мог появиться в переводах и разных системах письма. Для 12 языков есть и родная графика, и латиница: например, хинди или тамильский текст может быть представлен в обоих видах. Это полезно для реальной переписки, где люди нередко пишут индийские слова латинскими буквами, но считать это отдельными знаниями модели было бы лукавством.
Часть работы уже использовали: Nemotron 3.5 Super VL дообучали на 10 млрд индийских токенов из 12-языкового среза и естественных текстов. Но сам новый корпус и рецепт пока только обещают выпустить «скоро». Даты, условий доступа и лицензии в публикации нет. Так что это пока не готовая полка для разработчика, а заявленный большой склад с понятной идеей: дать языкам Индии не только переведённый текст, но и способ наращивать его дальше.
Второго независимого источника для этой заметки нет: все конкретные цифры и описание процесса — из публикации NVIDIA и AI4Bharat.