Масштабирование предобучения для индийских языков: 2,8 трлн токенов и открытый конвейер генерации данных
Авторы: AI4Bharat — Mohammed Safi Ur Rahman Khan, Mitesh Khapra, Anoop Kunchukuttan. NVIDIA — Niket Agarwal, Raviraj Joshi, Anusha Kamath, Markus Kliegl, Yev Meyer, Sriharsha Niverty, Kiran Praveen, Utkarsh Vaidya.
Мы рады представить Nemotron-pretraining-Indic-v1 — примерно 2,8 трлн токенов на 22 индийских языках, который вскоре будет выпущен вместе с использованным для его создания открытым конвейером генерации данных с ускорением на GPU. Речь идет о 22 языках, перечисленных в Конституции Индии: это первые языки для 97% индийцев, то есть почти 1,2 млрд граждан по данным переписи 2011 года. Этот релиз, разработанный NVIDIA совместно с Индийским технологическим институтом в Мадрасе, ведущим инженерным институтом Индии, и его лабораторией AI4Bharat, предоставляет разработчикам моделей значительный новый ресурс для предобучения на индийских языках. Конвейер охватывает весь рецепт генерации, включая промпты, рабочие процессы с LLM и проверки качества, поэтому разработчики смогут адаптировать его к собственным исходным материалам и генерировать больше данных для своих задач.
AI4Bharat, исследовательская лаборатория индийских языков при Индийском технологическом институте в Мадрасе, создает наборы данных и модели с открытым исходным кодом для индийских языков. Такие ее ресурсы, как Sangraha — открытый корпус для предобучения на 22 индийских языках, — помогли заложить основу открытых исследований языковых моделей для индийских языков. Наш совместный релиз с открытым исходным кодом значительно расширяет доступный сообществу объем открытых синтетических обучающих данных для индийских языков. Он переносит широкий спектр отобранных англоязычных материалов, включая математику, код и вопросы с ответами, на индийские языки, предоставляя командам больше обучающих материалов для создания моделей, способных объяснять технические концепции, решать задачи и отвечать на вопросы на этих языках. Каждая запись восходит к отобранному исходному документу, а каждый результат проверяется по входным данным, поэтому синтетический текст остается основанным на реальной информации.
Mitesh Khapra, руководитель AI4Bharat и участник списка TIME100 AI 2025 года, сформулировал основную проблему: технологии индийских языков отстают от английского, потому что «у нас недостаточно данных для индийских языков». Мы отвечаем на этот призыв большим объемом данных и открытым рецептом для генерации новых.
Корпус также учитывает особенности письма пользователей. Он включает данные в оригинальной письменности для всех 22 языков и романизированный текст для двенадцати, охватывая 34 сочетания языка и письменности. Наши рабочие процессы объединяют перевод на уровне документов, оценку качества и целевое исправление, а также проверки, сохраняющие такое содержимое, как уравнения, таблицы и код. Эти данные дополняют естественно написанные тексты на индийских языках, которые по-прежнему необходимы для передачи местных знаний и культурного контекста.
Мы публикуем открытый рецепт генерации, чтобы сообщество могло не только воспроизвести эти данные, но и развить эту работу. Команды могут напрямую использовать корпус, адаптировать промпты и проверки качества или передавать в рабочий процесс собственные исходные документы. Открывая и данные, и сам процесс, мы стремимся сделать крупномасштабную генерацию данных для индийских языков более доступной и дать большему числу разработчиков возможность участвовать в создании более сильных моделей для этих языков.
Продолжение предобучения модели Nemotron 3.5 Super VL добавило 10 млрд индийских токенов, взятых из подмножества этого корпуса для двенадцати языков и из естественных текстов на индийских языках. В нашем техническом отчете о модели изложена полная история. В будущих моделях Nemotron мы планируем продолжить использовать этот корпус.
Что входит в корпус?
Рисунок 1. Корпус содержит 2601,0 млрд токенов в оригинальной письменности и 224,6 млрд романизированных токенов. Подсчет выполнен с использованием токенизатора Gemma-4. Записи документов включают переводы и варианты письменности общих исходных материалов; это не количество уникальных англоязычных документов.
Корпус содержит две группы языковых конфигураций:
- Данные в оригинальной и романизированной письменности: бенгальский, гуджарати, хинди, каннада, малаялам, маратхи, непали, одия, пенджаби, тамильский, телугу и урду.
- Данные в оригинальной письменности: ассамский, бодо, догри, кашмири, конкани, майтхили, манипури, санскрит, сантали и синдхи.
Здесь оригинальная письменность описывает систему письма: текст по-прежнему переводится с английского. Романизированный означает текст на индийском языке, записанный латиницей, а не английский перевод. Для каждого из двенадцати языков с двумя вариантами письменности романизация охватывает подмножество принятых переводов в оригинальной письменности.
Это различие важно при формировании обучающей смеси. Записи в оригинальной и романизированной письменности обеспечивают различное знакомство с письменностями, но могут выражать одно и то же содержание. Количество токенов описывает сохраненный корпус, включая принятые переписывания, а не бюджет токенов конкретного запуска обучения. Кроме того, количество зависит от используемого токенизатора, поэтому инвентаризацию корпуса и подсчет обучающих токенов следует рассматривать отдельно.
От исходных документов на английском к обучающим данным на индийских языках
Для создания этого корпуса мы начинаем с документов из 15 подмножеств Nemotron-CC-v2, охватывающих веб-тексты, материалы в формате вопросов и ответов, математику, код и другой специализированный контент. Мы используем NeMo Data Designer, фреймворк NVIDIA с открытым исходным кодом для генерации синтетических данных, чтобы выполнять перевод, проверки качества и целевое исправление. На протяжении всего рабочего процесса мы сохраняем идентификатор каждого источника, чтобы разработчики могли проследить результат до исходного документа. Такая прозрачная информация о происхождении данных делает открытые данные пригодными для аудита и дальнейшего использования. На рисунке 2 показан рабочий процесс для двенадцати языков.
Рисунок 2. Четырехэтапный конвейер создания синтетических данных для двенадцати индийских языков, реализованный с помощью NeMo Data Designer и Gemma-4-31B-it. Мы переводим английские документы, оцениваем качество перевода, исправляем результаты с низкими оценками и преобразуем часть принятых переводов в латиницу. Для остальных десяти языков используется отдельный рабочий процесс Indic Translate, описанный ниже.
Рабочий процесс для двенадцати языков
Для этих двенадцати языков мы переводим документы целиком, чтобы модель могла использовать контекст между абзацами, таблицами и уравнениями. Мы выбрали Gemma-4-31B-it, сравнив модели на полных документах и проверив качество перевода и сохранение технического содержания. Наши промпты различают прозу, которую нужно перевести, и содержимое, которое необходимо сохранить, включая код, уравнения, URL-адреса и форматирование.
После перевода мы используем ту же модель для оценки каждого результата по его английскому источнику. Рубрика, созданная по образцу многомерных показателей качества (MQM), открытого фреймворка для классификации переводческих ошибок по типу и серьезности, охватывает смысл, беглость, терминологию, стиль и форматирование. Мы сохраняем только результаты, набравшие не менее 75 баллов из 100 (это балл по рубрике, а не процент точности). Для результатов с более низкими оценками мы используем обратную связь оценки для исправления, а затем повторно проверяем их по тому же порогу. Этот процесс восстановил 438,4 млрд токенов в данных оригинальной и романизированной письменности; они уже включены в общий объем корпуса. Выборочные проверки людьми и тесты с намеренно внесенными ошибками помогли выявить пропуски и остатки английского текста, что позволило улучшить наши промпты и проверки.
Принятые переводы в оригинальной письменности также служат отправной точкой для романизированных данных. Мы преобразуем их часть в латиницу и проверяем каждый результат по его входному тексту в оригинальной письменности. Это позволяет отделить перевод от преобразования письменности. В нашем первоначальном сравнении с участием людей такой двухэтапный подход дал меньше галлюцинированных добавлений и меньше остаточного английского текста, чем непосредственная генерация романизированного текста из английского.
Рабочий процесс для десяти языков
Для остальных десяти языков мы адаптируем рабочий процесс с учетом проблем качества длинных документов и стабильности письменности, выявленных в ходе сравнений. Мы выполняем перевод с помощью Indic Translate — модели перевода на уровне документов для английского и 22 индийских языков от Bodhan AI, некоммерческого центра ИИ в образовании, созданного при Индийском технологическом институте в Мадрасе. Затем Gemma-4-31B-it оценивает каждый перевод по его английскому источнику. Для восьми языков мы сохраняем подход с обработкой целого документа. Для более длинных документов на сантали мы переводим перекрывающиеся окна и восстанавливаем документ; для манипури сначала переводим текст в бенгальскую письменность, а затем преобразуем его в мейтей-майек, оригинальную письменность этого языка. Эти рабочие процессы сохраняют результаты с оценкой не менее 75 из 100 и создают только данные в оригинальной письменности, без переписывания на основе обратной связи.
Что изменилось после продолжения предобучения на индийских языках?
В техническом отчете Nemotron 3.5 Super VL сравнивается контрольная точка непосредственно до продолжения предобучения на индийских языках (CPT) с контрольной точкой после этого этапа. Заданный бюджет составлял 100 млрд обучающих токенов, причем 10% (10 млрд токенов) было выделено на смесь синтетических и естественных текстов на индийских языках. Остальные 90% сохранили относительные пропорции предыдущей обучающей смеси.
Показатели выросли по всем пяти представленным тестам знаний и рассуждений на индийских языках: MILU, Indic MMLU-Pro, Indic ARC-Challenge, Indic ARC-Easy и Indic GSM8K.
Рисунок 3. Nemotron 3.5 Super VL до и после этапа CPT для индийских языков. Прирост составляет от 4,98 до 9,82 процентного пункта. В сравнении отражены изменения на этапе обучения, объединяющем синтетические и естественные данные на индийских языках, а не изолированный вклад синтетического корпуса. Охват языков различается в зависимости от теста; это контрольные точки уровня этапа, а не сравнение финальных релизов моделей.
Источник: технический отчет Nemotron 3.5 Super VL, таблица 2. В GSM8K одия исключен, поскольку оценка превысила лимит контекста обслуживания.
Эти результаты подтверждают совместный рецепт CPT с использованием синтетических и естественных данных на индийских языках, оставляя выбор смеси для других моделей и языков предметом дальнейшего изучения.
Сопутствующий отчет по индийским языкам исследует смеси источников, размер пула синтетических данных и охват письменностей, используя принятые данные первого прохода для группы из двенадцати языков. Оценка полного корпуса, включая восстановленные переписывания и остальные десять языков, остается следующим этапом этих контролируемых исследований.
Более широкие возможности работы с индийскими языками в Nemotron 3.5 Super VL
Помимо результатов этапа CPT, как выпущенная модель сравнивается с предыдущим поколением? На рисунке 4 Nemotron 3.5 Super VL сравнивается с Nemotron 3 Super по результатам задач на индийских языках и качеству языка. Эти результаты отражают полный конвейер обучения выпущенной модели, включая CPT для индийских языков и последующее обучение.
Nemotron 3.5 Super VL показывает более высокие результаты в пяти из шести представленных тестов задач, охватывающих знания, рассуждения, математику, код и перевод. Следование инструкциям в IFEval 1.5 снизилось на 2,04 пункта. Модель также улучшилась по всем четырем измерениям IndiVibe: полезности, беглости, соответствию языку и письменности, а также уместной подробности. IndiVibe — это открытый тест Sarvam AI, состоящий из промптов в стиле общения с ассистентом на индийских языках. В совокупности эти оценки проверяют как возможности модели, так и качество ее общения на индийских языках.
Рисунок 4. Результаты задач на индийских языках и качество языка в поколениях Nemotron Super. Слева: шесть тестов задач. Справа: предварительные условные оценки предпочтений IndiVibe, а не прямые показатели побед в очном сравнении. Подписи показывают изменения в процентных пунктах, за исключением WMT24++, где используются пункты chrF. Подробности о тестах и оценивании см. в сопутствующем техническом отчете по индийским языкам.
Начните создавать
Загрузите корпус
Начните с языков и письменностей, необходимых вашей модели, изучите пример и ознакомьтесь с карточкой набора данных и лицензией перед обучением. Конфигурации используют теги языка, письменности и региона: например, hi-Deva-IN обозначает хинди на деванагари, а hi-Latn-IN — романизированный хинди.
Пример ниже запрашивает идентификатор репозитория из карточки набора данных, затем определяет доступные разбиения и загружает потоковый пример.
from datasets import get_dataset_split_names, load_dataset
dataset_id = input("Repository ID from the dataset card: ").strip()
config = "hi-Deva-IN"
splits = get_dataset_split_names(dataset_id, config_name=config)
print("Available splits:", splits)
data = load_dataset(
dataset_id, name=config, split=splits[0], streaming=True
)
print(next(iter(data)))
Hugging Face Datasets поддерживает потоковую загрузку, поэтому читатели могут изучать записи, не скачивая весь корпус. После выхода релиза зафиксируйте ревизию набора данных для воспроизводимых экспериментов.
Для первого исследования обучения сравните смеси при фиксированном бюджете токенов и зафиксируйте доли естественных/синтетических и оригинальных/романизированных данных. Отслеживайте результаты по каждому языку наряду с сохранением возможностей английского языка и качеством языка/письменности. При создании отложенных разбиений учитывайте записи, полученные из одного источника на разных языках и в разных письменностях.
Чтобы составить более полный рецепт, объедините корпус с данными последующего обучения Nemotron, например с коллекциями Chat & Instruction или Post-Training Blends. Для синтетических данных, специфичных для Индии, используйте в NeMo Data Designer набор Nemotron-Personas-India — синтетические персоны на английском и хинди, основанные на распределениях реального мира в Индии.
Адаптируйте рецепт генерации
Плагин Nemotron Bharat translation plugin с открытым исходным кодом для NeMo Data Designer предоставляет промпты для перевода и оценки, опциональное переписывание на основе обратной связи, разбиение документов на окна и поддержку переназначения письменности. Используйте его справочник конфигурации, чтобы выбирать модели и языки, адаптировать промпты к своему домену и задавать параметры переписывания. Сопутствующая заметка для разработчиков объясняет рабочий процесс и инженерные решения.
Начните с небольшой выборки собственных исходных документов. Проверьте качество перевода и сохранение кода, математических формул и форматирования, а затем до масштабирования уточните промпты и проверки вместе с рецензентами — носителями соответствующих языков. Рассматривайте генерацию и приемку корпуса как отдельные этапы: плагин возвращает кандидатов и оценки, а ваша политика фильтрации определяет, какие записи попадут в обучающий корпус.
Область применения и ограничения
Перевод расширяет доступ к исходным материалам, но не заменяет тексты, изначально написанные на индийских языках, и не гарантирует охват местных знаний и культуры. Мы рекомендуем объединять этот корпус с правильно отобранными естественными текстами на индийских языках и оценивать полученную смесь с учетом предполагаемого варианта использования.
Оценка качества в основном автоматизирована и дополнена выборочной проверкой людьми, охват которой различается для разных языков. В рабочем процессе для двенадцати языков (рисунок 2) переводчик также выступает в роли оценщика. В сохраненном тексте все еще могут оставаться ошибки, а рабочий процесс для десяти языков требует более широкой проверки носителями языков. Проверки идентификаторов источников удаляют дубликаты обработки; это не семантическая дедупликация схожего содержания.
Параллельно с созданием корпуса AI4Bharat при Индийском технологическом институте в Мадрасе при поддержке NVIDIA разрабатывает Indic-LLM-Eval-Suite — открытый развивающийся набор тестов возможностей моделей для индийских языков. Он помогает разработчикам моделей оценивать как результаты задач, так и качество языка. См. сопутствующую статью Лучшим моделям нужны лучшие тесты: знакомство с Indic-LLM-Eval-Suite.
Изучите языковые конфигурации, протестируйте обучающую смесь или адаптируйте открытый рецепт к новому домену. Публикация результатов по отдельным языкам и улучшений рабочего процесса генерации поможет сообществу развивать эту работу.
Дополнительные материалы и благодарности
Сопутствующие отчеты Scaling Synthetic Pre-training Data and Evaluation for Indic LLMs и Nemotron 3.5 Super VL and Lightning technical report содержат сведения о составе корпуса, методах генерации, экспериментах и оценивании. Оценка — вторая половина этой работы. О тестовой стороне см. сопутствующую статью AI4Bharat и NVIDIA Лучшим моделям нужны лучшие тесты: знакомство с Indic-LLM-Eval-Suite.
В этой работе объединились NVIDIA, Индийский технологический институт в Мадрасе, AI4Bharat и Bodhan AI. Мы также выражаем признательность за вклад в модели и инструменты, использованные в конвейере: Gemma от Google, Indic Translate от Bodhan AI и NeMo Data Designer. Дополнительные ресурсы NVIDIA для работы с данными доступны в коллекции наборов данных для предобучения Nemotron.
Модели, упомянутые в этой статье 4
Наборы данных, упомянутые в этой статье 4
Коллекции, упомянутые в этой статье 2
Сообщество
· Зарегистрируйтесь или войдите, чтобы оставить комментарий
Модели, упомянутые в этой статье 4
Наборы данных, упомянутые в этой статье 4
Коллекции, упомянутые в этой статье 2
Переведено автоматически с английского. Оригинал статьи — по ссылке ниже.