Olmo-core 3 масштабирует обучение MoE до триллиона параметров
Olmo-core 3, новая версия фреймворка для разработки языковых моделей Olmo, получила открытую систему обучения крупных моделей типа mixture-of-experts (MoE). Разработчики заявляют, что она рассчитана на масштабирование до триллионов параметров при снижении вычислительных и коммуникационных затрат, связанных с направлением данных к нужным экспертам.
В одном из тестов пул экспертов увеличили с 8 до 128, сохранив выбор только четырех экспертов для каждого токена. Число активных параметров осталось примерно на уровне 3.2B на токен, тогда как общая емкость выросла с 4.6B до 47B, а скорость обучения снизилась менее чем на 5%. На восьми GPU NVIDIA B300 новая система обрабатывала 52 000 токенов в секунду на GPU для MoE-модели с 47B параметров против 19 400 у прежней реализации.
Olmo-core 3 объединяет экспертный и конвейерный параллелизм, распределенный оптимизатор, маршрутизацию на GPU и другие оптимизации. В тесте на четырех GPU формат MXFP8 повысил пропускную способность примерно на 21% по сравнению с BF16 и снизил пиковую активную память со 103 GiB до 95 GiB. Была проверена модель с 1.2T параметров на 512 GPU, а отдельный тест емкости достиг 2.38T параметров. Фреймворк станет основой следующего поколения Olmo и открыт для использования и адаптации исследователями и разработчиками.
Текст подготовлен ИИ Sakhanda Wire по материалу Hugging Face. Факты, цитаты и полный контекст — в оригинальной статье ниже.