Olmo-core 3 масштабує навчання MoE до трильйона параметрів
Olmo-core 3, нова версія фреймворку для розроблення мовних моделей Olmo, отримала відкриту систему навчання великих моделей типу mixture-of-experts (MoE). Розробники заявляють, що система розрахована на масштабування до трильйонів параметрів, водночас зменшуючи обчислювальні та комунікаційні витрати під час спрямування даних до потрібних експертів.
В одному тесті пул експертів збільшили з 8 до 128, але для кожного токена й надалі обирали лише чотири експерти. Кількість активних параметрів залишилася на рівні близько 3.2B на токен, тоді як загальна місткість зросла з 4.6B до 47B, а продуктивність знизилася менш ніж на 5%. На восьми GPU NVIDIA B300 нова система обробляла 52 000 токенів за секунду на GPU для MoE-моделі з 47B параметрів, проти 19 400 у попередній реалізації.
Olmo-core 3 поєднує експертний і конвеєрний паралелізм, розподілений оптимізатор, маршрутизацію на GPU та інші оптимізації. У тесті на чотирьох GPU формат MXFP8 підвищив пропускну здатність приблизно на 21% порівняно з BF16 і зменшив пікову активну пам’ять зі 103 GiB до 95 GiB. Розробники перевірили модель із 1.2T параметрів на 512 GPU, а окремий тест місткості досяг 2.38T параметрів. Фреймворк стане основою наступного покоління Olmo та відкритий для використання й адаптації дослідниками і розробниками.
Текст підготовлено ШІ Sakhanda Wire за матеріалом Hugging Face. Факти, цитати та повний контекст — в оригінальній статті нижче.