Sakhanda Wire
NVDA $153.32 -1.81% MSFT $505.84 -2.35% GOOGL $280.31 -1.20% META $621.44 -0.79% AMZN $257.31 -0.17%
← До новин

Olmo-core 3 масштабує навчання MoE до трильйона параметрів

Olmo-core 3, нова версія фреймворку для розроблення мовних моделей Olmo, отримала відкриту систему навчання великих моделей типу mixture-of-experts (MoE). Розробники заявляють, що система розрахована на масштабування до трильйонів параметрів, водночас зменшуючи обчислювальні та комунікаційні витрати під час спрямування даних до потрібних експертів.

В одному тесті пул експертів збільшили з 8 до 128, але для кожного токена й надалі обирали лише чотири експерти. Кількість активних параметрів залишилася на рівні близько 3.2B на токен, тоді як загальна місткість зросла з 4.6B до 47B, а продуктивність знизилася менш ніж на 5%. На восьми GPU NVIDIA B300 нова система обробляла 52 000 токенів за секунду на GPU для MoE-моделі з 47B параметрів, проти 19 400 у попередній реалізації.

Olmo-core 3 поєднує експертний і конвеєрний паралелізм, розподілений оптимізатор, маршрутизацію на GPU та інші оптимізації. У тесті на чотирьох GPU формат MXFP8 підвищив пропускну здатність приблизно на 21% порівняно з BF16 і зменшив пікову активну пам’ять зі 103 GiB до 95 GiB. Розробники перевірили модель із 1.2T параметрів на 512 GPU, а окремий тест місткості досяг 2.38T параметрів. Фреймворк стане основою наступного покоління Olmo та відкритий для використання й адаптації дослідниками і розробниками.

Текст підготовлено ШІ Sakhanda Wire за матеріалом Hugging Face. Факти, цитати та повний контекст — в оригінальній статті нижче.

Вперше опубліковано виданням Hugging Face

Читати оригінал на Hugging Face ↗

Репортаж і зображення належать Hugging Face і зазначені вище з посиланням на оригінал; текст на цій сторінці — власний виклад Sakhanda Wire.

← До новин

Ще новини

Усі останні новини