Sakhanda Wire
NVDA $153.32 -1.81% MSFT $505.84 -2.35% GOOGL $280.31 -1.20% META $621.44 -0.79% AMZN $257.31 -0.17%
← Към новините

Olmo-core 3 разширява обучението на MoE модели до трилион параметри

Olmo-core 3, нова версия на рамката за разработване на езиковите модели Olmo, въвежда отворена система за обучение на големи модели от типа mixture-of-experts (MoE). Разработчиците посочват, че тя е проектирана да се мащабира до трилиони параметри, като ограничава разходите за изчисления и комуникация при насочването на данни към отделните експерти.

В един от тестовете броят на експертите е увеличен от 8 на 128, докато за всеки токен са избирани само четири. Активните параметри са останали около 3.2B на токен, а общият капацитет е нараснал от 4.6B до 47B при спад на производителността под 5%. Системата е обработила 52 000 токена в секунда на GPU за MoE модел с 47B параметъра върху осем NVIDIA B300, спрямо 19 400 при предишната реализация.

Olmo-core 3 използва експертен и конвейерен паралелизъм, разпределен оптимизатор, GPU-базирано маршрутизиране и други оптимизации. В тест с четири GPU MXFP8 е повишил пропускателната способност с около 21% спрямо BF16 и е намалил активната памет от 103 GiB на 95 GiB. Изпитана е конфигурация с 1.2T параметъра върху 512 GPU, а отделен тест за капацитет е достигнал 2.38T параметра. Рамката ще служи за следващото поколение Olmo и е достъпна за адаптиране от изследователи и разработчици.

Текстът е изготвен от ИИ на Sakhanda Wire по материал на Hugging Face. Фактите, цитатите и пълният контекст са в оригиналната статия по-долу.

Първоначално публикувано от Hugging Face на

Прочетете оригинала в Hugging Face ↗

Репортажът и изображението принадлежат на Hugging Face и са посочени по-горе с връзка към оригинала; текстът на тази страница е собствено изложение на Sakhanda Wire.

← Към новините

Още новини

Всички последни новини