Olmo-core 3 разширява обучението на MoE модели до трилион параметри
Olmo-core 3, нова версия на рамката за разработване на езиковите модели Olmo, въвежда отворена система за обучение на големи модели от типа mixture-of-experts (MoE). Разработчиците посочват, че тя е проектирана да се мащабира до трилиони параметри, като ограничава разходите за изчисления и комуникация при насочването на данни към отделните експерти.
В един от тестовете броят на експертите е увеличен от 8 на 128, докато за всеки токен са избирани само четири. Активните параметри са останали около 3.2B на токен, а общият капацитет е нараснал от 4.6B до 47B при спад на производителността под 5%. Системата е обработила 52 000 токена в секунда на GPU за MoE модел с 47B параметъра върху осем NVIDIA B300, спрямо 19 400 при предишната реализация.
Olmo-core 3 използва експертен и конвейерен паралелизъм, разпределен оптимизатор, GPU-базирано маршрутизиране и други оптимизации. В тест с четири GPU MXFP8 е повишил пропускателната способност с около 21% спрямо BF16 и е намалил активната памет от 103 GiB на 95 GiB. Изпитана е конфигурация с 1.2T параметъра върху 512 GPU, а отделен тест за капацитет е достигнал 2.38T параметра. Рамката ще служи за следващото поколение Olmo и е достъпна за адаптиране от изследователи и разработчици.
Текстът е изготвен от ИИ на Sakhanda Wire по материал на Hugging Face. Фактите, цитатите и пълният контекст са в оригиналната статия по-долу.