Aleph Alpha представи 78,1-милиарден модел Kolibri
Aleph Alpha представи Kolibri-1 — модел на езика с отворени тегла и архитектура Mixture-of-Experts, разработен за английски и немски език. Той има общо 78,1 милиарда параметъра, но за всеки токен активира 3,46 милиарда, или 4,4% от тях. Моделът обработва контекст до 1 048 576 токена и позволява задаване на нивото на разсъждение за всяка заявка. Теглата са публикувани под лиценза Apache 2.0 в Hugging Face.
FP8 контролна точка с размер около 78 GB може да работи на един ускорител B200, B300 или H200, както и на два H100 SXM5. За обслужване се използва vLLM с отделни парсери за разсъждение и извикване на инструменти. Kolibri е разработен изцяло от екипи в Германия, а обучението е извършено върху инфраструктура в Германия и Финландия. Според Aleph Alpha дизайнът е съобразен с EU AI Act, GDPR и Кодекса за добри практики за универсални AI модели на ЕС.
Обучението обхваща приблизително 24 трилиона токена, включително над 2 трилиона подбрани или синтетично създадени токена на немски език. В оценките на компанията моделът получава общ резултат 75,5 на английски и 70,8 на немски, 63,4 за агентни задачи на английски и 89,3 за програмиране на английски. Резултатът му на BFCL v4 е 61,4.
Текстът е изготвен от ИИ на Sakhanda Wire по материал на MarkTechPost. Фактите, цитатите и пълният контекст са в оригиналната статия по-долу.