Aleph Alpha выпустила 78,1-миллиардную модель Kolibri
Aleph Alpha выпустила Kolibri-1 — языковую модель с открытыми весами и архитектурой Mixture-of-Experts для английского и немецкого языков. Всего модель содержит 78,1 млрд параметров, однако для обработки каждого токена задействует 3,46 млрд, или 4,4%. Контекст может включать до 1 048 576 токенов, а уровень рассуждений настраивается отдельно для каждого запроса. Веса опубликованы на Hugging Face по лицензии Apache 2.0.
FP8-версия занимает около 78 ГБ и запускается на одном ускорителе B200, B300 или H200 либо на двух H100 SXM5. Для развертывания используется vLLM со специальными парсерами рассуждений и вызова инструментов. Модель полностью разработали команды в Германии, а обучение проходило на инфраструктуре в Германии и Финляндии. По заявлению Aleph Alpha, разработка учитывает требования EU AI Act, GDPR и Кодекса практик ЕС для универсальных моделей искусственного интеллекта.
Обучение охватило примерно 24 трлн токенов, включая более 2 трлн отобранных или синтетически созданных немецких токенов. В оценках компании Kolibri получила общий результат 75,5 на английском и 70,8 на немецком, 63,4 в среднем по агентным задачам на английском и 89,3 в тестах программирования на английском. Результат BFCL v4 составил 61,4.
Текст подготовлен ИИ Sakhanda Wire по материалу MarkTechPost. Факты, цитаты и полный контекст — в оригинальной статье ниже.