Sakhanda Wire
NVDA $155.46 -0.44% MSFT $506.24 -2.27% GOOGL $280.20 -1.24% META $618.87 -1.20% AMZN $257.89 +0.05%
← До новин

Aleph Alpha випустила модель Kolibri на 78,1 мільярда параметрів

Aleph Alpha випустила Kolibri-1 — мовну модель із відкритими вагами та архітектурою Mixture-of-Experts для англійської й німецької мов. Загальна кількість параметрів становить 78,1 мільярда, але для кожного токена активуються 3,46 мільярда, або 4,4%. Модель підтримує контекст до 1 048 576 токенів, а рівень міркування можна задавати для кожного запиту. Ваги опубліковано на Hugging Face за ліцензією Apache 2.0.

FP8-версія розміром близько 78 ГБ працює на одному прискорювачі B200, B300 або H200, а також на двох H100 SXM5. Для розгортання використовується vLLM зі спеціальними парсерами міркувань і викликів інструментів. Kolibri повністю розробили команди в Німеччині, а навчання проводили на інфраструктурі в Німеччині та Фінляндії. За даними Aleph Alpha, розробка враховує EU AI Act, GDPR і Кодекс практик ЄС для універсальних моделей штучного інтелекту.

Навчання охопило приблизно 24 трильйони токенів, зокрема понад 2 трильйони відібраних або синтетично створених німецькомовних токенів. У тестах компанії модель отримала загальний результат 75,5 англійською та 70,8 німецькою, 63,4 у середньому для агентних завдань англійською і 89,3 у тестах програмування англійською. Результат BFCL v4 становив 61,4.

Текст підготовлено ШІ Sakhanda Wire за матеріалом MarkTechPost. Факти, цитати та повний контекст — в оригінальній статті нижче.

Вперше опубліковано виданням MarkTechPost

Читати оригінал на MarkTechPost ↗

Репортаж і зображення належать MarkTechPost і зазначені вище з посиланням на оригінал; текст на цій сторінці — власний виклад Sakhanda Wire.

← До новин

Ще новини

Усі останні новини