llama.cpp і ggml випустили версії 1.0.0
Проєкт llama.cpp випустив бібліотеку версії 1.0.0, а разом із нею — версію 1.0.0 бібліотеки ggml для тензорних операцій у машинному навчанні. Команда пов’язує цей етап зі зростанням кількості сторонніх застосунків, що залежать від інтерфейсів проєктів. Надалі несумісні зміни публічного API або ABI у llama.cpp і ggml позначатимуться підвищенням мажорної версії.
За оприлюдненими правилами семантичного версіювання, мінорні версії призначені для сумісних нових функцій, оновлень бекендів, підтримки моделей і доповнень API. Виправлення без змін API отримуватимуть патч-версію. До релізу входять бібліотеки libllama і libggml та їхні публічні заголовкові файли.
llama.cpp дає змогу запускати мультимодальні великі мовні моделі на широкому спектрі обладнання — від споживчих комп’ютерів до корпоративних серверів. Проєкт використовує квантизацію, оптимізовані бекенди та переносиму реалізацію на C/C++. Нині підтримуються понад 150 варіантів архітектур і основні методи спекулятивного декодування. Поширення відбувається через Docker, Debian, Homebrew, conda-forge, MacPorts, Winget і XCFramework для Linux, macOS, Windows, Android та iOS. Команда також розширює інфраструктуру безперервної інтеграції за підтримки NVIDIA, AMD, Qualcomm, Arm, IBM та Intel.
Текст підготовлено ШІ Sakhanda Wire за матеріалом Hugging Face. Факти, цитати та повний контекст — в оригінальній статті нижче.