llama.cpp и ggml выпустили версии 1.0.0
Проект llama.cpp выпустил библиотеку версии 1.0.0, одновременно представив версию 1.0.0 библиотеки ggml для тензорных операций в машинном обучении. Команда объясняет этот шаг ростом числа сторонних приложений, зависящих от интерфейсов проектов. В дальнейшем несовместимые изменения публичного API или ABI в llama.cpp и ggml будут обозначаться повышением мажорной версии.
Согласно опубликованным правилам семантического версионирования, минорные версии предназначены для обратно совместимых возможностей, обновлений бэкендов, поддержки моделей и дополнений API. Исправления, не меняющие API, будут выпускаться как патч-версии. В состав релиза входят библиотеки libllama и libggml, а также их публичные заголовочные файлы.
llama.cpp рассчитан на запуск мультимодальных больших языковых моделей на широком спектре оборудования — от пользовательских компьютеров до корпоративных серверов. Проект сочетает квантизацию, оптимизированные бэкенды и переносимую реализацию на C/C++. Сейчас он поддерживает более 150 вариантов архитектур и основные методы спекулятивного декодирования. Дистрибуция ведётся через Docker, Debian, Homebrew, conda-forge, MacPorts, Winget и XCFramework; заявлены платформы Linux, macOS, Windows, Android и iOS. Команда также наращивает инфраструктуру непрерывной интеграции при поддержке NVIDIA, AMD, Qualcomm, Arm, IBM и Intel.
Текст подготовлен ИИ Sakhanda Wire по материалу Hugging Face. Факты, цитаты и полный контекст — в оригинальной статье ниже.