Sakhanda Wire
NVDA $154.51 -1.04% MSFT $506.49 -2.22% GOOGL $281.27 -0.86% META $621.51 -0.78% AMZN $256.90 -0.33%
← К новостям

llama.cpp и ggml выпустили версии 1.0.0

Проект llama.cpp выпустил библиотеку версии 1.0.0, одновременно представив версию 1.0.0 библиотеки ggml для тензорных операций в машинном обучении. Команда объясняет этот шаг ростом числа сторонних приложений, зависящих от интерфейсов проектов. В дальнейшем несовместимые изменения публичного API или ABI в llama.cpp и ggml будут обозначаться повышением мажорной версии.

Согласно опубликованным правилам семантического версионирования, минорные версии предназначены для обратно совместимых возможностей, обновлений бэкендов, поддержки моделей и дополнений API. Исправления, не меняющие API, будут выпускаться как патч-версии. В состав релиза входят библиотеки libllama и libggml, а также их публичные заголовочные файлы.

llama.cpp рассчитан на запуск мультимодальных больших языковых моделей на широком спектре оборудования — от пользовательских компьютеров до корпоративных серверов. Проект сочетает квантизацию, оптимизированные бэкенды и переносимую реализацию на C/C++. Сейчас он поддерживает более 150 вариантов архитектур и основные методы спекулятивного декодирования. Дистрибуция ведётся через Docker, Debian, Homebrew, conda-forge, MacPorts, Winget и XCFramework; заявлены платформы Linux, macOS, Windows, Android и iOS. Команда также наращивает инфраструктуру непрерывной интеграции при поддержке NVIDIA, AMD, Qualcomm, Arm, IBM и Intel.

Текст подготовлен ИИ Sakhanda Wire по материалу Hugging Face. Факты, цитаты и полный контекст — в оригинальной статье ниже.

Впервые опубликовано изданием Hugging Face

Читать оригинал на Hugging Face ↗

Репортаж и изображение принадлежат Hugging Face и указаны выше со ссылкой на оригинал; текст на этой странице — собственное изложение Sakhanda Wire.

← К новостям

Ещё новости

Все последние новости