Sakhanda Wire
NVDA $154.51 -1.04% MSFT $506.49 -2.22% GOOGL $281.27 -0.86% META $621.51 -0.78% AMZN $256.90 -0.33%
← Към новините

llama.cpp и ggml достигнаха версия 1.0.0

Проектът llama.cpp пусна библиотеката си във версия 1.0.0, а едновременно с това беше представена и версия 1.0.0 на ggml — библиотека за тензорни операции в машинното обучение. Екипът посочва, че изданието отразява нарастващия брой приложения, които зависят от интерфейсите на проектите. Занапред несъвместимите промени в публичния API или ABI на llama.cpp и ggml ще се обозначават с увеличаване на основния номер на версията.

Според описаните правила за семантично версиониране малките версии ще включват съвместими нови функции, обновявания на бекендите, поддръжка на модели и допълнения към API. Корекциите без промяна на API ще получават пач версия. Изданията включват библиотеките libllama и libggml, както и публичните им заглавни файлове.

llama.cpp позволява изпълнение на мултимодални големи езикови модели върху широк набор от устройства — от потребителски компютри до корпоративни сървъри. Проектът използва квантизация, оптимизирани бекенди и преносима реализация на C/C++. В момента се поддържат над 150 варианта на архитектури и основните методи за спекулативно декодиране. Софтуерът се разпространява чрез Docker, Debian, Homebrew, conda-forge, MacPorts, Winget и XCFramework за Linux, macOS, Windows, Android и iOS.

Текстът е изготвен от ИИ на Sakhanda Wire по материал на Hugging Face. Фактите, цитатите и пълният контекст са в оригиналната статия по-долу.

Първоначално публикувано от Hugging Face на

Прочетете оригинала в Hugging Face ↗

Репортажът и изображението принадлежат на Hugging Face и са посочени по-горе с връзка към оригинала; текстът на тази страница е собствено изложение на Sakhanda Wire.

← Към новините

Още новини

Всички последни новини