llama.cpp и ggml достигнаха версия 1.0.0
Проектът llama.cpp пусна библиотеката си във версия 1.0.0, а едновременно с това беше представена и версия 1.0.0 на ggml — библиотека за тензорни операции в машинното обучение. Екипът посочва, че изданието отразява нарастващия брой приложения, които зависят от интерфейсите на проектите. Занапред несъвместимите промени в публичния API или ABI на llama.cpp и ggml ще се обозначават с увеличаване на основния номер на версията.
Според описаните правила за семантично версиониране малките версии ще включват съвместими нови функции, обновявания на бекендите, поддръжка на модели и допълнения към API. Корекциите без промяна на API ще получават пач версия. Изданията включват библиотеките libllama и libggml, както и публичните им заглавни файлове.
llama.cpp позволява изпълнение на мултимодални големи езикови модели върху широк набор от устройства — от потребителски компютри до корпоративни сървъри. Проектът използва квантизация, оптимизирани бекенди и преносима реализация на C/C++. В момента се поддържат над 150 варианта на архитектури и основните методи за спекулативно декодиране. Софтуерът се разпространява чрез Docker, Debian, Homebrew, conda-forge, MacPorts, Winget и XCFramework за Linux, macOS, Windows, Android и iOS.
Текстът е изготвен от ИИ на Sakhanda Wire по материал на Hugging Face. Фактите, цитатите и пълният контекст са в оригиналната статия по-долу.