Sakhanda Wire
NVDA $153.81 -1.49% MSFT $505.73 -2.37% GOOGL $280.00 -1.31% META $619.84 -1.05% AMZN $257.52 -0.09%
← Към новините

Kog търси по-бърз AI инференс с конвенционални GPU чипове

Френският стартъп Kog разработва софтуер, който цели да увеличи скоростта на AI инференса върху стандартни сървърни графични процесори, сред които AMD MI300X и NVIDIA H200. В технологична демонстрация неговият модел Laneformer 2B, публикуван с отворен код, е достигнал около 3000 токена в секунда за заявка. Моделът има приблизително 2 милиарда параметъра, затова Kog все още трябва да докаже, че подходът работи и с по-големи езикови модели.

Главният изпълнителен директор Gaël Delalleau заяви, че демонстрацията е довела до 200 конкретни бизнес контакта. Компанията очаква първото приложение да бъде в софтуерното инженерство, особено при професионални AI работни процеси, при които резултатите понякога се бавят с часове. Kog има и партньори, които използват подсказки за създаване на игри и приложения; за тях по-бързият резултат може да означава повече приходи.

Според Kog потенциалните клиенти засега не са готови да дообучават малки модели, което е насочило усилията към по-големите. Delalleau смята, че по-новите GPU чипове предлагат неизползван капацитет на паметовата честотна лента. Екипът от 11 души може да отделя седмици или месеци за оптимизация на всеки нов чип. Kog цели да постигне 10 пъти по-бърз инференс на голям модел през септември, което според компанията ще помогне за привличане на клиенти и за рунд Series A.

Текстът е изготвен от ИИ на Sakhanda Wire по материал на TechCrunch. Фактите, цитатите и пълният контекст са в оригиналната статия по-долу.

Първоначално публикувано от TechCrunch на

Прочетете оригинала в TechCrunch ↗

Репортажът и изображението принадлежат на TechCrunch и са посочени по-горе с връзка към оригинала; текстът на тази страница е собствено изложение на Sakhanda Wire.

← Към новините

Още новини

Всички последни новини