Sakhanda Wire
NVDA $153.81 -1.49% MSFT $505.73 -2.37% GOOGL $280.00 -1.31% META $619.84 -1.05% AMZN $257.52 -0.09%
← До новин

Kog прагне прискорити ШІ-інференс на звичайних GPU

Французький стартап Kog розробляє програмне забезпечення для прискорення ШІ-інференсу на стандартних серверних графічних процесорах, зокрема AMD MI300X і NVIDIA H200. Під час технологічної демонстрації його модель Laneformer 2B із відкритим кодом показала близько 3000 токенів на секунду на один запит. У моделі приблизно 2 мільярди параметрів, тож Kog ще має довести, що цей підхід працює і з більшими мовними моделями.

Генеральний директор Gaël Delalleau повідомив, що демонстрація принесла 200 конкретних бізнес-контактів. Першим застосуванням компанія вважає розроблення програмного забезпечення, особливо професійні ШІ-робочі процеси, де користувачі іноді чекають на результат годинами. Kog також має партнерів, які створюють ігри та застосунки за текстовими запитами; для них швидший результат може означати більші доходи.

За даними компанії, потенційні клієнти поки не готові донавчати малі моделі, тому Kog зосередилася на прискоренні великих. Delalleau вважає, що нові GPU мають невикористаний потенціал пропускної здатності пам’яті. Команда з 11 людей витрачає на оптимізацію під кожен новий чип тижні або місяці. Kog розраховує досягти десятикратного прискорення на великій моделі у вересні, що має допомогти продемонструвати попит і залучити фінансування серії A.

Текст підготовлено ШІ Sakhanda Wire за матеріалом TechCrunch. Факти, цитати та повний контекст — в оригінальній статті нижче.

Вперше опубліковано виданням TechCrunch

Читати оригінал на TechCrunch ↗

Репортаж і зображення належать TechCrunch і зазначені вище з посиланням на оригінал; текст на цій сторінці — власний виклад Sakhanda Wire.

← До новин

Ще новини

Усі останні новини