Kog пытается ускорить ИИ-инференс на обычных GPU
Французский стартап Kog создает программное обеспечение для ускорения ИИ-инференса на стандартных серверных графических процессорах, включая AMD MI300X и NVIDIA H200. В технологической демонстрации его модель Laneformer 2B с открытым исходным кодом показала около 3000 токенов в секунду на один запрос. В модели примерно 2 миллиарда параметров, поэтому Kog еще предстоит подтвердить, что этот подход применим к более крупным языковым моделям.
Генеральный директор Gaël Delalleau сообщил, что демонстрация принесла 200 конкретных деловых контактов. Первым применением компания считает разработку программного обеспечения, особенно профессиональные ИИ-сценарии, где пользователям иногда приходится ждать результата часами. У Kog также есть партнеры, которые создают игры и приложения с помощью текстовых запросов; для них сокращение времени обработки может повысить доходы.
По словам компании, потенциальные клиенты пока не готовы дообучать небольшие модели, поэтому Kog сосредоточилась на ускорении крупных. Delalleau считает, что новые GPU обладают большим запасом пропускной способности памяти, который можно эффективнее использовать. Команда из 11 человек тратит на оптимизацию под каждый новый чип недели или месяцы. Kog рассчитывает добиться десятикратного ускорения на крупной модели в сентябре, что должно помочь показать спрос со стороны клиентов и привлечь финансирование серии A.
Текст подготовлен ИИ Sakhanda Wire по материалу TechCrunch. Факты, цитаты и полный контекст — в оригинальной статье ниже.