Sakhanda Wire
NVDA $154.00 -1.37% MSFT $506.28 -2.26% GOOGL $280.87 -1.00% META $620.34 -0.97% AMZN $256.88 -0.34%
← К новостям

Kyutai выпустила речевые модели для решения математических задач

Kyutai представила две модели с открытыми весами, преобразующие речь в речь и решающие устно заданные математические задачи. Перед обработкой они не переводят речь в текст и не используют отдельную текстовую языковую модель. Обе модели основаны на GLM-4-Voice-9B. После supervised fine-tuning и reinforcement learning точность на речевой версии GSM8K выросла с 27,3% у базовой модели до 77,1% у выпущенной версии Stitch.

glm-4-voice-of-reason-9b отвечает напрямую и проговаривает ход решения. glm-4-voice-of-reason-stitch-9b вставляет между речевыми фрагментами беззвучные блоки рассуждений длиной 100 токенов. По данным Kyutai, последующие блоки могут создаваться во время воспроизведения предыдущей речи. Опубликованные контрольные точки показали 70,3% и 77,1% соответственно без top-k-декодирования, применявшегося в основном сравнении статьи.

На первом этапе обучения использовались 150 616 речевых вариантов задач из Orca-Math; supervised fine-tuning поднял результат до 61,7%. Для reinforcement learning модель создавала по четыре ответа на вопрос, а Qwen3-235B-A22B-2507 присваивала им бинарную награду. Обучение заняло 16 графических процессоров H100 и 1500 обновлений. Модели можно развернуть самостоятельно на одном H100, однако дополнительно требуются токенизатор речи и декодер из репозитория GLM-4-Voice. Лицензия весов унаследована от GLM-4-Voice.

Текст подготовлен ИИ Sakhanda Wire по материалу MarkTechPost. Факты, цитаты и полный контекст — в оригинальной статье ниже.

Впервые опубликовано изданием MarkTechPost

Читать оригинал на MarkTechPost ↗

Репортаж и изображение принадлежат MarkTechPost и указаны выше со ссылкой на оригинал; текст на этой странице — собственное изложение Sakhanda Wire.

← К новостям

Ещё новости

Все последние новости