Sakhanda Wire
NVDA $154.00 -1.37% MSFT $506.28 -2.26% GOOGL $280.87 -1.00% META $620.34 -0.97% AMZN $256.88 -0.34%
← До новин

Kyutai випустила мовні моделі для розв’язання математичних задач

Kyutai представила дві моделі з відкритими вагами, які перетворюють мовлення на мовлення та розв’язують усно поставлені математичні задачі. Вони не проходять через етап транскрипції й не використовують окрему текстову мовну модель. Обидві побудовані на GLM-4-Voice-9B. Після supervised fine-tuning і reinforcement learning точність базової моделі на мовному GSM8K зросла з 27,3% до 77,1% у випущеної версії Stitch.

glm-4-voice-of-reason-9b відповідає без додаткових прихованих токенів міркування та озвучує кроки розв’язання. glm-4-voice-of-reason-stitch-9b вставляє між мовними фрагментами беззвучні блоки міркування по 100 токенів. Kyutai зазначає, що наступні блоки можуть генеруватися під час відтворення попереднього аудіо. Опубліковані контрольні точки набрали 70,3% і 77,1% відповідно без top-k-декодування, використаного в основному порівнянні.

Для supervised fine-tuning використали 150 616 адаптованих для мовлення задач з Orca-Math; результат піднявся до 61,7%. На етапі reinforcement learning модель створювала чотири відповіді на кожне запитання, а Qwen3-235B-A22B-2507 оцінювала їх бінарною винагородою. Навчання тривало на 16 графічних процесорах H100 і включало 1500 оновлень. Моделі можна розгорнути самостійно на одному H100, але потрібні також мовний токенізатор і декодер із репозиторію GLM-4-Voice. Ваги поширюються за його ліцензією.

Текст підготовлено ШІ Sakhanda Wire за матеріалом MarkTechPost. Факти, цитати та повний контекст — в оригінальній статті нижче.

Вперше опубліковано виданням MarkTechPost

Читати оригінал на MarkTechPost ↗

Репортаж і зображення належать MarkTechPost і зазначені вище з посиланням на оригінал; текст на цій сторінці — власний виклад Sakhanda Wire.

← До новин

Ще новини

Усі останні новини