Kyutai випустила мовні моделі для розв’язання математичних задач
Kyutai представила дві моделі з відкритими вагами, які перетворюють мовлення на мовлення та розв’язують усно поставлені математичні задачі. Вони не проходять через етап транскрипції й не використовують окрему текстову мовну модель. Обидві побудовані на GLM-4-Voice-9B. Після supervised fine-tuning і reinforcement learning точність базової моделі на мовному GSM8K зросла з 27,3% до 77,1% у випущеної версії Stitch.
glm-4-voice-of-reason-9b відповідає без додаткових прихованих токенів міркування та озвучує кроки розв’язання. glm-4-voice-of-reason-stitch-9b вставляє між мовними фрагментами беззвучні блоки міркування по 100 токенів. Kyutai зазначає, що наступні блоки можуть генеруватися під час відтворення попереднього аудіо. Опубліковані контрольні точки набрали 70,3% і 77,1% відповідно без top-k-декодування, використаного в основному порівнянні.
Для supervised fine-tuning використали 150 616 адаптованих для мовлення задач з Orca-Math; результат піднявся до 61,7%. На етапі reinforcement learning модель створювала чотири відповіді на кожне запитання, а Qwen3-235B-A22B-2507 оцінювала їх бінарною винагородою. Навчання тривало на 16 графічних процесорах H100 і включало 1500 оновлень. Моделі можна розгорнути самостійно на одному H100, але потрібні також мовний токенізатор і декодер із репозиторію GLM-4-Voice. Ваги поширюються за його ліцензією.
Текст підготовлено ШІ Sakhanda Wire за матеріалом MarkTechPost. Факти, цитати та повний контекст — в оригінальній статті нижче.