Kyutai пусна речеви модели за решаване на математически задачи
Kyutai представи два модела с отворени тегла за преобразуване на реч в реч, които решават математически задачи, зададени устно. Те не транскрибират въпроса предварително и не използват отделен текстов езиков модел. И двата са базирани на GLM-4-Voice-9B. Комбинацията от supervised fine-tuning и reinforcement learning повишава точността върху говоримия GSM8K от 27,3% при базовия модел до 77,1% при пуснатия Stitch вариант.
glm-4-voice-of-reason-9b отговаря директно и произнася стъпките на решението. glm-4-voice-of-reason-stitch-9b добавя между говоримите части безшумни сегменти от 100 токена за разсъждение. Kyutai посочва, че следващите сегменти могат да се генерират, докато предишната реч се възпроизвежда. Пуснатите модели постигат съответно 70,3% и 77,1% без използваното в статията top-k декодиране.
Обучението с контролирани данни използва 150 616 задачи от Orca-Math и достига 61,7% точност. При reinforcement learning за всеки въпрос се генерират четири отговора, оценявани с двоична награда от Qwen3-235B-A22B-2507. Обучението е проведено с 16 H100 графични процесора и 1500 обновявания. Моделите могат да се стартират самостоятелно на един H100, като е необходим и кодът на GLM-4-Voice за речевия токенизатор и декодер.
Текстът е изготвен от ИИ на Sakhanda Wire по материал на MarkTechPost. Фактите, цитатите и пълният контекст са в оригиналната статия по-долу.