Sakhanda Wire
NVDA $154.00 -1.37% MSFT $506.28 -2.26% GOOGL $280.87 -1.00% META $620.34 -0.97% AMZN $256.88 -0.34%
← Към новините

Kyutai пусна речеви модели за решаване на математически задачи

Kyutai представи два модела с отворени тегла за преобразуване на реч в реч, които решават математически задачи, зададени устно. Те не транскрибират въпроса предварително и не използват отделен текстов езиков модел. И двата са базирани на GLM-4-Voice-9B. Комбинацията от supervised fine-tuning и reinforcement learning повишава точността върху говоримия GSM8K от 27,3% при базовия модел до 77,1% при пуснатия Stitch вариант.

glm-4-voice-of-reason-9b отговаря директно и произнася стъпките на решението. glm-4-voice-of-reason-stitch-9b добавя между говоримите части безшумни сегменти от 100 токена за разсъждение. Kyutai посочва, че следващите сегменти могат да се генерират, докато предишната реч се възпроизвежда. Пуснатите модели постигат съответно 70,3% и 77,1% без използваното в статията top-k декодиране.

Обучението с контролирани данни използва 150 616 задачи от Orca-Math и достига 61,7% точност. При reinforcement learning за всеки въпрос се генерират четири отговора, оценявани с двоична награда от Qwen3-235B-A22B-2507. Обучението е проведено с 16 H100 графични процесора и 1500 обновявания. Моделите могат да се стартират самостоятелно на един H100, като е необходим и кодът на GLM-4-Voice за речевия токенизатор и декодер.

Текстът е изготвен от ИИ на Sakhanda Wire по материал на MarkTechPost. Фактите, цитатите и пълният контекст са в оригиналната статия по-долу.

Първоначално публикувано от MarkTechPost на

Прочетете оригинала в MarkTechPost ↗

Репортажът и изображението принадлежат на MarkTechPost и са посочени по-горе с връзка към оригинала; текстът на тази страница е собствено изложение на Sakhanda Wire.

← Към новините

Още новини

Всички последни новини