Alibaba выпустила линейку Qwen-Audio-3.1 и снизила цены
Команда Qwen компании Alibaba выпустила Qwen-Audio-3.1 — линейку из пяти моделей для распознавания речи, синтеза речи и взаимодействия в реальном времени. Модель ASR должна улучшить распознавание разных языков и диалектов, а также автоматически удаляет слова-паразиты и повторы. ASR-Next определяет нескольких говорящих и добавляет временные метки, а также распознаёт эмоции, окружающие звуки и шум оборудования.
Модели синтеза поддерживают многоязычную генерацию и перенос голоса между языками. Эмоцию, скорость и стиль можно задавать текстовыми инструкциями. TTS-Next объединяет языковую модель с диффузионным подходом и за один проход создаёт голос, звуковые эффекты и фоновое аудио. Модель реального времени поддерживает одновременные речь и прослушивание, включая мгновенное прерывание. По данным Qwen, при обнаружении плохого настроения она отвечает медленнее и более сочувственно. Alibaba снижает стоимость TTS примерно на 70%, Realtime — примерно на 85%, а ASR — максимум на 95%.
Текст подготовлен ИИ Sakhanda Wire по материалу The Decoder. Факты, цитаты и полный контекст — в оригинальной статье ниже.