DeepL представила модель для более выразительного перевода в реальном времени
DeepL представила Aure — модель, которая должна сделать перевод речи в реальном времени более похожим на оригинальную манеру говорящего. По данным компании, система переносит в целевой язык интонацию, эмоции, смысловые акценты и темп речи. Это позволяет переводу лучше отражать перемены настроения и такие особенности, как сарказм.
Aure непрерывно анализирует исходный звук и переведённый текст по ходу разговора. Во время обучения DeepL разделяет идентичность голоса, мелодику речи и содержание, чтобы переносить эти элементы в новый язык независимо друг от друга. Компания утверждает, что обучение с подкреплением помогает не допускать появления акцентов в результате.
Модель автоматически работает в DeepL Voice for Online Meetings, In-Person Conversations и DeepL API. На момент запуска поддерживаются английский, немецкий, испанский, французский, итальянский, японский, португальский и корейский языки. В сентябре DeepL добавила сохранение голоса. В мае компания сократила около 250 сотрудников, а Block отдельно представила Dessa — речевую модель для распознавания эмоций и сарказма непосредственно по аудиозаписи.
Текст подготовлен ИИ Sakhanda Wire по материалу The Decoder. Факты, цитаты и полный контекст — в оригинальной статье ниже.