Sakhanda Wire
NVDA $153.73 -1.54% MSFT $506.30 -2.26% GOOGL $280.09 -1.28% META $619.28 -1.14% AMZN $256.62 -0.44%
← К новостям

SL2T принесёт перевод жестового языка на Pixel 11

Google DeepMind представила SL2T — модель перевода с жестового языка в текст для глухих и слабослышащих пользователей. На первом этапе она обеспечивает перевод с американского жестового языка (ASL) на английский в функциях диктовки Gboard и Live Transcribe на Pixel 11. В дальнейшем планируется поддержка других устройств и языков. Пользователь может жестикулировать там, где обычно вводит текст: искать информацию, составлять сообщения и документы или обращаться к Gemini с запросами и задачами.

Модель обучали на более чем 100 000 часах данных по свыше 50 жестовым языкам; около четверти данных приходится на ASL. Работоспособная на устройстве модель MediaPipe Holistic отслеживает точки тела, после чего на сервер передаются только их геометрические координаты. Исходная видеозапись может быть сразу удалена. SL2T переводит последовательность координат непосредственно в текст, не используя промежуточные глоссы.

В тесте FLEURS-ASL модель получила показатель zero-shot 70 BLEURT для перевода ASL на английский. Разработчики также оптимизировали задержку при потоковой обработке, работу при отсутствии жестов, поддержку левшей и жесты одной рукой. В проекте участвовали глухие партнёры и организации, включая консультативный комитет AI Sign Language Advisory Committee.

Текст подготовлен ИИ Sakhanda Wire по материалу DeepMind. Факты, цитаты и полный контекст — в оригинальной статье ниже.

Впервые опубликовано изданием DeepMind

Читать оригинал на DeepMind ↗

Репортаж и изображение принадлежат DeepMind и указаны выше со ссылкой на оригинал; текст на этой странице — собственное изложение Sakhanda Wire.

← К новостям

Ещё новости

Все последние новости