Sakhanda Wire
NVDA $153.73 -1.54% MSFT $506.30 -2.26% GOOGL $280.09 -1.28% META $619.28 -1.14% AMZN $256.62 -0.44%
← До новин

SL2T додає переклад жестової мови на Pixel 11

Google DeepMind представила SL2T — модель перекладу з жестової мови в текст для глухих і людей із порушеннями слуху. Спочатку вона забезпечує переклад з американської жестової мови (ASL) англійською у функціях диктування Gboard і Live Transcribe на Pixel 11. Компанія планує додати інші пристрої та мови. Користувачі можуть жестикулювати там, де зазвичай вводять текст: шукати інформацію, створювати повідомлення й документи або ставити завдання Gemini.

SL2T навчали на понад 100 000 годинах даних із більш ніж 50 жестових мов; приблизно чверть матеріалів припадає на ASL. Модель MediaPipe Holistic на пристрої відстежує точки на тілі, а на сервер надсилаються лише їхні геометричні координати. Оригінальне відео можна одразу видаляти. Переклад відбувається безпосередньо з послідовності координат, без проміжних глос.

На тесті FLEURS-ASL модель отримала zero-shot результат 70 BLEURT для перекладу ASL англійською. Розробники також працювали над зменшенням затримки, обробкою введення без жестів, підтримкою ліворуких користувачів і жестами однією рукою. Глухі партнери та організації долучилися до розробки, тестування й оцінювання технології.

Текст підготовлено ШІ Sakhanda Wire за матеріалом DeepMind. Факти, цитати та повний контекст — в оригінальній статті нижче.

Вперше опубліковано виданням DeepMind

Читати оригінал на DeepMind ↗

Репортаж і зображення належать DeepMind і зазначені вище з посиланням на оригінал; текст на цій сторінці — власний виклад Sakhanda Wire.

← До новин

Ще новини

Усі останні новини