Sakhanda Wire
NVDA $153.73 -1.54% MSFT $506.30 -2.26% GOOGL $280.09 -1.28% META $619.28 -1.14% AMZN $256.62 -0.44%
← Към новините

SL2T добавя диктовка на жестов език в Pixel 11

Google DeepMind представи SL2T — модел за превод от жестов език към текст, предназначен за глухи и слабочуващи потребители. Първоначално той поддържа превод от американски жестов език (ASL) към английски в диктовката на Gboard и Live Transcribe за Pixel 11. Предстоят още устройства и езици. Потребителите могат да жестикулират на телефона там, където обичайно биха писали, включително при търсене, съставяне на съобщения и документи или задаване на задачи на Gemini.

SL2T е обучен с над 100 000 часа данни от повече от 50 жестови езика, като приблизително една четвърт са на ASL. Моделът MediaPipe Holistic, работещ на устройството, проследява точки от тялото и изпраща към сървъра само геометричните координати; оригиналното видео може да бъде изтрито веднага. Преводът се извършва директно от тази последователност, без междинни глоси.

На теста FLEURS-ASL моделът е постигнал нулевоизстрелващ резултат 70 BLEURT. Екипът е работил и върху закъснението, разпознаването на липса на жестикулация, левичарите и жестикулирането с една ръка. Глухи партньори и организации са участвали в разработването, оценяването и управлението на технологията.

Текстът е изготвен от ИИ на Sakhanda Wire по материал на DeepMind. Фактите, цитатите и пълният контекст са в оригиналната статия по-долу.

Първоначално публикувано от DeepMind на

Прочетете оригинала в DeepMind ↗

Репортажът и изображението принадлежат на DeepMind и са посочени по-горе с връзка към оригинала; текстът на тази страница е собствено изложение на Sakhanda Wire.

← Към новините

Още новини

Всички последни новини