SL2T добавя диктовка на жестов език в Pixel 11
Google DeepMind представи SL2T — модел за превод от жестов език към текст, предназначен за глухи и слабочуващи потребители. Първоначално той поддържа превод от американски жестов език (ASL) към английски в диктовката на Gboard и Live Transcribe за Pixel 11. Предстоят още устройства и езици. Потребителите могат да жестикулират на телефона там, където обичайно биха писали, включително при търсене, съставяне на съобщения и документи или задаване на задачи на Gemini.
SL2T е обучен с над 100 000 часа данни от повече от 50 жестови езика, като приблизително една четвърт са на ASL. Моделът MediaPipe Holistic, работещ на устройството, проследява точки от тялото и изпраща към сървъра само геометричните координати; оригиналното видео може да бъде изтрито веднага. Преводът се извършва директно от тази последователност, без междинни глоси.
На теста FLEURS-ASL моделът е постигнал нулевоизстрелващ резултат 70 BLEURT. Екипът е работил и върху закъснението, разпознаването на липса на жестикулация, левичарите и жестикулирането с една ръка. Глухи партньори и организации са участвали в разработването, оценяването и управлението на технологията.
Текстът е изготвен от ИИ на Sakhanda Wire по материал на DeepMind. Фактите, цитатите и пълният контекст са в оригиналната статия по-долу.