По данным Всемирной федерации глухих, во всем мире около 72 миллионов слабослышащих людей используют более 300 различных языков жестов. Здоровому человеку для общения со слабослышащим нужны специально обученные переводчики.

Чтобы справиться с этой проблемой, исследовательская группа из университета в Буффало модифицировала наушники с шумоподавлением, позволив обычному электронному устройству «видеть» и переводить язык жестов в паре со смартфоном.

Как пояснили разработчики, наушники с встроенным микрофоном используют радар, основанный на эффекте Доплера. Радар позволяет улавливать крошечные колебания в акустических волнах, которые создают руки жестикулирующего человека.

С радара информация передается на специальное приложение для смартфона, созданное командой, которое переводит знаки в слова и транслирует их через наушники слушателю.

Принцип работы устройства.

© dl.acm.org

Система получила название SonicASL в честь американского языка глухонемых ASL и показала эффективность в 93,8% при использовании 42 распространенных слов. 

Для тестирования разработчики устройства выбрали такие среды, как офис, квартира, коридор и тротуар. По мере увеличения шума окружающей среды, точность SonicASL немного снижалась, однако большинство шумов не повлияло на частотный диапазон

Радар хорошо распознал слова «любовь», «пространство» и «камера». При тех же условиях, включающих 30 простых предложений — например, «Приятно познакомиться» — SonicASL показал эффективность в 90,6%.

При помощи наушников любой здоровый человек сможет услышать глухого.

© Depositphotos

Невзирая на то, что устройство было протестировано на американском языке глухонемых, его можно адаптировать для любых жестовых языков. Кроме того, основной алгоритм SonicASL может быть реализован на любом смартфоне.

У разных жестовых языков есть разные особенности, со своими собственными правилами произношения, словообразования и порядка слов. Однако ключевой функцией SonicASL является распознавание универсальных во всем мире жестов рук, — пояснили создатели устройства.

Доцент кафедры компьютерных наук Чжанпенг Цзинь подчеркнул, что прежде чем такая технология станет коммерчески доступной, необходимо проделать большую работу. 

Прежде всего, нужно значительно расширить словарный запас SonicASL. Кроме того, система должна научиться распознавать выражение лица глухого человека, потому что мимика тоже участвует в разговоре.

• Телеграм
• Дзен
• Подписывайтесь на наши каналы и первыми узнавайте о главных новостях и важнейших событиях дня.