Hi-Tech

Школьник из России выиграл конкурс Google за разработку переводчика с языка жестов

Таким вопросом задался российский десятиклассник Даниил Казанцев из Екатеринбургского лицея. Можно ли помочь глухонемым людям выразить свои мысли, автоматически переводя жесты руками, которые они показывают, в слова? Он разработал систему, которая может интерпретировать язык жестов и заменять сурдопереводчика. Решение разобраться в этой проблеме привело Даниила к победе в одной из категорий конкурса молодых ученых Google Science Fair 2019.

В итоге он получил премию Lego Education Builder за разработку своего переводчика языка жестов. Как указано на сайте конкурса Google, Казанцев прошел отбор среди тысяч других участников конкурса и стал одним из 24 финалистов из 14 стран мира.

Даниил крайний слева
Все финалисты конкурса.

Что такое электромиография?

В этом случае каждое движение конечности создает крошечные электрические сигналы, которые можно считать, а затем перевести в понятные для компьютера команды. В основе разработки юного российского гения лежит технология электромиографии, которая определяет электромеханическую активность мышц с учетом изменяющегося положения руки и пальцев. В частности, эта технология используется для управления искусственными протезами.

Читайте также: Как немые люди могут вновь обрести дар речи?

Но российский школьник разработал на основе технологии электромиографии систему, которая может переводить электрические сигналы мышц в слова.


Синими и белыми крестиками обозначены места расположения электродов, которые считывают электрические импульсы мышц

Как работает переводчик языка жестов

На манжете установлены 24 электрода, каждый из которых считывает определенные электрические сигналы мышц предплечья. Устройство состоит из манжеты, которая надевается на предплечье. На базе всех этих сигналов формируется уникальный «отпечаток» положения каждой отдельной части кисти в пространстве. Кроме того, здесь используется специальный датчик, который определяет положение предплечья в пространстве.

Этот микрокомпьютер оцифровывает сигналы с датчиков и электродов, после чего передает их в мощный вычислительный сервер со специально обученной нейросетью. Все собираемые сигналы усиливаются и фильтруются от лишнего электромагнитного шума, а затем по проводам передаются на внешний микрокомпьютер. Именно с помощью нейросети проводится интерпретации (перевод в слова) данных об электрических сигналах, отвечающих за каждый языковой жест.

Как проводилась проверка переводчика жестов

В качестве основы для перевода он использовал 5 жестов и популярного жестового языка ASL (American Sign Language). Проверку системы Даниил проводил на себе и двух других добровольцах.


Hello (привет); Yes (да); No (нет); Please (пожалуйста); I love you (я люблю тебя)

Как указывает автор разработки, система смогла показать 92,6-процентную точность при распознавании. Для проверки эффективности системы для каждого распознавания жеста использовалось 10 попыток.


В таблице отмечены участники эксперимента, наименования жестов, которые требуется распознать системе, а также количество верных распознаваний

Видео проверки технологии можно посмотреть ниже:

Есть несколько моментов, которые пока не позволяют использовать его в качестве готового решения. Даниил отмечает, продолжит работу над автономным сурдопереодчиком. Но пока не способна формировать из полученных слов предложения. Например, сейчас система может переводить только отдельные жесты. Решение этого вопроса станет одной из будущих задач юного ученого. Таким образом сейчас систему нельзя использовать в качестве полной замены сурдопереводчика.

Как она работает? Читайте также: Эта нейросеть знает, как вы будете выглядеть через 50 лет.

Однако автор отмечает, что современная скорость передачи данных по мобильному интернету позволяет обеспечить постоянный доступ к серверу, тем самым частично компенсируя этот недостаток. Кроме того, электронный сурдопереводчик требует постоянного доступа к мощному вычислительному серверу с нейросетью, которая производит распознавание сигналов языковых жестов и переводит их в слова. Автор также рассматривает возможность сделать устройство более компактным, уменьшив площадь расположения электродов до 7 сантиметров.

При этом от пользователя не потребуется никакой специальной подготовки для возможности использования такой системы. В целом отмечается, что при доработке такой технологии, ее можно будет использовать с любым жестовым словарем.

Более подробно с разработкой Даниила Казанцева можно ознакомиться на странице его проекта.

Там вы найдете эксклюзивные материалы, которые не были опубликованы на сайте! Если вам интересны новости науки и технологий, подпишитесь на наш канал в Яндекс.Дзен.

Теги
Показать больше

Похожие статьи

Добавить комментарий

Ваш e-mail не будет опубликован. Обязательные поля помечены *

Кнопка «Наверх»
Закрыть