Современные технологии предлагают множество решений данной проблемы: от простого клавиатурного ввода до ввода текста при помощи взгляда и специального табло. Люди, потерявшие способность говорить своим собственным голосом, как правило, используют различные синтезаторы речи. Возможно, что вскоре эта проблема будет решена при помощи нейронного интерфейса, который реализуется в виде специального импланта из электродов, установленных прямо на головном мозге, что даёт максимальную точность считывания его активности, которую затем система может интерпретировать в понятную нам речь. Тем не менее, все существующие решения достаточно медлительны, и, чем тяжелее состояние человека, тем больше времени занимает для него набор текста.
Учёные смогли преобразовать сигналы мозга, полученные этой сеткой электродов, установленной прямо на головной мозг и предназначенной для записи активности мозга, в человеческую речь
Как сообщается, звук получился в некоторых местах неточным, но предложения удалось полностью воспроизвести, а главное, понять сторонним слушателям. Исследователи из Калифорнийского университета в Сан-Франциско в своей статье для журнала Nature от 25 апреля рассказали, как им удалось при помощи импланта озвучить мысленную речь человека. Тем не менее, эксперимент показал, что «используя только мозг, можно расшифровать и воспроизвести речь», — говорит Гопала Ануманчипалли (Gopala Anumanchipalli), специалист по изучению мозга и речи. Для этого потребовались годы анализа и сопоставления записанных сигналов мозга, и на данный момент технология не готова для использования вне лаборатории.
«Трудно переоценить важность этого для всех этих людей ... «Технология, описанная в новом исследовании, обещает в конечном итоге восстановить способность людей свободно говорить», — объясняет Фрэнк Гюнтер (Frank Guenther), нейробиолог из Бостонского университета. Это невероятная изоляция и настоящий кошмар не иметь возможности рассказать о своих потребностях и просто взаимодействовать с обществом».
В более ранних исследованиях учёными уже использовались сигналы мозга для декодирования небольших фрагментов речи, таких как гласные или отдельные слова, но с более ограниченным словарным запасом, чем в новой работе. Как уже говорилось, существующие речевые инструменты, основанные на вводе слов при помощи тех или иных методов, утомительны и часто выдают не более 10 слов в минуту.
Поскольку эти люди могли говорить самостоятельно, исследователи смогли записывать активность мозга, когда участники эксперимента произносили предложения. Ануманчипалли в месте с нейрохирургом Эдвардом Чангом (Edward Chang) и биоинженером Джошем Шартье (Josh Chartier) изучили пять человек, у которых в мозг, как один из методов лечения эпилепсии, были временно имплантированы сетки электродов. Это позволило ученым создать уникальный виртуальный голосовой аппарат для каждого человека. Затем команда сопоставила сигналы мозга, которые контролируют губы, язык, челюсть и гортань, с реальными движениями голосового тракта.
Вы можете услышать, как вначале испытуемая говорит самостоятельно, а затем фразу повторяет компьютер на основе считанных мозговых сигналов
Использование этого метода «улучшило речь и сделало её более естественной», — говорит Шартье. Затем исследователи транслировали движения виртуального голосового аппарата в звуки. Например, когда испытуемый попытался произнести: «Заведите трёхцветную кошку, чтобы прогнать грызунов (Get a calico cat to keep the rodents away)», слушатель услышал: «Трёхцветная кошка прогонит кроликов (The calico cat to keep the rabbits away)». Около 70 процентов реконструированных слов были понятны слушателям, которых попросили интерпретировать синтезированную речь. Другие, такие как «бух (buh)» и «пух (puh)», звучали мягче. В целом, некоторые звуки звучали хорошо, например, «ш (sh)».
Но у многих людей данной информации и мозговой активности просто не будет, так как они в принципе не могут говорить из-за инсульта мозга, повреждения голосовых путей или болезни Лу Герига (которой страдал Стивен Хоккинг). Данная технология зависит от знания, как человек использует голосовой тракт.
Файнберга Северо-Западного университета в Чикаго. «Безусловно, самое большое препятствие заключается в том, как вы собираетесь создать декодер, когда у вас нет примера речи, для которой он будет построен», — говорит Марк Слуцки, невролог и нейро-инженер в Школе медицины им.
Тем не менее, в некоторых тестах исследователи обнаружили, что алгоритмы, используемые для трансляции движений виртуального голосового тракта в звуки, были достаточно похожи от человека к человеку, чтобы их можно было повторно использовать для разных людей, возможно, даже для тех, кто совсем не может говорить.
Но на данный момент составление универсальной карты активности сигналов головного мозга в соответствие с работой голосового аппарата выглядит достаточно сложной задачей, чтобы использовать её для людей, у которых речевой аппарат давно не активен.
