Hi-Tech

Нейробиологи обучили нейросеть переводить сигналы мозга в членораздельную речь

Результаты исследования, опубликованные в журнале Scientific Reports, представляют собой важный шаг в совершенствовании интерфейсов «мозг — компьютер». Используя технологию сканирования мозговой активности, искусственный интеллект и синтезатор речи ученые из Колумбийского университета (США) создали устройство, способное переводить мысли человека в членораздельную речь. В будущем подобные устройства смогут использовать людьми, потерявшими способность говорить в результате травмы или болезни.

Результатом их работы стал вокодер на базе искусственного интеллекта, способный довольно точно интерпретировать мозговую активность непосредственно из слуховой коры головного мозга, а затем переводить ее в различимую речь. Для разработки прибора, соединяющего возможности синтезатора речи и искусственного интеллекта автор исследования нейробиолог Нима Месгарани и его коллеги обратились к самым последним достижениям в области глубокого машинного обучения и технологиям синтеза речи. Авторы работы отмечают, что речь в этом случае получается весьма компьютеризированной, однако люди могут распознать слова в большинстве случаев.

По словам создателей, в основе нового прибора, использующегося для воспроизведения получающейся речи, применяются та же технология, которая используется в цифровых ассистентах, таких как Alexa, Siri и Google Assistant.

Для этого ученые пригласили поучаствовать в эксперименте пять добровольцев, которые на то время проходили лечение от эпилепсии. Сначала специалисты обучили вокодер правильно интерпретировать мозговую активность человека. Всем пятерым в слуховую кору головного мозга были вживлены электроды для считывания электроэнцефалограммы.

Одновременно мы анализировали закономерности в мозговой активности пациентов. «Мы попросили пациентов, страдающих эпилепсией, которые уже проходят хирургическое лечение на мозге, послушать предложения, которые произносят разные люди. На полученных нейронных моделях и обучался вокодер», — объясняет Месгарани.

Одновременно ученые фиксировали сигналы мозга, после чего пропускали их через вокодер, сигналы для которого для повышения четкости корректировала нейросеть, анализировавшая звуки самого вокодера, издававшего звуки в ответ эти сигналы. Пациентов попросили прослушать записи, в которых актеры зачитывали последовательности цифр от 0 до 9. Для оценки результатов ученые пригласили 11 человек с отличным слухом. В результате можно было услышать роботизированный голос, повторяющий последовательность произнесенных чисел.

Чувствительный вокодер и мощные нейронные сети сгенерировали звуки, которые слушали пациенты, с удивительной точностью», — комментирует Месгарани. «Оказалось, что люди могут распознать слова примерно в 75% случаев, что значительно превосходит любые предыдущие попытки.

После этого они хотят разработать имплантат, способный переводить мысли человека в полноценную речь. В дальнейшем команда Месгарани собирается научить нейросеть произносить более сложные слова, фразы и даже целые предложения.

Это даст любому, кто потерял способность говорить из-за травмы или болезни, новую возможность общаться с окружающим миром», — добавляет Месгарани. «К примеру, если владелец импланта подумает: «Мне нужен стакан воды», — наша система считает сигналы мозга и переведет их в речь.

Обсудить разработку американских ученых можно в нашем Telegram-чате.

Теги
Показать больше

Похожие статьи

Добавить комментарий

Ваш e-mail не будет опубликован. Обязательные поля помечены *

Кнопка «Наверх»
Закрыть