Главная » Hi-Tech » Нейробиологи обучили нейросеть переводить сигналы мозга в членораздельную речь

Нейробиологи обучили нейросеть переводить сигналы мозга в членораздельную речь

Результаты исследования, опубликованные в журнале Scientific Reports, представляют собой важный шаг в совершенствовании интерфейсов «мозг — компьютер». Используя технологию сканирования мозговой активности, искусственный интеллект и синтезатор речи ученые из Колумбийского университета (США) создали устройство, способное переводить мысли человека в членораздельную речь. В будущем подобные устройства смогут использовать людьми, потерявшими способность говорить в результате травмы или болезни.

Результатом их работы стал вокодер на базе искусственного интеллекта, способный довольно точно интерпретировать мозговую активность непосредственно из слуховой коры головного мозга, а затем переводить ее в различимую речь. Для разработки прибора, соединяющего возможности синтезатора речи и искусственного интеллекта автор исследования нейробиолог Нима Месгарани и его коллеги обратились к самым последним достижениям в области глубокого машинного обучения и технологиям синтеза речи. Авторы работы отмечают, что речь в этом случае получается весьма компьютеризированной, однако люди могут распознать слова в большинстве случаев.

По словам создателей, в основе нового прибора, использующегося для воспроизведения получающейся речи, применяются та же технология, которая используется в цифровых ассистентах, таких как Alexa, Siri и Google Assistant.

Для этого ученые пригласили поучаствовать в эксперименте пять добровольцев, которые на то время проходили лечение от эпилепсии. Сначала специалисты обучили вокодер правильно интерпретировать мозговую активность человека. Всем пятерым в слуховую кору головного мозга были вживлены электроды для считывания электроэнцефалограммы.

Одновременно мы анализировали закономерности в мозговой активности пациентов. «Мы попросили пациентов, страдающих эпилепсией, которые уже проходят хирургическое лечение на мозге, послушать предложения, которые произносят разные люди. На полученных нейронных моделях и обучался вокодер», — объясняет Месгарани.

Одновременно ученые фиксировали сигналы мозга, после чего пропускали их через вокодер, сигналы для которого для повышения четкости корректировала нейросеть, анализировавшая звуки самого вокодера, издававшего звуки в ответ эти сигналы. Пациентов попросили прослушать записи, в которых актеры зачитывали последовательности цифр от 0 до 9. Для оценки результатов ученые пригласили 11 человек с отличным слухом. В результате можно было услышать роботизированный голос, повторяющий последовательность произнесенных чисел.

Чувствительный вокодер и мощные нейронные сети сгенерировали звуки, которые слушали пациенты, с удивительной точностью», — комментирует Месгарани. «Оказалось, что люди могут распознать слова примерно в 75% случаев, что значительно превосходит любые предыдущие попытки.

После этого они хотят разработать имплантат, способный переводить мысли человека в полноценную речь. В дальнейшем команда Месгарани собирается научить нейросеть произносить более сложные слова, фразы и даже целые предложения.

Это даст любому, кто потерял способность говорить из-за травмы или болезни, новую возможность общаться с окружающим миром», — добавляет Месгарани. «К примеру, если владелец импланта подумает: «Мне нужен стакан воды», — наша система считает сигналы мозга и переведет их в речь.

Обсудить разработку американских ученых можно в нашем Telegram-чате.


Оставить комментарий

Ваш email нигде не будет показан
Обязательные для заполнения поля помечены *

*

x

Ещё Hi-Tech Интересное!

Создано лекарство против возрастного ослабевания мышц

Разумеется, этот процесс можно замедлить при помощи физических упражнений, но физкультурой занимается далеко не каждый человек. Печальный факт — после 35 лет практически каждый человек начинает терять мышечную массу и ослабевать. Экспериментальное лекарство уже показало свою эффективность и безопасность на ...

Почему нам следует раздавать всем бесплатные деньги

Отрывок из книги «Утопия для реалистов» голландского историка Рутгера Брегмана о безусловном базовом доходе. В закладки MakeRight Её автор Рутгер Брегман получил награду за лучшую документальную книгу и дважды номинировался на Премию журналистской прессы. Издательство «Альпина» выпустило книгу «Утопия для ...