Хабрахабр

Российские ученые восстановили образы из мыслей человека по электрической активности мозга

Правда, речь идет только о работе с изображениями, на которые смотрит человек, чей мозг анализируется. Ученые из россйской ГК «Нейробиотикс» и Лаборатории нейробототехники МФТИ сумели воссоздать изображения по электрической активности мозга.

Главное — понять, как мозг шифрует информацию, которую мы затем храним многие годы (ну или минуты, что не менее важно).
Работа российских ученых пересекается с проектами зарубежных коллег. Собственно, восстанавливать геометрические фигуры, на которые смотрит человек в определенный момент времени, по электрической активности его нервных клеток — вовсе не самоцель. У этих двух методов есть серьезные ограничения в использовании — в больнице или быту (не сейчас, конечно — в будущем). Но в большинстве случаев другие исследователи используют функциональную магнито-резонансную томографию или анализ электрических сигналов, которые получают с нейронов.

Затем полученные данные «скармливаются» специально обученной нейросети. Напротив, в работе отечественных специалистов используется электроэнцефалограмма, которая снимается с головы человека обычным образом. В результате последняя определяет, на что сейчас смотрит испытуемый, и по конфигурации его электрического сигнала выстраивает геометрическую фигуру.

Эксперимент, который провели специалисты, состоял из двух частей. В первом использовались ролики из пяти различных категорий, включая «абстракции», «водопады», лица людей", «скорость». Так, ролики представляли собой видео, снятые от первого лица на снегоходах и других транспортных средствах. Продолжительность роликов составляла 10 секунд, сессия для каждого испытуемого продолжалась около 20 минут.

По итогу ученым удалось доказать, что конфигуация электрической активности мозга значительно отличается в зависимости от категории просматриваемых роликов.

Для нее также были отобраны видео, уже не пяти, а трех категорий. После этого началась вторая стадия эксперимента. Одна из них формировала произвольные изображения из демонстрируемого «шума», вторая — генерировала «шум» из ЭЭГ. Также во второй части эксперимента задействовали две нейросети. После этого обе нейросети объединили, обучив систему воспроизводить изображение по записанному прибором ЭЭГ.

Сигнал в режиме реального времени отправлялся на обработку в двойную систему нейросетей. После этого добровольцам стали демонстрировать видео тех же категорий, записывая ЭЭГ. В целом, задачей было не воспроизвести точно видео, а понять, к какой категории относится изображение, сгенерированное нейросетью. В итоге воспроизводилось изображение, которое в большинстве случаев относительно точно совпадало с оригиналом. Это удалось сделать в 90% случаев.

Раньше считалось, что исследовать процессы в мозге по ЭЭГ — это все равно, что пытаться узнать устройство двигателя паровоза по его дыму. «Энцефалограмма — следовой сигнал от работы нервных клеток, снимаемый с поверхности головы. Однако оказалось, что такая реконструкция возможна и демонстрирует хорошие результаты. Мы не предполагали, что в ней содержится достаточно информации, чтобы хотя бы частично реконструировать изображение, которое видит человек. Это очень обнадеживает. Более того, на ее основе даже можно создать работающий в реальном времени интерфейс “мозг — компьютер”. Мы надеемся, что в будущем сможем сделать более доступные нейроинтерфейсы, не требующие имплантации» — заявил Григорий Рашков, один из авторов работы, младший научный сотрудник МФТИ и программист-математик компании «Нейроботикс». Сейчас создание инвазивных нейроинтерфейсов, о которых говорит Илон Маск, упирается в сложность хирургической операции и то, что через несколько месяцев из-за окисления и естественных процессов они выходят из строя.

Показать больше

Похожие публикации

Добавить комментарий

Ваш адрес email не будет опубликован. Обязательные поля помечены *

Кнопка «Наверх»