Хабрахабр

Нейрогарнитура на каждый день — как ее делают, зачем она нужна и во что нас превратит

Размышления о работе мозга и устройстве сознания обычно заводят в самые жесткие тупики, религиозные споры и плодят триллионы домыслов. Нейросети, блокчейны, ИИ, летающие машины, самозавязывающиеся шнурки — все это, конечно, круто, но в самый большой трепет меня повергает мысль об идеальном нейроинтерфейсе. Поэтому я решил поискать человека, который знает о работе с мозгом и нейроинтерфейсом непонаслышке.

Мой собеседник — Александр Смирнов, основатель минского стартапа CleverPoint.

После университета пошел на кафедру биологической химии и защитил кандидатскую диссертацию. В юности он выучился на врача, получил диплом хирурга. На тот момент Александр начал свой бизнес — производство стоматологических имплантатов — и занимается им уже 20 лет.

Друзья, с которыми он ходил в компьютерный кружок, остались на всю жизнь — сейчас они все серьезные инженеры. Со школы его хобби было программирование. Шутка зашла далеко, и теперь это амбициозный технологический стартап. Вместе с ними, шутки ради, Александр и решил сделать носимый нейроинтерфейс, не отстающий от профессионального медицинского оборудования.

Целей оказалось подозрительно много. Перед разговором я попытался понять, для чего именно применяется их продукт. Контроль за состоянием мозга? Какие из них главные — мысленное управление девайсами? Исследования, сбор данных?

Мы залезли не только в мозг, но и в противоречивые этические проблемы, и в будущее, где человечество, кажется, ждет пара-тройка нелегких испытаний.
В итоге наш разговор, как и шутка со стартапом, зашел слишком далеко.


Александр Смирнов

Как все прошло? — Я видел, что вы недавно были в Сколково.

Мы представили проект, нам рассказали, какие в Сколково есть возможности для стартапов в плане грантов, финансирования, площадки для общения. — В общем, хорошо. Решили, что будем подавать заявку, попробуем стать резидентом. Мне очень понравилась встреча, было позитивно. В настоящее время размышляем, с каким именно фрагментом будем заходить туда. Наш проект достаточно обширный — мы делаем и технологическую платформу, и саму нейрогарнитуру, и алгоритмы.

— Идея находит отклик?

Хотя нейроинтерфейсы уже лет десять на слуху, они все равно остаются новой сферой. — Большинство людей вообще не понимают, чем мы занимаемся. Первая реакция — это удивление, потом некоторый скепсис, конечно. Приходится объяснять, рассказывать. Но реагируют, в общем, позитивно.

— Правда, что инвесторы в первую очередь смотрят на команду?

С ней у нас все в порядке. — Команда в стартапе — это самое важное. Пока у нас нет готового железа, медики нас просто консультируют, передают опыт нашим технарям, чтобы те понимали, на что обращать внимание, какие полезные сигналы надо выделять из общего шума, который генерирует наш мозг. Там и инженеры, и биофизики, и специалисты по радиоэлектронике, и физиологи с клиницистами. Когда мы изготовим альфа-версию продукта, тогда начнутся более серьезные и масштабные исследования.

Занимаются цифровой обработкой радиосигналов, структурными и функциональными компонентами, программированием логических интегральных схем, работают в MatLab, пишут на C. В команде пять инженеров, они эксперты в своих областях. Команда достаточно серьезная для своей области. Есть специалисты по машинному обучению, промышленному дизайну.

— Как такую команду удалось собрать в Минске?

Я тогда увлекался программированием. — Это связи, которые остались ещё со школьных времен. Они мне рассказывают, как делают свои проекты в области радиоэлектроники, я им рассказываю про медицину. И с тех пор мы дружим много лет — уже семьями. Однажды у меня появилась идея, и они загорелись.

Мы сильно углубились в тему, набили шишек и наработали базу знаний. В начале всё казалось шуточным — ну попробуем и попробуем — но все зашло очень далеко.

— И как далеко вы зашли?

Оценили полученный сигнал, сколько там шума, сколько полезного сигнала. — Разработали прототип, подобрали железо, закупили его, собрали тестовый макет, протестировали его работоспособность. Известно, что при определенных задачах мозг реагирует определённым образом — все эти концепции мы подтвердили, то есть железо нашего прибора работает. Протестировали известные электроэнцефалографические парадигмы на людях.

Бытовые гарнитуры на рынке, на мой взгляд, не удовлетворяют многим требованиям — начиная от удобства и заканчивая техническими специфическими требованиями. Помимо этого мы разрабатываем саму гарнитуру, условно говоря, шлем который надевается на голову. Дизайн нашей нейрогарнитуры прошел первую итерацию, и сейчас мы готовимся печатать прототип.

В гарнитуре будет встроено аудио, поэтому тестируем, как идёт одновременная передача мозговых импульсов и аудио сигнала, насколько это друг другу мешает, и вообще, какова реальная пропускная способность нашего беспроводного канала. И третье направление, которым мы сейчас активно занимаемся — это тестирование алгоритмов, удаление артефактов, которые возникают в электроэнцефалограмме.

— Аудио?

Например, когда человек находится в состоянии стресса или умственной перегрузки, можно с помощью звуковых сигналов сообщать ему об этом. — Мы можем кодировать мозговую деятельность, логически привязывать ее к звуку — щелчкам или каким-либо сигналам — и транслировать их в наушники, чтобы человек слышал, что именно происходит у него в мозгу. Тогда человек предпринимает усилие, осознанно успокаивается — и звуки пропадают. Частота и интенсивность сигналов может коррелировать со степенью стресса.

Нейрогарнитура предупреждает, что следует остановиться и отдохнуть. Другой пример — во время управления автомобилем водитель начинает засыпать.

Если посылать в аудиоканал звук или музыку определенной ритма и эмоциональной окраски, то мозг реагирует на аудиосигнал и меняет свои ритмы. С помощью аудионаушников можно еще давать нейрофидбэк — это тренировка мозга по принципу обратной связи. Например быстро переходить из состояния релаксации к состоянию концентрации и наоборот. Повторяя такие тренировочные сессии регулярно можно научиться управлять своим мозговыми ритмами без аудиоподдержки.

— А что за железо вы используете?

В классической энцефалографии сигнал записывается, потом в офлайн-режиме очищается от артефактов и шумов. — Мобильная гарнитура — это, по сути, носимый мобильный энцефалограф. Сессия обрабатывается различными алгоритмами, и из сигналов вычленяется полезная информация.

Когда это делается онлайн, растут требования к самому устройству. В отличие от классических энцефалографов, у нас стоит задача обрабатывать мозговые сигналы в реальном времени. Поэтому в нем будет стоять аналогово-цифровой преобразователь высокой точности, который снимет сигнал с электродов и преобразует их в цифру.

На FPGA мы можем запаралелить обработку нескольких потоков данных, можем написать предварительные алгоритмы очистки шума, фильтрацию или даже логику принятия решений. В девайсе будет программируемая логическая интегральная схема (FPGA). Теоретически, мы можем масштабироваться и увеличивать количество каналов до 16 или 32. Наше устройство в двух различных базовых версиях будет иметь 6 и 12 электродов. Но это уже выходит за рамки бытовой нейрогарнитуры.

Изначально она будет достаточно громоздкая — большой starter kit с множеством различных вариантов подключения и поддержкой нескольких схем монтажа электродов. Попутно мы разрабатываем собственную плату.

— То есть сейчас это макет гарнитуры, распечатанный на 3D принтере, и от него идут провода к плате?

Потом мы выпустим более миниатюрную версию, встроим плату в шлем и опять все будем тестировать. — Да, пока что это не очень носимое устройство — оно будет помещаться в нагрудный карман и подключаться проводами к гарнитуре. Сколько в конечном счёте пройдет итераций, я пока не знаю.

У людей разные по размерам головы, а позиция электродов на голове должна быть чётко выставлена. Обычно носимые нейрогарнитуры — это либо шапочка, либо каркас из пластика с дугами, которые подводят к голове электроды на определённые позиции. Тонко настроить работу алгоритмов не получится — алгоритмы ожидают, что электроды стоят правильно. Если нейрогарнитура одного размера и для детей, и для взрослых, для женщин и мужчин, то электроды располагаются на разных головах абсолютно по-разному. Эту проблему на сегодняшний день ни один производитель немедицинских нейрогарнитур не решил.

При этом постоянно себе напоминаем — это не профессиональное устройство, а бытовое, оно должно быть удобным. Мы как раз пытаемся выставлять электроды в любую точку головы, делаем систему различных крепежей.

В итоге мы сможем расшифровать сигнал прямо на FPGA и тут же выдавать пользователю данные о его мозговой активности в виде звуковых сигналов в наушники — минуя любые другие устройства, выходящие за пределы гарнитуры.

У нас все базовые вещи будут реализованы в носимом устройстве, а в десктопном или мобильном приложении — только более сложная логика. Большинство существующих сегодня устройств для онлайн обработки электроэнцефалограммы передают сигнал либо в компьютер, либо в смартфон, и уже там занимаются его расшифровкой. Например, взаимодействие со специалистом по неврологии.

— Между устройством и приложением будет сервер?

В дальнейшем мы планируем создать облачный сервис, у него уже обрисовываются первые черты. — Нет, сигнал будет обрабатываться непосредственно процессором телефона или любой рабочей станции. Но еще не решили, как и в каком объеме будем хранить биоданные пользователя, и каким образом он сможет взаимодействовать со специалистом, проводить лечебные онлайн сессии.

— И как далеко вы зашли в разработке программного обеспечения?

Например, когда человек моргает, импульсы, которые передаются на глазодвигательные мышцы, намного сильнее по амплитуде, чем мозговые волны, но находятся в том же диапазоне полезных нам частот. — Мы написали драйверы к основным программным продуктам для электроэнцефалографии и сконцентрировались на алгоритмах удаления различных артефактов, загрязняющих сигнал. В классической многоканальной электроэнцефалографии эта проблема решается. Надо, чтобы сигнал стал чистым, и при этом мы не потеряли на фильтрах часть полезной информации. А для бытовой нейрогарнитуры с реал-тайм обработкой и небольшим количеством электродов пока хороших решений нет.

Какие проблемы есть у нейроинтефрейсов

  • Качество сигнала. Человеческая голова абсолютно не приспособлена для того, чтобы с неё снимали электрические сигналы. Кожа обладает высоким сопротивлением, а есть еще и волосы — через них надо как-то закрепить электрод на коже.

    Они используют специальный токопроводящий гель, обеспечивающий плотный контакт электрода и кожи головы, минуя даже волосистую часть. Большинство производителей предлагают влажные электроды. Некоторые делают электроды активными, в них встраивается дополнительная микроэлектроника.

    Они будут сделаны в виде расчесок или плоских кнопочек, которые мы тоже будем тестировать на разных головах. Мы пытаемся разработать гарнитуру на сухих полимерных электродах. Создадим фокус группу, и будем смотреть, насколько удобна гарнитура для практического применения.

  • Время монтажа. Когда медицинское устройство надевается на голову для какого-то эксперимента, время монтажа занимает от 10 до 45 минут. Каждый электрод надо закрепить, впрыснуть гель, на каждом проверить сопротивление, потом увязать все провода вместе и подсоединить к измерительному прибору.

    В идеале человек должен надеть нейрогарнитуру на голову, и она сходу должна начать работать. Для потребителя это абсолютно неприемлемо. Эту задачу по сути никто ещё не решил. Может с минимальной подтяжкой и калибровкой, чтобы получился качественный сигнал. Пока не решим, не имеет смысла двигаться дальше.

  • Отсутствие надёжных алгоритмов для определения эмоций, для определения производительности работы мозга и других электроэнцефалографических парадигм.
  • Неподготовленность обычных пользователей. В настоящее время человек без специальной подготовки в принципе не может работать с нейроинтерфейсами. Технологии требуют высокой мотивации. Очень высоко мотивированы сейчас разве что люди с инвалидностью. Они готовы учиться, проходить бесконечные калибровки приборов. Для обычного пользователя все это кажется странным и страшным — он быстро теряет интерес.

    Надо провести гигантскую работу, чтобы превратить научный гаджет в прибор, без которого нельзя обходиться в обычной жизни, каким, например, стал смартфон.

— Вам не кажется нечестным, что разработчики пользуются высокой мотивацией инвалидов и отрабатывают все на них, чтобы потом использовать на остальных?

Поэтому они готовы участвовать в экспериментах, иногда очень сложных. — Для инвалидов нейрогарнитура иногда является единственным окном в мир. Они готовы рисковать своим здоровьем, делать инвазивные интерфейсы. Порой даже в таких, где никто больше не согласится. Эти люди двигают науку вперёд.

Это новый канал взаимодействия с внешним миром и новый инструмент познания человеком самого себя. На сегодняшний день в ожидании мозгового интерфейса застыло много технологий. Если появится более-менее дешёвое устройство, которое позволит надежно регистрировать и интерпретировать мозговые ритмы — то случится мгновенный старт и серьезный прорыв.

— Может ли ваше устройство развивать науку?

Цена на носимые медицинские устройства измеряется тысячами долларов, в среднем хороший прибор стоит 600-800 долларов за один канал информации, то есть более 7 тысяч за 12 каналов. — Популяризации науки оно точно поможет. Если мы сделаем прибор дешёвым, удобным и при этом достаточно точным, то внесем свой вклад в развитие науки.

— Создается впечатление, что вы не изобретаете нейроинтерфейс, а пытаетесь сделать носимыми существующие медицинские образцы.

В нашем приборе не такие дорогие компоненты, как в профессиональных медицинских системах. — Отчасти это так. У нас более простой аналоговый фронт-енд, хотя по научным публикациям проверено, что он сравним с медицинскими по качеству полученного сигнала.

— Вы себя ощущаете как коммерческий проект или как научный?

У нас есть ощущение, что мы делаем научно-исследовательскую конструкторскую работу с большими коммерческими перспективами. — Пока нам просто интересно. Все мы люди. Тут должна быть золотая середина. Мы все понимаем, что надо кормить семьи, жить. В команде всем уже за сорок, мы не молодые ребята, которые готовы работать за идею. Поэтому изначально рассчитывали, что устройство должно стать коммерчески применимым.

Семь-восемь лет назад нейроинтерфейсы резко стартовали, им пророчили огромные перспективы. Мы осознаем сложность проблемы. И мы пока еще не знаем, в какой точно сфере наше устройство займет свое место. Но несовершенство изделий не позволяет применять их полноценно.

— А вам это дорого обходится?

Я не считаю время, потраченное на разработку, на программирование, на поиск научной информации, поездки. — Мы потратили около 18 тысяч долларов только на железо и всякие экспериментальные работы. То есть — уже недёшево.

— И вы все это делаете на свои?

— Да, пока мы делаем все на свои.

Вы смотрите в эту сторону? — Последнее время много новостей о применении алгоритмов машинного обучения в медицинских устройствах.

Мы применяем разные методы, которые уже прошли апробацию в области электроэнцефалографии — дискриминантный анализ, метод опорных векторов, метод главных компонент, регрессионный анализ. — Нам приходится решать задачи классификации выделенных признаков, используя машинное обучение.

Насчет нейронных сетей — их применяют но пока что надежность не выше, в сравнении с другими методами машинного обучения.

— Но есть перспективы.

Мы также работаем в этом направлении. — Перспектива огромная, однако им ещё предстоит пройти длинный экспериментальный путь.

Кажется, что они могут больше, чем есть на самом деле. Вокруг передовых и модных технологий, о которых все говорят, витает куча мифов.

«Если все пойдут прыгать с обрыва ты тоже пойдёшь? Есть хороший анекдот. Невозможно предсказать, когда алгоритм ошибется. Да — отвечает нейросетевой интеллект, построенный на машинном обучении». Они нуждаются в глубоком тестировании, серьезной научной проработке. Мне кажется, это одна из главных проблем, от которой не застрахованы нейронные сети. Подходить к этому надо осторожно.

— У вас, наверное, нет мифического ощущения и иллюзий от технологии, с которой работаете?

Технология казалась волшебной. — Когда в 2012-м году я впервые увидел нейро-устройство, было ощущение колдовства. Но чем больше я изучал этот вопрос, тем быстрее пришло отрезвление, потом разочарование, переосмысление и, наконец, заново появился интерес.

Но нам интересно, мы хотим тоже попробовать. Мы далеко не первый стартап в этой области, есть много лабораторий, которые, вероятно, опережают нас на много шагов.

— Не думали, что когда мы также хорошо изучим наш мозг, точно также развеется мифическое представление о нём — это окажется просто легко объясняемый механизм.

Даже у самых простейших нейронных сетей никто не может предсказать, какой результат выдаст после обучения алгоритм. Ну… не думаю. А ведь простейшие нейросети можно на одном листочке бумаги нарисовать, весь принцип их действия — и при этом результат непредсказуемый. Это всегда экспериментальная работа.

Не думаю, что это будет скоро. А представьте когда у вас в голове то же самое, только масштабированное в триллион раз.

— А расскажите поподробнее про работу мозга?

Я расскажу кратко об особенностях мозга, которые вообще делают электроэнцефалографию возможной. — Это сложно.

Часть этих потенциалов, в основном от нейронов коры головного мозга, можно зарегистрировать при помощи электродов с поверхности скальпа — кожи и волосистой части черепа. Функционируя мозг генерирует различные электрические потенциалы.

В зависимости от диапазона частот ритмы условно делят на интервалы и обозначают буквами греческого алфавита — альфа, бета, гамма, тета, дельта. Синхронизированная активность между ансамблями нейронов создает макроколебания электрического напряжения — мозговые ритмы, которые видны на электроэнцефалограмме.

Например, ритмы меняются при переходе от бодрствования к засыпанию, при умственном напряжении и расслаблении, при испытывании различных эмоций, при решении умственных задач любого типа, а также в ответ на сенсорную (слуховую, зрительную и другие) стимуляции. По изменению мозговых ритмов в разных областях мы можем судить о том, какие задачи сейчас решает мозг.

Это связно с тем, что в затылке находится корковый конец анализатора зрения. Например, в ответ на фотостимуляцию с частотой 5-30 Гц у человека в затылочных долях появляется ритм с идентичной частотой. Если человек закроет глаза, то амплитуда волн возрастает. В норме у него есть ярко выраженный альфа-ритм. Когда глаза откроются, амплитуда снова упадет.

То есть мы представляем, что шевелим правой ногой, и у нас есть ответная реакция, которую можно зафиксировать на электродах, а потом научиться определять, тренируя различные классификаторы. Другой пример десинхронизации ритмов связан с намерением человека совершить какое-либо движение.

Так мы получаем простейший классификатор и можем запрограммировать взаимодействие с бытовыми внешними устройствами. Мы фиксируем, какой паттерн изменения мозговых ритмов соответствует ментальному представлению о поднятии правой ноги, а какой — левой ноги. Человек подумал о поднятии правой ноги, и его инвалидная коляска поехала вперёд.

Когда человек испытывает какие-то эмоции, у него наступает рассинхронизация ритмов между полушариями. Или пример из другой области. Сейчас построено несколько алгоритмов по определению эмоции человека — мы можем интерпретировать от четырех до шести видов эмоций.

Но все зависит от того, насколько человек мотивирован тренировать алгоритмы, повышать их точность и надёжность предсказания. На основе того, какую парадигму мы хотим оцифровать и какую программную логику построить — нужно подбирать разное количество и расположение электродов.

И мне показалось, что у вас делается упор просто на сбор данных с мозга. — Сначала я долго не мог понять, для чего же конкретно вы хотите применять свое устройство.

Но уже готовим новые алгоритмы, которые будем научно апробировать и публиковать. — На сегодняшний день, пока мы тестируем начальное устройство, накапливаем базу знаний, и да — в первую очередь собираем данные и проводим стандартные эксперименты.

— Просто сбор данных сейчас — чувствительный вопрос.

Но такая работа должна осуществляться, потому что существующие в настоящее время базы данных мозговых паттернов разнородны и неполны. С точки зрения персональных данных — да, конечно. И конечно нам интересно собирать и анализировать такие данные, чтобы совершенствовать свои алгоритмы. На сегодняшний день нет окончательно сформированного понятия нормы. Естественно, все с согласия пользователей.

Поэтому у каждого пользователя нашего программного продукта будет возможность отказаться от использования его личных биоданных в научных и статистических целях. Я сам не люблю, когда мои данные собирают.

Открывается слишком много сценариев, чтобы влиять на человека. — Вот человек ходит с гарнитурой на мозге, она его постоянно анализирует — когда он слушает музыку, бегает, смотрит телевизор, делает что-то ещё.

Нужно хорошо подумать, какие гарантии безопасности мы должны предоставить человеку в том, что его данные не используют во вред или с целью манипулирования. — Конечно, нейротехнологии, как потенциальный инструмент влияния, несут определенную опасность.

Например, групповая эмоциограмма — такой термин еще особо не упоминался в русскоязычном сегменте интернета. Мы рассматриваем различные варианты группового взаимодействия на наших нейрогарнитурах. И человек, который ещё не смотрел фильм, сможет увидеть, где самый страшный момент или самый весёлый. Суть его в том, что мы можем записать эмоциональный отклик большой группы людей на какое-то событие, например, на фильм в кинотеатре. Он будет понимать, как реагировал зал.

Тут, конечно, пользователю надо давать чёткие гарантии, что его данные не взломают и не используют против него. Или, например, эмоциональная реакция на речь политического деятеля. Но пока что глубоко этот вопрос не прорабатывали. Мы рассматриваем различные варианты защиты информации от взлома и подмены с использованием аппаратного шифрования и блокчейна.

Наша жизнь станет легче, все будет безопасно и хорошо. — Допустим, всё, о чем вы говорите, пойдёт по идеальному сценарию. Вы задумывались к чему будет вести постоянное улучшение мира?

Надо признать, что от нейроинтерфейсов не убежать. — Я, конечно, задумывался об этом. Канал, который мы с вами сейчас используем для общения — байты в минуту. Когда-нибудь эта технология будет внедрена в любом случае. Я даю вам интервью, и информация идет с очень низкой пропускной способностью. Это очень мало на фоне каналов, которыми оперируют компьютерные сети и интернет — десятки гигабайт в секунду.

Если говорить конкретно о реализации, то, скорее всего, придётся влезать в анатомию и физиологию человека как биологического вида, менять его, генетически модифицировать, что-то дополнительно встраивать непосредственно на поверхность мозга, ставить какие-то устройства, усиливающие электромагнитные сигналы — и тут я ухожу в область фантастики. Нам нужен какой-то дополнительный канал взаимодействия с мозгом, более быстрый и действенный. Но то, что это, к сожалению, неизбежно — моя твёрдая уверенность.

Те же стоматологические имплантаты, которыми я занимаюсь — это же биомеханическое устройство, по сути мы делаем киборга из человека.

Нас подстегивает научно-технический прогресс, мы стали его заложниками на данном этапе, и свернуть не можем — это неотвратимо. Грядет абсолютно новый мир, и пока непонятно на каких принципах он будет работать. Уже через 30 лет мир будет не таким, как сейчас, и мы прикладываем к этому руку.

В наших силах сделать этот переход к «новому человеку» менее болезненным и избежать социальных потрясений. Звучит страшновато и непривычно, но такова тенденция.

— Я слышал, что если получится подключить электрод к участку, который отвечает за получение удовольствия, и дать человеку кнопку — он будет просто её жать и больше от жизни ничего не захочет.

Они проводились на крысах. — На людях такие эксперименты не проводились. Они умирали от истощения, потому что им больше ничего не было нужно. И крысы себя убивали. Они постоянно стимулировали так называемый центр удовольствия — можно сказать, испытывали хронический ментальный оргазм.

— Если человеку дать большой доступ к мозгу, не случится то же самое?

Я думаю, мы придумаем какой-то механизм защиты, чтобы сохранить свое Я и свою человечность. — Человечество всегда балансирует на грани катастрофы.

Миром правят идеи, которые заставляют нас что-то делать и развиваться. Человек уже становится лишним звеном в том социуме, который мы создали. Все больше он начинает работать по законам, которых мы не понимаем. Идеи закручивают новый виток научно-технического прогресса, а мы просто его обслуживаем. Человека нужно как-то модифицировать, чтобы он мог понимать, что происходит, чтобы мог быстро получать и передавать информацию, чтобы он не становился слабым звеном в этой системе.

Теги
Показать больше

Похожие статьи

Добавить комментарий

Ваш e-mail не будет опубликован. Обязательные поля помечены *

Кнопка «Наверх»
Закрыть