Хабрахабр

Звуковое зрение vOICe vision. Взгляд из тьмы

Когда-то исследователю и технологическому энтузиасту Игорю Трапезникову говорили, что слепота не лечится и потерявший зрение обречён жить во тьме. А спустя 10 лет Игорь представил устройство, в буквальном смысле подарившее незрячим людям возможность вновь видеть окружающий мир.

Некоторые из них приводят к полной слепоте и никакие технологии не способны вновь подарить человеку зрение. Современная медицина бессильна против многих заболеваний глаз.

Кроме одной.

Основываясь на свойстве нейропластичности мозга, которое позволяет отдельным зонам мозга меняться под действием опыта, а также восстанавливать утраченные связи после повреждения или вырабатывать новые связи, он предположил, что можно научиться заменять один способ восприятия другим.
В 60-х годах XX века американский нейрофизиолог Пол Бах-у-Рита изобрёл технологию сенсорного замещения.

Электроды присоединяются к языку и выучивший алгоритм человек может ориентироваться в окружающем пространстве, не используя обычное зрение. Пол Бах-у-Рита создал устройство BrainPort, которое с помощью электродов трансформирует сигнал с видеокамеры в электроимпульсы по определённому алгоритму. Они в буквальном смысле начинают видеть. Благодаря нейропластичности мозга уже через несколько дней у слепых, применяющих BrainPort, визуальная информация начинает достигать зрительной коры.

Если взять за основу другой, использующий большее количество нейронов мозга, то замещение будет более точным и качественным. Но осязание – не самый совершенный способ восприятия, доступный человеку и уж тем более – не самый удобный и точный. А слепой станет видеть лучше.

Он разработал алгоритм Звукового Зрения – модель преобразования изображения в звуки различной громкости и высоты, способные передать его смысл. В 1990-х голландский инженер Питер Мейер предложил использовать для сенсорного замещение не осязание, а слух. Видеоизображение разбивалось на кадры раз в секунду, кадр переводился в монохромный цвет, и затем каждый пиксель изображения озвучивался определённым тоном и громкостью – и так раз в секунду.

Алгоритм работал. Его замысел удался. Но реализовать техническое воплощение идеи, с применением современных технологий и удобных дизайнерских решений, оказалось непростой задачей. И люди, использующие Звуковое Зрение, вновь смогли видеть.

Его любопытство не было праздным увлечением. Российский нейрофизиолог и исследователь Игорь Трапезников заинтересовался технологией сенсорного замещения много лет назад. Из-за астигматизма Игорь начал терять зрение и проблемы слабовидящих и незрячих людей замаячили на горизонте его собственной бедой.

Я тогда подумал – раз я с моим плохим зрением смог всё это увидеть с помощью микроскопа, то наверняка можно создать какое-то техническое средство, которое поможет мне также хорошо видеть обычный мир, окружающее меня пространство», – рассказывает Игорь Трапезников. «Однажды мой старший брат принёс из школы микроскоп и открыл для меня удивительный маленький мир, невидимый невооруженному глазу. Слепота не лечится – один из стереотипов нашего общества, который я уже много лет пытаюсь сломать». – «Все вокруг считали, что человек, потерявший зрение, никогда не сможет его восстановить.

Игорь связался с автором и так зародилась дружба, которая впоследствии подарит надежду незрячим людям. В 2008 году Игорь узнал от коллег по общественному движению РТД об алгоритме Звукового Зрения Питера Мейера и заинтересовался возможностью реализовать проект в России. Так началась история vOICe vision. Изучив алгоритм голландца, Игорь понял, что можно создать носимое на голове устройство, переводящее изображение в звук по предложенному Питером Мейером принципу.


На рисунке показаны принципы преобразования для простого примера (изображение 8 × 8 пикселей, три серых полутона).

Данные каждого пикселя преобразовываются в матрицу. Механизм устройства Игоря Трапезникова целиком настроен на алгоритм Питера Мейера. Пиксель в более высоком положении соответствует звуку более высокой частоты. Вертикальное положение — в частоту, яркость в амплитуду. Суммы сигналов для одного столбца накладываются друг на друга. Чем больше яркость пикселя, представленного серым тоном, тем больше амплитуда («громкость») соответствующего генератора. Эта процедура продолжается до тех пор, пока самый правый столбец не будет преобразован в звук. Затем каждый следующий столбец преобразуется в звук. Для следующего кадра процедура преобразования повторяется.

Во время первых экспериментов мы крепили камеры к обычным кепкам, а для обработки данных использовали ноутбуки в рюкзаках. «Идея возникла 10 лет назад. На эти деньги были изготовлены первые прототипы vOICe vision – очков со встроенной видеокамерой и наушниками костной проводимости», – вспоминает Игорь. Активная работа началась в 2015 году, когда нашей команде при поддержке РТД удалось собрать нужное количество средств благодаря краудфандингу.

Он стал первым незрячим человеком, который научился эффективно пользоваться Звуковым Зрением. Именно тогда в 2015 году в команду влился Вадим Арцев, главный испытатель устройства. Сегодня Вадим применяет разработку Игоря Трапезникова каждый день и зависит от неё так же, как другие люди зависят от своих глаз.

Звуки, которые генерирует vOICe vision, казались какими-то фантастическими и ни на что не были похожи», – спустя четыре года признаётся Вадим. «В начале было непривычно и тяжело. Но это было связано лишь с тем, что я не понимал значения всех этих звуков. – «Обучаться приходилось на коротких занятиях, занимавших не более 10 минут, а при длительном использовании устройства начинала кружиться голова. Сейчас я легко различаю ваш силуэт и могу общаться хоть весь день, не отвлекаясь на звуки vOICe vision и одновременно ориентируясь по ним в пространстве. Однако со временем я изучил алгоритм Питера Мейера и смог упорядочить всё, что слышу. Трудно долго слушать китайский язык, не зная его. Это дело привычки и опыта. Но если ты китаец, то легко будешь разговаривать на нём сам каждый день».

Каждый день практики лишь улучшает навыки владения им. Игорь Трапезников сравнивает алгоритм Питера Мейера, закодированный в звуковой дорожке vOICe vision, с иностранным языком. И именно по этой причине Звуковое Зрение выигрывает у других средств реабилитации для незрячих, даже самых дорогих и современных.

Во-первых, качество изображения гораздо ниже. «Бионические импланты глаз, которые часто преподносятся в медиа сфере, как самое радикальное и эффективное решение для незрячих, вновь позволяющее видеть – уступает Звуковому Зрению по всем позициям. И в-третьих, нервная ткань, к которой подключены искусственные глаза, со временем рубцуется и зарастает. Во-вторых, для установки бионического зрения, требуется сложное операционное вмешательство. При использовании vOICe vision навык с каждым днём лишь становится лучше и окружающий мир прорисовывается в большей степени. В результате бионический контакт ухудшается и зрение со временем теряется вновь. Очки vOICe vision вместе с обучением обойдутся дешевле в десятки раз», – поясняет Игорь Трапезников. Это, не говоря уже о цене.

В прошлом году «Нейротлон» – так называется это соревнование – прошёл в Самаре. Его слова подтверждают результаты состязаний, в которых соревнуются средства реабилитации и использующие их люди с инвалидностью. vOICe vision представлял Вадим Арцев. На одной полосе препятствий сошлись пилоты с бионическим зрением, ультразвуковой тростью и Звуковым Зрением. С устройством Игоря Трапезникова он в два раза быстрее чем другие участники прошёл трасу, не допустив ни одной ошибки.

vOICe vision предлагает видеть мир на другом языке, пользуясь созданным Питером Мейером алгоритмом. Основная проблема Звукового Зрения кроется в его же главном преимуществе. Поэтому для неподготовленного человека Звуковое Зрение – не более, чем незнакомый набор звуков. А всякий язык нужно сначала выучить. Чтобы учить незрячих людей понимать его, необходимо сначала выстроить методику обучения.

Светлана сумела изучить алгоритм Питера Мейера и написать программу обучения, разработать задания для учебной онлайн-платформы и организовать работу Учебного центра vOICe vision. В команде vOICe vision эта задача легла на плечи Светланы Лебедевой, клинического психолога, научной сотрудницы ИМБП РАН. Сегодня она успешно ведёт курс Звукового Зрения для незрячих людей.

На это требуются силы и время – человек, словно ребёнок, проходит стадии диффузного восприятия, синкрета, предпонятия и, наконец, понятия — т.е. «Обучение новому способу восприятия мира – всегда вызов. При помощи механизма обратной связи он сначала начинает из звучания вычленять отдельные предметы окружающего мира, потом отмечает различия между звуковыми паттернами и формами разных предметов, и только затем начинает «догадываться» о принадлежности звучания незнакомого объекта к определённой категории вещей. проходит все ступени формирования представлений, на которые будет опираться новый способ восприятия. Но учениками, конечно же, развитие нового восприятия ощущается более прозаичным – как обучение любому другому сложному навыку во время привычного, рабочего ритма жизни. Для специалистов это очень любопытный процесс – обучение Звуковому Зрению напоминает классические эксперименты Выготского и Пиаже и задаёт фундаментальные вопросы в области изучения человеческого восприятия в зрелом возрасте. Это всегда вопросы внутренних ресурсов и личностного нарратива», – рассказывает Светлана Лебедева.

Особое внимание уделяется и вопросам мотивации. Благодаря разработанной программе обучения, ученики сегодня обеспечиваются всеми необходимыми внешними ресурсами.

Затем, используя механизмы развития любого из наших основных способов восприятия, человек учится ориентироваться при помощи мира новых звуков. «Наше обучение начинается с бережного погружения в основы Звукового Зрения. В этом мне очень помогает моя коллега Дарья Шибанкова. В этом ему помогают тренеры vOICe vision – опытные психологи, умеющие как поддержать человека, так и направить ход его обучения. Минувшим летом мы провели две встречи людей, владеющих навыком Звукового Зрения. У нас есть всё для всестороннего обучения – консультации с тренерами и психологами, домашние задания, наш виртуальный учебник-платформа, поддержка самих пользователей друг другом. Звуковое Зрение работает, дело за малым – популяризировать его», — делится Светлана Лебедева. Надеюсь, это будет доброй традицией – всем первооткрывателям хочется быть в компании единомышленников, людей с похожим опытом.

Что он получает? И всё же самым важным остаётся вопрос – что именно даёт незрячему человеку vOICe vision? Как видит человек с бионическим глазом – не для кого не секрет. На что тратит свои деньги? «Взглянуть» на мир бионическим глазом можно с помощью офтальмологического VR-симулятора, разработанного Лабораторией «Сенсор-Тех» и выложенного в открытый доступ. «Картинку» искусственного зрения много раз демонстрировали в выпусках новостей.

Но как оценить эффективность Звукового Зрения, не овладев языком-алгоритмом Питера Мейера?

– «Первый – проще. «На этот вопрос можно ответить двумя способами – с позиции исследования и с позиции науки», – отвечает Игорь Трапезников. Второй подразумевает изучение мозга с помощью энцефалограммы и магнитно-резонансной томографии. Опросите тех, кто уже овладел Звуковым Зрением. Немного, но они были. Такие исследования уже проводились. Человек ощущает картинку». И научный подход свидетельствует, что при длительном использовании Звукового Зрения в мозге активируются те зоны, которые ответственны именно за зрительные ощущения.

Во время разговора с человеком внимательно посмотреть на его лицо, а затем резко закрыть глаза. Чтобы понять зрячему, как именно это работает, Игорь предлагает провести такой опыт. По словам создателя vOICe vision, субъективно Звуковое Зрение создаёт ощущение картинки похожим образом. Образ собеседника сохраниться в памяти и воображение мгновенно нарисует его. Это касается глубины пространства, силуэтов объектов и предметов, а также тёмных и светлых цветов.

Разработчик пытается наладить работу с ключевыми организациями, поддерживающими незрячих. Приобрести очки vOICe vision уже сегодня может каждый, сейчас запущено мелкосерийное производство. Ведь в российских реалиях не многие люди с инвалидностью имеют возможность самостоятельно приобрести средство реабилитации.

Но в России для этого придётся пройти долгий путь. «Мы хотим сделать vOICe vision доступным для всех российских инвалидов по зрению. Чтобы зарегистрировать наши очки, как медицинское устройство, помогающее реабилитировать незрячих, необходимо провести ряд клинических испытаний, доказывающих, например, что vOICe vision не вредит здоровью – с точки зрения офтальмологов и других врачей», – поясняет Игорь Трапезников.

Опыт использования и испытаний vOICe vision позитивен и демонстрирует высокую эффективность. И это несмотря на то, что в России Звуковое Зрение уже успело себя зарекомендовать. Устройство успешно тестировалось в пансионате для незрячих в посёлке Малино, Московской области. В прошлом году проект стал финалистом конкурса «Открытые запросы», по линии Агентства инноваций Москвы, а в этом году – его победителем. На основе этой практики собраны отзывы экспертов, рекомендующие слепым обучаться навыкам Звукового Зрения.

В XIX веке Луи Брайль распространил по всему миру тактильный алфавит. «Миссия vOICe vision – сделать Звуковое Зрение доступным для всех людей, которые потеряли обычное зрение, потеряют его в будущем, либо родились слепыми. Мы хотим повторить этот путь, сделать тоже самое с vOICe vision, ведь это единственное устройство в мире, позволяющее в буквальном смысле видеть звуком. И сегодня – это стандарт для всех незрячих людей. Как только такая возможность появиться у всех незрячих людей и vOICe vision станет доступным каждому из них, я буду считать нашу миссию выполненной», – подводит итог Игорь Трапезников. Функционально те, кто овладели Звуковым Зрением, превращаются из слепых в слабовидящих.

В России, как и в других странах, реабилитационная индустрия нуждается в государственной поддержке. Но успех проекта зависит не только от Игоря и его команды. Ведь информация – главное оружие XXI века. И всё же помочь проекту может каждый, по крайней мере – в медиапространстве. Короткий рассказ друзьям, коллегам или банальный репост в социальных сетях может изменить будущее vOICe vision… И будущее тех, кто посвятил ему свою жизнь, кто создал альтернативу вечной тьме и подарил людям надежду.

Питер Мейер создал алгоритм надежды, Игорь Трапезников воплотил его в техническом устройстве, а Светлана Лебедева, обучая, вселяет эту надежду в сердца тех, кто не хочет жить в темноте.

Иван Чимбулатов

Теги
Показать больше

Похожие статьи

Добавить комментарий

Ваш e-mail не будет опубликован. Обязательные поля помечены *

Кнопка «Наверх»
Закрыть