Hi-Tech

Оценивает пульс и дыхание по видео, чтобы понять эмоции клиента: история российской разработки Neurodata Lab

Среди её клиентов «Сбербанк», ВТБ и другие компании. Neurodata Lab потратила на разработку три года и около $2 млн.

В закладки

Руководящий состав Neurodata Lab: Максим Рябов, Андрей Беляев, Георгий Плиев, Ольга Перепёлкина, Игорь Левин

Продукт

Компания работает с бизнесами: банками, страховыми и телекоммуникационными компаниями, ритейлерами, а также научными лабораториями. Neurodata Lab создала сервис по распознаванию эмоций и пульса по видео и аудио. Они пользуются разработкой по API.

Сервис определит удовлетворённость клиентов по мимике, и сеть сможет улучшить обслуживание. Продуктовая сеть собирает записи с камер в торговом зале, а затем отправляет данные Neurodata Lab.

Технология распознает агрессию или недовольство звонящего и оповестит об этом руководителя отдела. Также Neurodata Lab анализирует голоса клиента и оператора в колл-центре. Тогда он сможет быстро отреагировать и сделать так, чтобы проблемой клиента занялись в первую очередь.

​Определение алгоритмом пола, возраста, эмоции, индекса удовлетворённости и пульса

Она состоит из восьми модулей: Компания представила публичную версию продукта в ноябре 2019 года.

  1. Распознавание эмоций по лицу.
  2. Мультимодальное распознавание эмоций.
  3. Детекция пульса.
  4. Детекция лиц.
  5. Детекция тел.
  6. Анализ позиции тела.
  7. Распозвание пола и возраста.
  8. Оценка индекса удовлетворенности.

В первом квартале 2020 года Neurodata Lab планирует выпустить SDK для заказчиков.

Технология

На нём строится эмоциональная и поведенческая аналитика. Основа разработки — сочетание компьютерного зрения и алгоритмов машинного обучения с методами когнитивных наук.

Алгоритмы разбивают сырые данные на кадры и оценивают метрики по каждому из доступных каналов: выражению лица, движению глаз, позе, голосу, речи, жестам. В качестве источника информации в основном выступает видео и аудио с камер любого типа.

После этого нейросети обрабатывают информацию и оценивают, какие эмоции испытывает человек, как он себя ведёт, чем занимается.

​Анализ эмоций, пульса и кривая дыхания алгоритмом компании

По словам управляющего директора и сооснователя фирмы Игоря Левина, компания первой в мире представила облачный сервис на её основе. Также Neurodata Lab разработала технологию, которая определяет пульс человека по видео.

Затем фиксируют, как пиксели в выбранной области меняют цвет. Чтобы измерить пульс, алгоритмы Neurodata Lab выделяют из видео лицо и шею человека. Эти значения связывают с насыщенностью крови кислородом и расширением капилляров и по ним вычисляют пульс.

С помощью технологии можно следить за состоянием водителей такси: система зафиксирует повышение пульса и негативные эмоции с учётом ситуации на дороге и погодных условий.

Сейчас, отмечает Левин, технология измеряет пульс с погрешностью один-два удара в минуту.

В перспективе бесконтактное измерение пульса можно использовать для пациентов больниц, домов престарелых, а также встраивать в систему «умного» дома, чтобы она могла вызвать скорую, если жильцу плохо.

Игорь Левин

управляющий директор Neurodata Lab

Собрав данные, платформа составляет отчёт по каждому кадру в разных форматах — с информацией об эмоциях, пульсе.

​Пример JSON-файла с эмоциями: грусть, тревога, удивление, нейтральность, гнев, радость, отвращение

Чаще всего в кадре одновременно хорошо видно до десяти человек, но на качественной видеозаписи технология может обработать и 100 лиц. Минимальное разрешение изображения лица, которое может считать камера, — 30 на 30 пикселей.

SDK-версия будет работать на серверах заказчиков: это важно для банков, которые по закону «О персональных данных» обязаны хранить информацию внутри компании. Если клиент использует API, данные обрабатываются в облаке.

Создание компании

До 2016 года они развивали собственный венчурный фонд Envirtue Capital (найти публичную информацию о его работе не удалось, Левин также не раскрыл названия компаний, в которые инвестировал фонд). Neurodata Lab основали Георгий Плиев, Максим Рябов и Игорь Левин.

Инвесторы искали в России учёных и основателей стартапов, которые занимаются распознаванием эмоций с помощью компьютерного зрения и машинного обучения.

Сервисы для анализа эмоций запустили Microsoft — Cognitive Services в 2015 году, и Amazon — Rekognition в 2016 году. За год им не удалось найти подходящих команд, хотя за границей в этой сфере уже работали не только исследовательские группы, но и компании: Affectiva, Audeering, Kairos.

Сооснователи увидели потенциал анализа эмоций с помощью алгоритмов в банковской и медицинской сферах, автомобильной индустрии и компьютерных играх и занялись разработкой таких технологий для российского b2b-рынка.

В 2016 году партнёры создали компанию и развивали её на средства из собственного фонда.

По словам Левина, 90% стартапов анализирует эмоции по движению лицевых мышц: если человек улыбается, значит, он рад. Одно из первых решений — отказаться от готовых алгоритмов и разработок.

«Современная наука критикует этот подход, потому что для точного анализа нужно учитывать и другие показатели: позы, жесты, голос», — поясняет предприниматель.

У основателей не было подходящих знаний и навыков для разработки продукта: Плиев пришёл в инвестиции из девелопмента, Рябов и Левин — из финансового сектора.

Они начали подбирать команду и столкнулись с проблемой: специалистов, занимающихся эмоциональными технологиями в России, вспоминает Левин, на тот момент не было.

Основатели приглашали отдельно исследователей по когнитивной психологии и отдельно специалистов из области машинного обучения и рассказывали им о своих планах, предлагая присоединиться к компании.

Первой им удалось привлечь Ольгу Перепёлкину, нынешнего операционного директора и директора по науке.

Прежде она работала научным сотрудником в Лаборатории нейрофизиологии и нейрокомпьютерных интерфейсов в МГУ и интересовалась эмоциональными вычислениями. У неё есть учёная степень в области клинической психологии.

Так они пригласили двух учёных: Евдокию Каземирову и Марию Константинову, которые разбираются в психологии и физиологии эмоций. Перепёлкина была знакома с другими исследователями и помогла основателям с поиском сотрудников.

К началу 2017 года в компании работало три исследователя и четыре разработчика в области машинного обучения.

Фото из лаборатории Neurodata Lab

Первые сотрудники несколько месяцев знакомились с книгами, статьями, исследованиями, посещали конференции в области эмоциональных вычислений, чтобы разобраться в сфере и понять, с чего начать.

После они распределили между собой направления: кто-то стал изучать движение глаз, кто-то — мимику лица, кто-то — позы.

Чтобы собрать данные для обучения нейросетей, Neurodata Lab пришлось пригласить студентов-актёров и попросить их на камеру разыгрывать различные сцены: как делиться с другом грустными новостями о болезни родственника или рассказать партнёру, что забыл купить билеты на самолёт.

Пример сцены из датасета RAMAS (The Russian Acted Multimodal Affective Set)

Специалисты разметили данные, и в январе 2017 года у компании появился собственный набор RAMAS: около 3000 фрагментов видео и аудио продолжительностью пять-десять секунд.

В разных точках мира один и тот же жест может иметь разные значения», — рассказывает Левин. «Одна из трудностей анализа эмоций — их вариативность, которая зависит от контекста или культуры отдельной страны.

В нём больше 110 тысяч размеченных фрагментов. К осени Neurodata Lab собрала ещё одну базу данных из 160 часов публично доступных видео на английском. Под каждый из них сделано более десяти аннотаций, по которым нейросеть учится определять эмоции.

Трудность в разработке технологии заключалась в разных типах данных, которые нужно соотнести между собой, чтобы точно определить эмоцию человека.

Важность каждого канала по оценке Neurodata Lab:

  • 70% — лицо.
  • 15% — голос.
  • 10% — тело.
  • 5% — эмоциональный окрас слов.

Точные затраты на разработку Левин назвать не смог, но оценил их в $2 млн в период с 2016-го по 2019 год. Neurodata Lab потратила три года, чтобы довести технологию до стадии продукта, который можно предложить покупателям.

Долю инвестора Левин не раскрывает. В конце 2018 года Neurodata Lab привлекла $1 млн от сингапурского фонда MKC Smart Solutions.

С её помощью можно заметить резкие перепады в ритме дыхания, чтобы следить за теми, кто болен астмой и другими заболеваниями дыхательных путей. У Neurodata Lab есть ещё одна технология — измерение частоты дыхания по видео. Пока технологии нет в API.

Сейчас, по словам Левина, бесконтактно определяют температуру только специальные термографические камеры, а измерять давление по видео не умеет никто. Одновременно Neurodata Lab учит алгоритмы вычислять давление и температуру тела по видео.

Клиенты и рынок

Первых клиентов разработчик привлекал через отдел менеджеров, который предлагает услуги потенциальным заказчикам.

Среди партнёров компании — ВТБ, «Росбанк», итальянская страховая фирма Assicurazioni Generali, сеть пятизвёздочных отелей в Турции (её название Левин не комментирует).

Точное количество заказчиков компания не называет, но уточняет, что одновременно в работе — десять проектов из России, Европы и Азиатско-Тихоокеанского региона.

Также Neurodata Lab участвовала в выставке электроники CES 2019 в США, научных конференциях ACII 2019, ICMI 2018 и прошла совместный акселератор ФРИИ и ВТБ, после которого начала сотрудничать с банком.

Левин считает, что привлекать новых клиентов трудно: у каждого нужно найти конкретные проблемы и показать, как Neurodata Lab их решит.

Такой срок связан с тем, что крупным заказчикам зачастую не подходят готовые решения Neurodata Lab, поэтому компании приходится адаптировать продукт под их потребности. За проект с российскими корпорациями компания получает около 750 тысяч рублей, на него уходит три месяца.

Годовую SDK-лицензию Neurodata Lab оценивает в $25 тысяч. Цена API зависит от объёма данных и модуля (возраст и пол, пульс, показатель удовлетворённости и так далее) — от $0,3 до $1,5 за минуту обработанного видео.

Основатели намерены выйти в плюс в 2020 году. Ежемесячную выручку Neurodata Lab Левин не раскрывает, но говорит, что компания находится на венчурной стадии: развивается за счёт инвестиций, а не только выручки.

Сервису нужны инвесторы, которые приведут крупных клиентов. Левин рассказывает, что в том же году компания, скорее всего, закроет новый инвестиционный раунд. Он же отмечает, что точной оценки мирового рынка эмоциональных вычислений до сих пор нет.

По разным прогнозам, оценка рынка составляет от $2,2 млрд до $30 млрд. Аналитики расходятся во мнениях: спорят, стоит ли включать в рынок крупных игроков уровня IBM и Apple или нет.

Во всём мире этот рынок молод, он только складывается и показывает постоянный устойчивый рост.

Игорь Левин

управляющий директор Neurodata Lab

Показать больше

Похожие статьи

Добавить комментарий

Ваш адрес email не будет опубликован. Обязательные поля помечены *

Кнопка «Наверх»
Закрыть