Хабрахабр

[Перевод] Машинное (радио)зрение видит сквозь стены

image

Справа человек в темноте кидает предмет человеку, который звонит по телефону. Слева два человека жмут руки, причем один из них за стеной от камеры. Снизу — сгенерированная скелетная модель и предсказание действий.

Про радиозрение команды лаборатории CSAIL (Computer Science and Artificial Intelligence Lab) уже писали на Хабре (раз и два), сегодня немного свежих подробностей.

Алгоритм использует радиоволны, а не видимый свет, чтобы определить, что люди делают, не показывая, как они выглядят.

Оно обладает сверхчеловеческой способностью распознавать людей, лица и предметы. Машинное зрение имеет впечатляющий послужной список. Оно может даже распознавать различные виды действий, хотя и не так хорошо, как люди.

Особенно трудно машинному зрению тогда, когда люди, лица или предметы частично закрыты. Но его производительность ограничена. И когда уровень освещенности падает до 0, они, как и люди, практически слепы.

Радиоволны заполняют наш мир, будь то ночь или день. Но есть и другая часть электромагнитного спектра, которая не настолько ограничена. Действительно, исследователи разработали различные способы использования радиосигналов Wi-Fi, чтобы видеть за закрытыми дверями.
Но у этих систем радиовидения есть некоторые недостатки. Они легко проходят сквозь стены, передаются и отражаются человеческими телами. Их разрешение низкое, изображения шумные и заполнены отвлекающими переотражениями, что затрудняет понимание происходящего.

И это повышает вероятность использования сильных сторон одного для преодоления недостатков другого. В этом смысле радиоизображения и изображения в видимом свете имеют свои дополнительные преимущества и недостатки.

Новая система радиовидения позволяет увидеть, чем занимаются люди в широком диапазоне ситуаций, когда визуализация в видимом свете невозможна. Познакомьтесь с Tianhong Li и его коллегами из MIT, которые нашли способ научить систему радиовидения распознавать действия людей, обучая ее с помощью изображений в видимом свете. «Мы внедряем модель нейронной сети, которая может обнаруживать действия человека через стены и окклюзии, а также в условиях плохого освещения», — говорят Ли и Ко.

image

Радиочастотная тепловая карта и RGB изображение записанные параллельно.

Основная идея заключается в записи видеоизображений одной и той же сцены с использованием видимого света и радиоволн. Команда использует хитрый трюк. Поэтому следующий шаг — соотнести эти изображения с радиоизображениями той же сцены. Системы машинного зрения уже способны распознавать действия человека по изображениям в видимом свете.

image

RF-Action определяет человеческие действия по беспроводному сигналу. Архитектура RF-Action. Затем обнаруживается и распознаются действия из извлеченных последовательностей «скелетов» (зеленое поле). Извлекает «3д-скелет» для каждого человека из raw-потока беспроводного сигнала (желтый прямоугольник). Action Detection Framework также может принимать трехмерные скелеты, сгенерированные из визуальных данных, в качестве входных данных (синий прямоугольник), что позволяет тренироваться как на сгенерированных радиочастотами скелетами, так и на существующих базами данных с распознанными действиями.

Поэтому Ли и команда вводят промежуточный этап, на котором машина генерирует 3D модели фигурок, которые воспроизводят действия людей. Однако трудность заключается в обеспечении того, чтобы процесс обучения был сосредоточен на человеческом движении, а не на других вещах, таких как фон.

«Переводя данные на промежуточное представление на основе скелета, наша модель может учиться как на основе визуальных, так и на основе радиочастотных наборов данных, и позволяет обеим задачам помогать друг другу», — говорят Ли и команда.

«Мы показываем, что наша модель достигает точности сопоставимой с системами распознавания действий на основе зрения в видимых сценариях, и продолжает работать точно, когда людей не видно», — говорят исследователи. Таким образом, система учится распознавать действия в видимом свете, а затем распознавать те же действия, происходящие в темноте или за стенами, с помощью радиоволн.

Очевидное применение — в сценариях, когда изображения в видимом свете невозможны — в условиях низкой освещенности и за закрытыми дверями. Это интересная работа, которая имеет значительный потенциал.

Одна из проблем с изображениями в видимом свете заключается в том, что люди узнаваемы, что вызывает вопросы конфиденциальности. Но есть и другие ситуации.

Идентификация действий без распознавания лиц не вызывает таких же опасений в отношении конфиденциальности. Но радиосистема не имеет возможности распознавания лиц. Это может быть использовано, например, для наблюдения за домом пожилого человека и оповещения соответствующих служб о падении. «Это может принести технологию в дома людей и обеспечить ее интеграцию в системы умного дома», — говорят Ли и Ко. И это произошло бы без особого риска для конфиденциальности.

Это выходит за рамки возможностей современных систем, основанных на зрении.

Результаты

Результат работы в различных сценариях. Видимые сцены:

Скелеты показаны в виде двухмерных проекций сгенерированной 3д-модели: Частичное или полное перекрытие поля зрения и плохое освещение.

image

О компании ИТЭЛМА

Мы большая компания-разработчик automotive компонентов. В компании трудится около 2500 сотрудников, в том числе 650 инженеров.

Сейчас активно растем и открыли много вакансий (порядка 30, в том числе в регионах), таких как инженер-программист, инженер-конструктор, ведущий инженер-разработчик (DSP-программист) и др. Мы, пожалуй, самый сильный в России центр компетенций по разработке автомобильной электроники.

Если хотите расти, как специалист, и учиться у лучших, будем рады видеть вас в нашей команде. У нас много интересных задач от автопроизводителей и концернов, двигающих индустрию. Задавайте нам любые вопросы, ответим, пообсуждаем. Также мы готовы делиться экспертизой, самым важным что происходит в automotive.

Читать еще полезные статьи:

Теги
Показать больше

Похожие статьи

Добавить комментарий

Ваш адрес email не будет опубликован. Обязательные поля помечены *

Кнопка «Наверх»
Закрыть