Хабрахабр

Гибрид камеры и лидара улучшает возможности робомобилей, дополняя информацию о внешнем мире

Как первые, так и вторые работают с отражаемым светом. Лидары и камеры — два стандартных элемента конфигурации практически любого робомобиля. Камеры формируют двумерную картинку, а лидары — объемную, нечто вроде «облака точек». Камеры при этом работают в пассивном режиме, то есть ловят отражение сторонних источников освещения, а вот лидары генерируют лазерные импульсы, измеряя затем «ответку», отраженную от близлежащих объектов.

Называется эта система OS-1. Компания Ouster разработала гибридное устройство, которое работает как камера, так и как лидар. Первый — это изображение, полученное как бы обычной камерой. У этого девайса апертура больше, чем у большинства зеркалок, при этом сенсор, созданный компанией, очень чувствительный.
Изображения, получаемые системой, состоят из трех слоев. И третий — это «глубинный» слой, который позволяет оценивать расстояние между отдельными пикселями первых двух слоев. Второе — «лазерный» слой, полученный с использованием отражения луча лазера.

Во-первых, это изображения низкого разрешения. Стоит отметить, что у изображений по-прежнему есть существенные ограничения. В-третьих, лидар работает не с видимым источником света, он имеет дело со спектром, близким к инфракрасному. Во-вторых, они черно-белые, не цветные.

На первый взгляд, смысла в системе, которая получает изображения более низкого разрешения, чем стандартные камеры, а стоит, как чугунный мост, нет. В настоящий момент стоимость лидара достаточно высокая — около $12 000. Но разработчики утверждают, что здесь используется иной принцип работы, чем в обычном случае.

Здесь показаны три слоя изображений и общая «картинка», что получается в результате
Это графические материалы, предоставленные компанией Ouster.

Камеры и лидары работают в разных режимах, результат работы — тоже разный. В обычной ситуации робомобили совмещают данные с нескольких различных источников, что требует времени. Более того, сенсоры требуют регулярной рекалибровки, что сделать не так просто. Кроме того, они обычно смонтированы в различных местах корпуса автомобиля, так что компьютеру приходится еще и заниматься корреляцией изображений, чтобы они были совместимы.

Но результаты получались не очень. Некоторые разработчики лидаров уже пробовали совмещать камеру с лидаром. Это была система «стандартная камера+лидар», что не слишком отличалось от существующих схем.

Все три слоя изображения превосходно коррелируют, как во времени, так и в пространстве. Ouster вместо этого использует систему, позволяющую OS-1 собирать все данные в одном стандарте и из одного положения. При этом компьютер понимает, какое расстояние между отдельными пикселями финального изображения.

Для компьютерных систем обработка такого рода изображений не представляет особого труда. По словам авторов проекта, именно такая схема практически идеальна для машинного обучения. «Скормив» системе несколько сотен снимков, ее можно обучить точно понимать, что изображено на финальной «картинке».

Кроме того, изображения могут содержать красный, синий и зеленый слой. Некоторые разновидности нейронных сетей спроектированы таким образом, чтобы без проблем работать с мультислоями пиксельных карт. Компания Ouster уже решила эту задачу. Обучить такие системы работать с результатом работы OS-1 не составляет особенного труда.

Обработка данных ведется на оборудовании с Nvidia GTX 1060. В качестве исходного материала они взяли несколько нейросетей, которые разработаны для распознавания RGB-изображений, и модифицировали их под свои нужды, научив работать с разными слоями своих изображений. При помощи нейросетей компьютер автомобиля научили «раскрашивать» дорогу в желтый цвет, а потенциальные препятствия — другие автомобили — в красный.

Лучше всего совмещать разного рода датчики, сенсоры, камеры, лидары и гибридные системы для формирования четкой картины окружающей среды, которая поможет автомобилю ориентироваться. По мнению разработчиков, их система является дополнением к уже существующим, а не заменой.

Теги
Показать больше

Похожие статьи

Добавить комментарий

Ваш e-mail не будет опубликован. Обязательные поля помечены *

Кнопка «Наверх»
Закрыть