Хабрахабр

Лес не сдается технологиям поиска, но инженеры наносят ответный удар


Фото: «Лиза Алерт».

Ни одна технология поиска пока не может заменить людей. Если в лесу пропал человек, лучший способ его найти — оправить тренированных поисковиков на прочесывание. Многие инженеры полагались на беспилотники с камерами и компьютерное зрение, но столкнулись с не очевидными проблемами — плохая связь, низкая скорость обработки и передачи огромных данных, плотные кроны деревьев и многое другое. В начале лета мы писали про несколько команд, которые в рамках конкурса «Одиссея» разрабатывали решения для дикой природы.

Но технические эксперты говорили — если бы команды объединили усилия, вместе собрали датасет и обучили на нем алгоритмы, у компьютерного зрения мог быть шанс. В итоге ни одно решение с компьютерным зрением не прошло в финал конкурса.

Мы сходили на пресс-конференцию, приуроченную к запуску, и узнали, как он работает.
На прошлой неделе, 9 августа поисковый отряд «Лиза Алерт» вместе с «Билайном» объявили о запуске инструмента, который будет искать людей на фотографиях с беспилотников.

Десятки тысяч фотографий

Презентация проходила на следующий день после скандального объявления МЧС об урагане, которое десять минут висело в эфире основных телеканалов. Ураган так и не состоялся, но погода все равно была ужасной. Для отряда «Лиза Алерт» это иногда на руку — резко падает количество заявок о пропавших в лесу людях, потому что в плохую погоду они туда просто не идут. Это освобождает силы для более сложных поисков. С другой стороны — во время похолодания пропавшие люди оказываются в еще большей опасности.

Около 700 из них — в подмосковье. Например, за июль «Лиза Алерт» получила 1083 заявки на лес. Из леса их выводит группа «Лес на связи», которая объясняет, как выйти по солнцу или природным ориентирам. У многих потерявшихся людей еще работает телефон, и они находятся в зоне покрытия сети. Иногда посылают группу, которая поставит сирену или сама выведет человека.

Например, на момент пресс-конференции уже несколько дней шел поиск 73-летней женщины в районе Щелкова. Но самые трудные поиски те, где связи с пропавшим нет никакой. Группы поисковиков прошли в общей сложности 2300 километров, и сделали над лесом 8400 фотографий с беспилотника.

Большое количество людей вне отряда тоже могут с этим помогать. «Сейчас наша технология работает так», — рассказывает Григорий Сергеев, — «Мы делаем фотографии, заливаем на сервис, который написан нашими добровольцами, и специальные группы отсматривают фотографии. Пешие группы сразу выходят смотреть, что это. На этих кадрах мы ищем что-то, что отличается от леса. Чтобы обойти их все, надо пройти больше трехсот километров пешком». Сейчас на поисках в Щёлково у нас больше ста отметок, которые надо проверить.

Когда мы говорили с участниками конкурса «Одиссея», они скептически относились к съемке леса с воздуха. Но в этом году «Лиза Алерт» находит хотя бы одного человека в неделю с помощью коптеров. По словам Григория, еще два года назад они нашли таким образом только двух человек за весь сезон. В прошлом году — шестерых.

Руководитель направления беспилотной авиации «Лиза Алерт» Александр Ломоносов показал записи с трекеров поисковых групп. Дроны летают над территориями, куда человеку пройти очень тяжело — буреломами, болотами. Беспилотники же полностью покрывали эту территорию. Прочесывание отрядами оставляло много белых пятен.

Беспилотник отработал этот район за 15 минут. «Если бы группа пошла в бурелом, потратила бы минимум три часа. В бурелом он попасть смог, а выйти оттуда сил уже не хватило. Именно там был найден человек — с воздуха. И прошли за это время всего 370 метров. Несколько подготовленных человек эвакуировали его дольше четырех часов. Если поле заросло травой на 15 см, пешая группа из подготовленных поисковиков будет прочесывать его 6–8 часов, беспилотник — час. Буреломы, открытые поля и болота беспилотник отработает в разы быстрее, чем обычная пешая группа. Он принесет фотографии всей области, и мертвые зоны будут полностью исключены».

За полгода их накапливается 33 тысячи. В среднем один поиск приносит 250 фотографий. Если количество будет расти, и беспилотники будут использоваться во всех 20 регионах, где работает «Лиза Алерт» — 33 тысячи снимков будет набираться за один день. Но сейчас в отряде мало коптеров и пилотов. А на один только отсмотр фотографий из поиска в Щелково отряд потратил 240 часов.

Датасеты поисковиков и мощности телекома

Два месяца назад «Лиза Алерт» вместе с «Билайном» начали тестировать алгоритм «Beeline AI — Поиск людей», который анализирует фотографии с беспилотников.

Проект начался с идеи научиться автоматически отсеивать пустые фотографии, чтобы группе, которая занимается отсмотром, приходили только снимки с подозрением на присутствие человека.

Все это ложилось в основу датасета, на котором работает машинное зрение». «В свое время я пытался найти специальные датасеты, но в мире их не существует, хотя некоторые пытались собрать», — говорит Александр Ломоносов, — «Поэтому мы сами передавали разработчикам фотографии, где находятся люди: обычных прохожих, которые попали в кадр, грибников, самих поисковиков за работой.

Люди могут попасть в кадр в любых положениях: сидя, лежа, стоя. Собрать подобный датасет — тоже задача с множеством неочевидных тонкостей. Фон вокруг очень сильно отличается в зависимости от ландшафта, региона и времени года. Они могут быть так прикрыты ветками, что видна лишь малая часть.

Затем искусственно размножали снимки. «Во многих регионах мы специально просили людей ложиться в типичные для пострадавших позы и фотографировали их. Например, брали человека, сфотографированного в Ростове, и перекладывали на подложки из других регионов», — говорит Григорий Сергеев.

На полученных фотографиях дата-саентисты «Билайна» стали учить алгоритмы.

У нас есть пять огромных дата центров. «Мы как оператор привыкли работать с огромным количеством данных. Благодаря этому мы научились строить очень современные модели», говорит Джордж Хелд, вице-президент по развитию цифрового бизнеса «Билайн». Только ярославский ЦОД, который мы используем для работы в том числе с «Лиза Алерт», обрабатывает 15 петабайт данных.

Увидеть шапку, ботинок, руку, ухо, что угодно. «Фотографии приходят к нам в систему, и нужно определить, есть на них человек или нет. Была проведена гигантская работа, чтобы найти подходящую для этого архитектуру и создать алгоритм, ведь любая ошибка приведет к тому, что мы пропустим людей на фотографиях. Поэтому мы разрезаем каждое изображение на 30-35 слоев. Мы используем те же модели, что применяем и для таргетирования. Нужны огромные вычислительные ресурсы, чтобы быстро обрабатывать каждый слой. Берем их составные части и переиспользуем на этом проекте».

Сейчас идет первый этап тестирования, когда алгоритм отбрасывает все фотографии, где есть 98% процентная вероятность, что человека нет. Модель умеет искать не только человека целиком, но замечает все мелкие и подозрительные для леса артефакты на снимках.

Пока система тестируется, отброшенные снимки тоже проверяют люди — но уже во вторую очередь. Оставшиеся снимки сразу попадают к добровольцам, которые ищут там людей, и при необходимости отправляют на точки поисковиков или дроны для дополнительной съемки.

Следующим этапом разработчики планируют научить алгоритм точнее определять на снимках людей и строить предиктивные модели их передвижений по лесу.

Зачем здесь 5G

Сейчас у системы есть два варианта. Первый — оффлайновая программа, чтобы обрабатывать снимки на ноутбуках в условиях, когда связи нет. Ее мощность ограничена, плюс ее необходимо обновлять при каждом подключении к сети, поскольку алгоритм постоянно учится. В полную силу работает онлайновый сервис — в нем фотографии загружаются не сервера «Билайна». Через дата центры прошло уже 15 миллионов снимков.

Один снимок с модели Mavic 2 Pro весит около 20 МБ, и после каждого полета приходится сгружать и передавать на сервис в среднем 20 ГБ фотографий. Лиза Алерт использует в поисках беспилотники DJI, потому что пользуется их программами для автономного полета. Это много даже для мест с хорошим покрытием сети.

Джордж Хелд считает, что работа поисковых алгоритмов — это аргумент в пользу построения 5G-сетей.

Многие операторы говорят об этом с гордостью. «Очень важно, чтобы информация передавалась по большой качественной сети, поэтому мы сейчас вкладываем огромные деньги в улучшение базовых станций, строится 5G сеть. Чтобы просто смотреть видео на ютубе? Но самый большой вопрос — для чего она вообще нужна? Для 5G нужны реальные причины. Оно будет в точности также хорошо работать и на 4G. Работа с «Лиза Алерт» — очень хороший пример, потому что огромное количество информации должно передаваться быстро».

Тепловизоры не нужны

В начале лета, в конкурсе поисковых технологий, в финал прошла только одна команда, которая полагалась на компьютерное зрение. Но она использовала для съемок тепловизор. Григорий Сергеев относится к этому со скепсисом.

Всем хочется верить, что это классная вещь. «За 9 лет мы не нашли ни одного человека при помощи тепловизора. Но для всего остального он не подходит. Да, мы можем использовать его чтобы не прекращать поиски, например, ночью на открытых пространствах. Человек находится в лесу в одежде, а одежда имеет температуру окружающей среды. Трава не прозрачна, все кроны непрозрачны. Мы попробовали все наши оборонные устройства, попробовали иностранные модели. Тепловизор — классная фантазия, но для поисков он неэффективен. Они подходят для дублирования, но учитывая стоимость и эффективность, я бы сказал тепловизорам нет».

На вопрос, почему ни у кого в том конкурсе не получилось эффективно применить компьютерное зрение, Георгий отвечает просто: «у них не было такой мощности для разработки, какая сейчас есть у нас».

Теги
Показать больше

Похожие статьи

Добавить комментарий

Ваш e-mail не будет опубликован. Обязательные поля помечены *

Кнопка «Наверх»
Закрыть