Хабрахабр

Обратный поиск изображений: руководство от детективного агентства Bellingcat


Кадр одного из онлайновых расследований Bellingcat

Международное агентство Bellingcat опубликовало несколько советов по идентификации людей и географических локаций на фотографиях с помощью функции «Поиск изображений» в поисковых системах.

Картинки». Оказалось, что в этом отношений нет равных российской поисковой системе «Яндекс. У Google и других компаний нет ничего подобного, признают специалисты. По одному образцу движок находит фотографии этого лица в совершенно другой обстановке и освещении, что говорит о продвинутом распознавании лиц. Таким образом, «Яндекс» можно назвать безусловным лидером по обратному поиску изображений.

В опубликованном руководстве разъясняются базовые методы онлайн-расследований, с акцентом на идентификацию лиц и адресов.
Поиск похожих фотографий по образцу лица в «Яндексе», Google и Bing.

Google вообще ничего не нашёл, а в результатах поиска Bing оказался только один результат с тем же человеком (пятое изображение, вторая строка). В первом примере «Яндекс» нашёл многочисленные фотографии искомого лица из разных источников (среди лучших результатов только в двух случаях представлены посторонние люди), причём результаты отличаются от исходного изображения, но показывают одного и того же человека.

Это первый инструмент, к которому они прибегают в работе. Специалисты Bellingcat постоянно используют «Яндекс» в расследованиях и не выражают особенной паранойи по поводу его российского происхождения. На втором месте — Bing, где в поиске есть несколько уникальных функций, как выделение конкретной области изображения для поиска.

Например, идентификации известных людей на фотографиях, поиска источника изображений, определения автора произведения искусства и так далее. Google подходит для самого простого обратного поиска. Однако если вы хотите найти похожие изображения (не точные копии), то будете разочарованы.

Например, при поиске человека, который пытался напасть на журналиста BBC на митинге Трампа, Google находит источник обрезанного изображения, но не может найти никаких дополнительных изображений его или кого-то хоть немного похожего.

Хотя Google не очень помог в поиске других экземпляров лица этого человека или похожих на него людей, он всё же нашел оригинальную, не обрезанную версию фотографии, с которой был сделан скриншот.

Тестирование

Для тестирования различных методов и механизмов поиска обратных изображений специалисты Bellingcat взяли несколько изображений, представляющих различные типы исследований, включая как оригинальные фотографии (ранее не загруженные в интернет), так и переработанные. Они отмечают, что теперь поиск может работать не так, как во время тестирования, поскольку после публикации статьи поисковые системы уже проиндексировали эти фотографии и интегрировали их в свои результаты.

На каждой из этих фотографий выделены отдельные объекты в изображении, чтобы проверить сильные и слабые стороны каждой поисковой системы. Тестовые фотографии включают в себя ряд различных географических регионов с исходными материалами в Западной Европе, Восточной Европе, Южной Америке, Юго-Восточной Азии и Соединенных Штатах.

Одна из тестовых фотографий: дворец Олисова в Нижнем Новгороде, Россия (оригинал, ранее не загруженный в сеть):

Отдельно: белый внедорожник в Нижнем Новгороде:

Отдельно: трейлер в Нижнем Новгороде:

Журналисты Bellingcat говорят, что его результаты настолько впечатляющие, что иногда кажутся какой-то чёрной магией, хотя и не без ошибок. На здании в Нижнем Новгороде, как и на других фотографиях, наилучшие результаты показал поиск по изображениям «Яндекса».

Он нашёл фотографии, сделанными под тем же углом, а также нашел с других ракурсов, включая 90° против часовой стрелки (см. В данном случае «Яндекса» без труда опознал это здание. первые два изображения в третьем ряду) с точки зрения исходного изображения.

«Яндекс» также без труда опознал белый внедорожник на переднем плане фотографии как Nissan Juke.

Некоторые результаты выглядят так же, как на исходном изображении, но ни один из них не соответствует действительности. Наконец, в самом сложном изолированном поиске этого изображения «Яндекс» не смог идентифицировать неприметный серый трейлер перед зданием.

По сравнению с этими результатами выдача Google и Bing выглядит просто смешно, хотя Google корректно классифицировал трейлер как travel trailer.

Если поиск изображения не даёт результата, в некоторых случаях помогают простые трюки:

  • зеркальное отображение фотографии;
  • применение цветовых фильтров;
  • удаление из кадра ненужных элементов, которые могут затруднять поиск.

Вспомогательные инструменты

Кроме стандартного поиска изображений, Bellingcat рекомендует несколько вспомогательных инструментов при проведении онлайновых расследований.

Например, приложение Merlin Bird ID от Cornell Lab чрезвычайно точно определяет тип птиц на фотографии или предлагает возможные варианты. Во-первых, есть специализированные инструменты для обработки определённых типов фотографий.

Или FlagID, где можно вручную ввести информацию о флаге и выяснить его происхождение.

Если на фотографии встретились символы неизвестного языка, то можно вручную повторить их с помощью инструмента рукописного ввода Google Translate.

Пикселизация и размытие

Как подробно описано в этом треде Twitter, можно пикселизировать или размыть элементы фотографии, чтобы обмануть поисковую систему — и сосредоточиться только на фоне. На этой фотографии пресс-секретаря Руди Джулиани точное изображение не даёт возможности понять, где сделан снимок.

Но если размыть/пикселизировать женщину в середине изображения, то «Яндекс» способен проанализировать другие элементы изображения: стулья, картины, люстры, ковры, настенные узоры и так далее.

После этого «Яндекс» точно знает, где было сделано изображение: это популярный отель в Вене.

Исследователи Bellingcat делают вывод, что движки обратного поиска изображений значительно продвинулись в последнее десятилетие, и прогресс продолжается быстрыми темпами.

Крупным интернет-компаниям удалось убедить пользователей разместить на своём хостинге архивы личных фотографий, на которых и обучается Искусственный Интеллект: Прогрессу способствует большой рост поисковой базы.

Это бесконечное количество материала для машинного обучения. Именно с этой целью Google Фото и Яндекс.Диск предлагают бесплатное хранилище фотографий в неограниченном количестве.

Они прогнозируют, что в скором времени на базе Facebook или Instagram начнёт работать общедоступная программа распознавания лиц, что нанесёт серьёзный удар по конфиденциальности в интернете, но также увеличит эффективность цифровых расследований.

Теги
Показать больше

Похожие статьи

Добавить комментарий

Ваш адрес email не будет опубликован. Обязательные поля помечены *

Кнопка «Наверх»
Закрыть