Hi-Tech

Поиск Google отдаёт предпочтение крупным компаниям и ведёт чёрные списки запросов: главное из расследования WSJ

Поиск Google отдаёт предпочтение крупным компаниям и ведёт чёрные списки запросов: главное из расследования WSJ — Сервисы на vc.ru

Новая запись

Уведомлений пока нет

Пишите хорошие статьи, комментируйте,
и здесь станет не так пусто

Войти

Прямой эфир

["\u0413\u043e\u043b\u043e\u0441\u043e\u0432\u043e\u0439 \u043f\u043e\u043c\u043e\u0449\u043d\u0438\u043a \u0432\u044b\u043a\u0443\u043f\u0438\u043b
\u043a\u043e\u043c\u043f\u0430\u043d\u0438\u044e-\u0441\u043e\u0437\u0434\u0430\u0442\u0435\u043b\u044f","\u041d\u0435\u0439\u0440\u043e\u043d\u043d\u0430\u044f \u0441\u0435\u0442\u044c \u043d\u0430\u0443\u0447\u0438\u043b\u0430\u0441\u044c \u0447\u0438\u0442\u0430\u0442\u044c \u0441\u0442\u0438\u0445\u0438
\u0433\u043e\u043b\u043e\u0441\u043e\u043c \u041f\u0430\u0441\u0442\u0435\u0440\u043d\u0430\u043a\u0430 \u0438 \u0441\u043c\u043e\u0442\u0440\u0435\u0442\u044c \u0432 \u043e\u043a\u043d\u043e \u043d\u0430 \u043e\u0441\u0435\u043d\u044c","\u041f\u0440\u0438\u043b\u043e\u0436\u0435\u043d\u0438\u0435-\u043f\u043b\u0430\u0446\u0435\u0431\u043e \u0441\u043a\u0430\u0447\u0430\u043b\u0438
\u0431\u043e\u043b\u044c\u0448\u0435 \u043c\u0438\u043b\u043b\u0438\u043e\u043d\u0430 \u0440\u0430\u0437","\u0425\u0430\u043a\u0435\u0440\u044b \u0441\u043c\u043e\u0433\u043b\u0438 \u043e\u0431\u043e\u0439\u0442\u0438 \u0434\u0432\u0443\u0445\u0444\u0430\u043a\u0442\u043e\u0440\u043d\u0443\u044e
\u0430\u0432\u0442\u043e\u0440\u0438\u0437\u0430\u0446\u0438\u044e \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e \u0443\u0433\u043e\u0432\u043e\u0440\u043e\u0432","\u041a\u043e\u043c\u043f\u0430\u043d\u0438\u044f \u043e\u0442\u043a\u0430\u0437\u0430\u043b\u0430\u0441\u044c \u043e\u0442 email
\u0432 \u043f\u043e\u043b\u044c\u0437\u0443 \u043e\u0431\u0449\u0435\u043d\u0438\u044f \u043f\u0440\u0438 \u043f\u043e\u043c\u043e\u0449\u0438 \u043c\u0435\u043c\u043e\u0432","\u041a\u043e\u043c\u0430\u043d\u0434\u0430 \u043a\u0430\u043b\u0438\u0444\u043e\u0440\u043d\u0438\u0439\u0441\u043a\u043e\u0433\u043e \u043f\u0440\u043e\u0435\u043a\u0442\u0430
\u043e\u043a\u0430\u0437\u0430\u043b\u0430\u0441\u044c \u043d\u0435\u0439\u0440\u043e\u043d\u043d\u043e\u0439 \u0441\u0435\u0442\u044c\u044e"]

Голосовой помощник выкупил
компанию-создателя

Подписаться на push-уведомления

Рубрика развивается при поддержке

Журналисты провели более сотни интервью в попытках понять, как компания вмешивается в работу поисковика.

В закладки

Издание Wall Street Journal опубликовало большое расследование работы поиска Google — журналисты провели более 100 интервью и несколько недель изучали выдачу самостоятельно.

3,8 млн запросов, по оценкам журналистов WSJ, получает поиск Google в минуту.

90% мирового рынка поисковых систем принадлежат Google.

Более $900 млрд составляет капитализация материнского холдинга Alphabet.

Руководство Google неоднократно подчёркивало на публичных мероприятиях, в том числе во время слушаний в Конгрессе США, что компания не вмешивается в составление поисковой выдачи вручную: алгоритмы поиска совершенно объективны, полностью автономны и «не испорчены» влиянием человеческих или бизнес-интересов.

В Google объясняют это тем, что около 15% запросов сейчас представляют слова или комбинации слов, с которыми система ранее не сталкивалась, что заставляет разработчиков корректировать работу алгоритмов — чтобы те предоставляли как можно более релевантные результаты. Собеседники WSJ рассказали, что в 2018 году Google внесла в алгоритмы более 3200 изменений разного рода, в 2017 году — 2400, в то время как в 2010 году — около 500.

Редакция vc.ru выбрала основные идеи из текста. «Наше расследование показало, что команда Google вмешивается в формирование поисковой выдачи в гораздо большей степени, чем готова это признать», — пишет WSJ.

Поиск отдаёт предпочтение крупным компаниям

Google очень редко в деталях рассказывает, какие именно изменения вносит в алгоритмы и зачем, и это «приводит в замешательство» некоторые компании и сообщества, которые чувствуют, будто их судьба зависит от прихотей гиганта.

Компания пытается рассказывать о работе своих алгоритмов, но только до той степени, которая не позволит злоумышленникам воспользоваться полученной информацией для манипуляций с поиском.

Это приводит к тому, что большую часть верхних строк выдачи часто занимает Amazon — даже по запросам о продуктах, которые уже вышли из продажи в магазине. Например, в поиске Google отдаёт предпочтения крупным компаниям, исходя из предположения, что покупатель охотнее приобретёт что-то в большом и известном магазине.

Эту проблему внутри Google обсуждают несколько лет, но руководство каждый раз решает ничего не менять, рассказали собеседники издания.

«Неверно также полагать, что мы не пытаемся решить проблему с отображением вышедших из продажи товаров на высоких позициях в выдаче», — сказала она. Представительница Google в комментарии отвергла предположение о том, что поисковой алгоритм должен отдавать предпочтение крупному бизнесу.

В дополнение крупные компании получают советы по тому, как улучшить свои позиции в поиске, в то время как небольшим проектам, которые не знакомы с командой поисковика, такие подсказки недоступны, рассказали сотрудники Google в беседе с журналистами.

«Однако в Google нам не сообщают ничего такого, о чём компания не рассказывала бы публично», — говорит он. Руководитель одного из крупнейших рекламных клиентов Google — агентства iProspect — рассказал, что после крупных обновлений его команда проводит звонки с разработчиками, которые подробно объясняют, что именно изменилось.

После длительных переговоров с командой в целом и с отдельными разработчиками Google согласилась вернуть части страниц прежние позиции при условии, что онлайн-аукцион проследит за их наполнением и релевантностью. Так, в 2014 году eBay заметила, что стала получать меньше трафика из Google, на что получила объяснение: поисковик пессимизировал позиции части страниц eBay в выдаче.

У команды не было контактов в Google, так что она наняла консультанта, который попытался связаться с представителями компании, однако так никогда и не получил ответа. Компаниям без влияния eBay приходится сложнее: WSJ приводит в качестве примера историю купонного сайта DealCatcher, который за день потерял около 93% трафика из-за изменения алгоритмов выдачи. Спустя месяц трафик так же неожиданно вернулся.

Google мягче относится к вмешательству в непоисковые блоки страницы и старается не «подстрекать» пользователей

Компания вмешивается в работу дополнительных блоков, которые появляются на одной странице с поисковой выдачей — например, подборок новостей или видеороликов по теме, полей «пользователи также искали» и «знаний», которое собирает сводную информацию по запросу.

​Синим цветом обозначены непоисковые блоки, зелёным — поисковая выдача

По словам журналистов WSJ, Google «совершенно по-разному» формирует поисковую выдачу и список релевантных запросов в строке автозаполнения.

WSJ несколько недель тестировало автозаполнение на примере нескольких спорных запросов (они касались некоторых политиков, включая Дональда Трампа, наркотиков, абортов, иммигрантов) и заметило, что в ответ на ряд запросов не предлагает многие варианты, которые оказывались в подсказках от Bing от Microsoft и DuckDuckGo.

Bing предлагает в том числе варианты: "bad" («плохо»), "immoral" («аморально»), "not murder" («не убийство»). Например, по запросу "abortion is" («аборт это») Google предлагает варианты автозаполнения: "legal" («легально»), "normal" («нормально»), "safe" («безопасно»), "a constitutional right" («конституционное право»). В ряде тестов по другим запросам выдача Google предлагала как либеральные, так и более консервативные варианты.

В публичных правилах Google указано, что функция автозаполнения не может предлагать пользователю строки, связанные с харассментом, угрозами, «ненадлежащей сексуализацией» или раскрытием частной и деликатной информации.

Её разработчик Кевин Гиббс сразу запретил попадание в строку автозаполнения описания сексуальных актов, даже если такой запрос был одним из самых популярных. Такие правила частично заложены с момента создания функции автоподсказки в 2004 году.

В Google до сих пор ведут чёрный список запросов, которые изымаются из списка предложений вручную, рассказал источник WSJ. «Без фильтрации список запросов зачастую выглядел ужасно», — говорит Гиббс, который покинул Google в 2012 году.

У компании есть и другие чёрные списки

В комментарии для WSJ в компании уточнили, что речь шла только о политически мотивированных чёрных списках компаний, людей или сайтов. На слушаниях в Конгрессе представители Google заявили, что компания не ведёт чёрные списки.

Причём они не имеют отношения к списку страниц, которые Google обязана исключать из выдачи по закону — его ведут отдельно. Собеседники WSJ рассказали, что Google ведёт списки сайтов, которые не могут появиться в поисковой выдаче вообще или по определённому запросу.

78% из них — с 2016 по 2018 год. С 2010 по 2018 год Google получила 685 тысяч запросов на удаление ссылок из поисковой выдачи от правительств по всему миру.

Источник WSJ в Google сказал, что чаще всего это запросы об удалении ссылок на страницы с запрещенной в России информацией — с пропагандой наркотиков или суицида. Чаще всего такие запросы приходят из России — всего в российском правительстве потребовали удалить из выдачи 255 тысяч ссылок.

Сайт может попасть в чёрный список, например, если использует спам-тактики вывода в верхнюю часть поисковой выдачи, искусственно набивая себе рейтинг.

Источники WSJ заметили, что еврей по происхождению Брин лично выступил за показ антисемитских сайтов в выдаче по запросу "jew" («еврей»). Сооснователь Google Сергей Брин с самого основания компании выступал против введения агрессивной антиспам-политики — он считал, что работа по определению спама потребует слишком большого человеческого вмешательства.

Сергей просто разрушит эту компанию». Другой источник рассказал, что в 2004 году другой сооснователь Ларри Пейдж, столкнувшись в туалете с топ-менеджером «Поиска» Беном Гомесом, дал тому добро на борьбу со спамом: «Делайте что нужно. После этого компания ослабила требования о невмешательстве в результаты поиска.

Источники WSJ рассказали, что это длительное мероприятие, подобное защите диссертации — поэтому на самом деле множество мелких изменений принимают без одобрения комитета. На слушаниях в Конгрессе представители компании утверждали, что любое изменение алгоритма рассматривается специальным комитетом.

Представители Google подтвердили изданию, что изменения не всегда рассматриваются на заседаниях, но любое из них так или иначе оценивается по другим принципам.

Косвенно влиять на результаты выдачи могут и сотрудники, и подрядчики, и другие стороны

В компании не могут прийти к соглашению насчёт допустимой степени вмешательства в результаты поиска, поэтому любой сотрудник может пожаловаться на выдачу, которая не кажется ему подходящей.

Некоторые работники выступали за то, чтобы дать алгоритму самостоятельно ранжировать результаты, но в итоге на первое место выдачи вывели сайт howdovaccinescauseautism.com — страницу с единственной фразой на ней: "They f—ing don’t" («Никак, *****»). Например, в 2015 году один из сотрудников пожаловался на результаты выдачи по запросу «как вакцинация вызывает аутизм» ("how do vaccines cause autism"): в выдаче появлялись ссылки на сайты, агитирующие против прививок.

С одной стороны, для этого компания и нанимает лучших разработчиков мира — они решают эти проблемы при помощи миллионов строк сложного кода. «Построить и поддерживать сервис вроде Google — значит принимать тысячи сложнейших решений. — Рейтинги, которые они составляют на основе гайдлайнов от компании, также влияют на позиции сайтов в выдаче». С другой стороны, наравне с ними Google располагает армией из 10 тысяч низкооплачиваемых подрядчиков, которые сидят у себя дома и оценивают результаты работы, — пишет WSJ.

За год работы с ним ни разу не связался никто из команды Google и не рассказал, как компания использует результаты его работы. Один из таких подрядчиков рассказал WSJ, что в 2016 году оплата за час работы составляла $13,5. При этом компания часто присылала документы, в которых описывала, как именно должны выглядеть правильные результаты выдачи.

Представительница Google заявила, что гайдлайны работы таких подрядчиков «абсолютно прозрачные», и компания всегда явно обозначает, что именно делают её алгоритмы и для чего.

Глава Google с 2015 года Сундар Пичаи, по словам источников WSJ внутри компании, гораздо более открыт к обсуждению конкретных результатов поисковой выдачи со сторонними компаниями и людьми, чем основатели Сергей Брин и Ларри Пейдж.

Сундар Пичаи

Google не ставит в приоритет борьбу с дезинформацией

По подсчётам WSJ, это около 2 миллиардов поисковых запросов в год. Внутреннее расследование Google в 2016 году показало, что примерно в 0,1–0,25% случаев в поисковую выдачу попадает дезинформация того или иного рода, говорит один из топ-менеджеров компании. При этом Facebook, для сравнения, попала под внимание Конгресса из-за политической рекламы, которую увидели около 126 миллионов пользователей.

Она также отвергла точность расчётов WSJ о количестве поисковых запросов, которые Google получает в год. Представительница Google объяснила, что в 0,1–0,25% случаев речь идёт не исключительно о дезинформации, а о любом несоответствии результатов поисковой выдачи стандартам качества компании.

В компании говорят, что Google, в отличие от той же Facebook, занимается лишь индексацией контента, а не его публикацией — поэтому принимает в его фильтрации не такое активное участие. WSJ замечает, что другие платформы вроде Facebook и Twitter борются с дезинформацией вручную, вводя чёткие правила касательно контента, который нельзя размещать на их платформах, в то время как Google пытается бороться с ней алгоритмическими методами, выстраивая модели фильтрации поиска.

Один из топ-менеджеров Google сказал WSJ, что проблема определения дезинформации слишком сложная и компания просто не желает в неё погружаться.

Реклама на vc.ru

Блоги компаний

Показать еще

{ "page_type": "article" }

Прямой эфир

Показать больше

Похожие статьи

Добавить комментарий

Ваш e-mail не будет опубликован. Обязательные поля помечены *

Кнопка «Наверх»
Закрыть