Хабрахабр

А/Б тестирование, пайплайн и ритейл: брендированная четверть по Big Data от GeekBrains и X5 Retail Group

Так, без анализа больших данных не смогут нормально работать крупные ритейлеры, упадут продажи в Amazon, будут не в состоянии предсказывать погоду на многие дни, недели и месяцы наперед метеорологи. Технологии Big Data применяются сейчас повсеместно — в промышленности, медицине, бизнесе, развлечениях. В этом году факультет аналитики Big Data онлайн-университета GeekUniversity и крупнейший в РФ ритейлер X5 Retail Group стали партнерами. Логично, что специалисты по большим данным сейчас нарасхват, причем спрос постоянно растет.
GeekBrains готовит представителей этой сферы, стараясь обеспечить студентов как теоретическими знаниями, так и обучать на примерах, для чего привлекаются опытные эксперты. Специалисты компании, обладая обширными знаниями и опытом, помогли создать брендированный курс, студенты которого в ходе обучения получают как теоретическую подготовку, так и практический опыт.

Он один из лучших дата-сайентистов в мире (30-й в мировом рейтинге специалистов по машинному обучению). Мы поговорили с Валерием Бабушкиным, директором по моделированию и анализу данных в X5 Retail Group. Вместе с другими преподавателями Валерий рассказывает студентам GeekBrains про А/Б тестирование, математическую статистику, на которой базируются эти методы, а также о современных практиках для расчетов и особенностях внедрения А/Б тестирования в оффлайн-ритейле.

Зачем вообще нужны A/Б тесты?

Это один из лучших методов поиска оптимальных способов улучшения конверсии, экономических показателей и поведенческих факторов. Есть и другие способы, но они более дорогие и сложные. Основными плюсами A/Б тестов является их относительно невысокая цена и доступность для бизнеса любого масштаба.

Тесты дают возможность принимать решения на основании не только теорий и гипотез, но и практического знания о том, как конкретные изменения модифицируют взаимодействие клиентов с сетью. Про А/Б тесты можно сказать, что это один из важнейших способов поиска и принятия решений в бизнесе, решений, от которых зависит как прибыль, так и развития разных продуктов любой компании.

Если говорить об интернет магазине, то здесь можно тестировать расположение элементов, дизайн, надписи и тексты. Важно помнить, что в ритейле нужно тестировать все — маркетинговые кампании, SMS-рассылки, тесты самих рассылок, расположение продуктов на полках и самих полок в торговых залах.

Это позволяет бизнесу быть максимально эффективным, выводя прибыль на максимум. А/Б тесты — инструмент, который помогает компании, например, ритейлеру, всегда быть конкурентоспособной, вовремя ощущать изменения и меняться самой.

Какие у этих методов есть нюансы?

Главное — должна быть цель или проблема, на которые и будет опираться тестирование. Например, проблема — небольшое количество клиентов у торговой точки или онлайн-магазина. Цель — увеличить приток покупателей. Гипотеза — если карточки товара в интернет-магазине сделать крупнее, а фотографии — ярче, то покупок станет больше. Дальше проводится А/Б тест, итогом которого является оценка изменений. После того, как получены результаты всех тестов, можно заняться формированием плана действий по изменению сайта.

Первыми рекомендуется проводить тесты по наиболее приоритетным целям и сформулированным гипотезам. Не рекомендуется проводить тесты с пересекающимися процессами, иначе результаты будет сложнее оценить.

Сколько именно — зависит, конечно, от самого теста. Тест должен продолжаться достаточно долго, чтобы результаты можно было бы признать достоверными. Если перед этим были проведены изменения дизайна онлайн-магазина, то краткосрочный тест покажет, что все хорошо, изменения удачные, трафик растет. Так, в канун Нового Года трафик большинства интернет-магазинов увеличивается. Но нет, ведь что ни делай перед праздниками, трафик будет расти, тест нельзя завершать до Нового Года или сразу после него, он должен быть достаточно продолжительным, чтобы выявить все корреляции.

Например, изменив дизайн того же сайта интернет-магазина, компания видит повышение количества посетителей или покупателей и удовлетворяется этим. Важность правильной связи между целью и измеряемым показателем. Положительным результатом это, конечно, назвать нельзя. Но на самом деле, размер среднего чека может быть меньше обычного, так что общий доход станет даже ниже. Проблема в том, что компания не проверила одновременно связку увеличение посетителей-рост количества покупок-динамика размера среднего чека.

Тестирование проводится только для онлайн-магазинов?

Вовсе нет. В оффлайн-ритейле популярен такой метод, как реализация полного пайплайна для проверки гипотез в офлайне. Это построение процесса, при котором уменьшаются риски неверного подбора групп для эксперимента, подбирается оптимальное соотношение количества магазинов, времени пилота и размера оцениваемого эффекта. Также это переиспользование и постоянное улучшение методологий пост-анализа эффектов. Метод нужен для снижения вероятности появления ошибок ложного принятия и пропуска эффекта, а также для повышения чувствительности, ведь даже малый эффект в масштабах крупного бизнеса имеет огромное значение. Следовательно, нужно уметь определять даже самые слабые изменения, минимизировать риски — в том числе, неправильные выводы о результатах эксперимента.

Ритейл, Big Data и реальные кейсы

В прошлом году специалисты X5 Retail Group оценивали динамику объемов продаж самых популярных среди болельщиков ЧМ-2018 продуктов. Сюрпризов не было, но статистика все равно оказалась интересной.

В городах, которые принимали мундиаль, продажи воды выросли примерно на 46%, лидером оказался Сочи, где оборот увеличился на 87%. Так, «бестселлером №1» оказалась вода. В дни матчей максимальный показатель зафиксирован в Саранске — здесь объем продаж вырос на 160% по сравнению с обычными днями.

С 14 июня по 15 июля в тех городах, где проходили матчи, оборот пива вырос в среднем на 31,8%. Кроме воды болельщики покупали пиво. А вот в Питере рост был небольшим — всего 5,6%. Лидером также стал Сочи — здесь пиво покупали на 64% активнее. В дни матчей в том же Саранске объем продаж пива увеличился на 128%.

Данные, полученные в пиковые дни потребления продуктов позволяют в будущем точнее предсказывать спрос с учетом событийных факторов. Проводились исследования и по другим продуктам. Точный прогноз дает возможность предусмотреть ожидания покупателей.

В ходе тестирования X5 Retail Group использовали два метода:
Байесовские структурные модели временных рядов с оценкой кумулятивной разницы;
Регрессионный анализ с оценкой смещения распределения ошибки до чемпионата и во время его проведения.

Что еще использует ритейл из Big Data?

  • Методов и технологий довольно много, из того, что можно назвать навскидку, это:
  • Прогноз спроса;
  • Оптимизация ассортиментной матрицы;
  • Компьютерное зрение для выявления пустот на полках и обнаружения формирующейся очереди;
  • Прогноз промо.

Нехватка специалистов

Спрос на экспертов в сфере Big Data постоянно растет. Так, в 2018 году количество вакансий, связанных с большими данными, выросло в 7 раз по сравнению с 2015 годом. В первом полугодии 2019 года спрос на специалистов превысил 65% от спроса за весь 2018 год.

Например, в Mail.ru Group они нужны в любом проекте, где обрабатываются текстовые данные, мультимедийный контент, выполняется синтез и анализ речи (это, прежде всего, облачные сервисы, социальные сети, игры и т.п.). Крупные компании особенно сильно нуждаются в услугах аналитиков Big Data. За первые восемь месяцев этого года в Mail.ru наняли столько же специалистов по Big Data, сколько за весь прошлый год. Количество вакансий за последние два года в компании увеличено в три раза. В «Мегафоне» аналогичная ситуация — команда, которая занимается анализом данных, выросла в несколько раз за последние 2,5 года. В Ozon отдел Data Science за последние два года вырос в три раза.

Так что если есть интерес к этой сфере, стоит попробовать свои силы. Без сомнения, в будущем спрос на представителей специальностей, связанных с Big Data, вырастет еще сильнее.

Показать больше

Похожие публикации

Добавить комментарий

Ваш адрес email не будет опубликован. Обязательные поля помечены *

Кнопка «Наверх»