Главная » Hi-Tech » Применение контрольных карт Шухарта для количественного анализа трафика (и любых данных вообще)

Применение контрольных карт Шухарта для количественного анализа трафика (и любых данных вообще)

Я работаю специалистом по контекстной рекламе в студии «АлаичЪ и Ко». Всем привет, меня зовут Юрий Болотов.

Все формулы расчетов будут актуальны и для любых других данных: Перед тем как ты, уважаемый читатель, перейдешь к основной части, я сразу хочу оговориться, что анализ трафика на примере статьи взят просто для примера.

  • средних чеков;

  • количества продаж в офлайн-магазине;

  • оповещений о падении трафика с контекста;

  • оценки эффективности изменений в рекламной компании;

  • да хоть количества ошибок в тексте вашего копирайтера или количества бракованных деталей на заводе — метод, который мы будем рассматривать, как раз чаще всего используют для реальных производств.

Также постараюсь ответить на вопрос «и чё?» (зачем это все надо).

д.) и разные специальные причины или особые случаи. В любых данных, на которые мы обычно смотрим, содержится информация о том, как реально работает наша система (привлечения трафика, система продаж, оборудование на заводе и т.

А особые случаи надо лечить особо. Так вот, системное нужно лечить системно, и для этого есть целый ряд анализов — корреляционный, факторный, кластерный и т.д.

Собственно, описанный ниже метод и позволяет узнать, где особые случаи, а где системные.

Это ГОСТ Р 50779. Метод этот — контрольные карты Шухарта. Этот метод очень точный. 42-99. 3% случаев (3 на 1000) есть риск, что график выйдет за границы, когда никаких особых причин нет. Всего в 0.

Нам для наших задач очень подходит карта скользящих размахов. Существует несколько видов контрольных карт. Для примера был взят трафик на блог нашего руководителя Александра Алаева. Именно работу с ней я и буду описывать.

Новые посетители были взяты лишь из расчета, что они еще не знают про организацию и могут быть заинтересованы в услугах в отличии от постоянно посещающих.

И так, мы взяли и записали в эксельке трафик новых посетителей в будние дни.

(Не обращайте внимания на то, что в таблице данные почти годовалой давности, эта публикация очень долго пролежала «в столе» перед тем, как мы решили ее опубликовать).

Это разница между 1 и 2 значениями, 2 и 3, 3 и 4 и т. Теперь надо нам надо посчитать скользящий размах. д.

д. Так, разница между 1 и 2 значениями у нас 581-486=95, разница между 2 и 3 — 585-581=4 и т. В результате получаем такую таблицу:

Следующим шагом нам надо посчитать средние значения посетителей (B столбец) и скользящих размахов (C столбец).

Среднее посетителей = (486+581+...+566)/21 = 564 или формулой в таблице =СУММ(B1:B21)/21.

Среднее размахов = (95+4+...+24)/20 = 40,8 (=СУММ(C2:C21)/20).

Можете поверить мне, можете проверить по таблице в ГОСТе). Теперь берем наш средний размах и умножаем на 3,267 (это постоянное число и не зависит от других параметров.

Это число называется верхней контрольной границей скользящих размахов. 40,8*3,267=133,29.

Если выходят, то сначала надо искать причину и устранять ее, прежде чем двигаться дальше. Нам надо проверить, чтобы наши размахи не выходили за пределы этой границы. В нашем случае все размахи входят в границу. Например, при анализе общего трафика на сайт такое может возникнуть, если бюджет контекстной рекламы пополняется в случайные дни, и она то работает, то нет. Значит, двигаемся дальше.

Последним шагом в расчетах мы найдем верхнюю и нижнюю контрольные границы нашей карты.

Верхняя контрольная граница (UCL) = Среднее значение (564) + Среднее значение размахов (40,8) умноженное на 2,66 (это тоже постоянное значение, взятое из таблиц в ГОСТе).

UCL=564+40,8*2,66=672.

Нижняя контрольная граница (LCL) = 564-40,8*2,66=455.

Для наглядности построим график:

После этого я стал ждать, когда график выйдет за границы, чтобы можно было показать это, найти причину выхода и закончить эту статью каким-нибудь наглядным примером. Все операции, проделанные выше, были сделаны еще в начале октября.

Долго ждать не пришлось.

«Вот оно!» — подумал я. Уже 11-го числа график вышел за верхнюю границу. Просто так этого быть почти не могло». «Значит что-то случилось.

Оказалось, что 10 числа была опубликована статья-интервью на Спарке. Когда я построил отчёт в Метрике по источникам перехода, то сразу понял, что же именно случилось.

Именно это событие и было особым случаем, который контрольные карты должны выявлять.

После того, как подобное событие найдено, необходимо либо приложить все усилия, чтобы оно стало постоянным (когда это возможно) если событие положительное; либо, если оно отрицательное, постараться сделать так, чтобы оно никогда больше не наступало.

А теперь один реальный кейс по контекстной рекламе.

Для крупных клиентов с большими бюджетами (там, где трудозатраты имеют смысл) я для себя строю карты по основным метрикам. В конце ноября 2017 года к нам на контекстную рекламу пришел крупный интернет-магазин. Обычно это общее количество визитов, визиты по основным рекламным каналам, CPL и % конверсии (по нему очень удобно определить проблемы с оформлением заказов на сайте).

В конце-концов, к февралю, все основные направления были запущены, фиды загружены, бюджеты пополнены. Весь декабрь и январь мы настраивали кампании в Google AdWords, Google Merchant, Яндекс.Директ, Яндекс.Маркет. д. Клиент все время активно дорабатывал сайт, создавал новые разделы, менял корзину и т. Одно из таких изменений и привело к тому, что я решил написать всю эту статью. О каких-то изменениях клиент нас предупреждал, а о каких-то нет.

Реклама к этому моменту работала стабильно, системы аналитики были настроены и казалось, что ничего не предвещает проблем. В феврале я решил, что пора построить карту и следить за показателями.

По итогам февраля я взял данные по визитам за месяц, посчитал аналогично скользящие размахи.

Посчитал:

  • среднее значение — 660

  • средний размах — 72

  • верхнюю границу — 852

  • нижнюю границу — 470

Построил график (хотя на практике удобней просто в таблице выделять цветом данные, выходящие за пределы)

к. После построения графика, осталось только ждать и наблюдать, а т. клиент все еще много работал над сайтом, то первая проблема не заставила себя ждать.

А т. Уже 16 марта график вышел за нижнюю границу. 17-18 были выходные, то поиск проблемы начался лишь 19-ого числа. к.

Пересмотрев отчеты в метрике и рекламных кабинетах, я обнаружил следующую картину:

Уже потом выяснилось, что в 16 числа была переделана мобильная версия сайта и туда просто забыли установить коды аналитики.

В конце хочу привести еще одну гипотетическую ситуацию, как применение контрольных карт может перевернуть взгляд на некоторые вещи с ног на голову.

Вы решаете, что надо замерять количество бракованных деталей по каждому мастеру отдельно. Представьте, что у вас есть производство каких-нибудь мелких изделий. Строите карты, высчитываете границы и начинаете следить изо дня в день.

Для вас это сигнал — надо выяснить, что же такого в этот день случилось с Петром Ивановичем, чего никогда раньше не было? Вдруг в какой-то день вы видите, что мастер Петр Иванович вышел за нижнюю границу или, говоря по-другому, сделал так мало брака, как никогда.

И в таком состоянии у него руки не трясутся, он спокойно и невозмутимо делает свою работу. Вы выходите из своего офиса, спрашиваете людей и выясняется, что мастер пришел на работу немного «под мухой».

Вместо того, чтобы оштрафовать мастера или уволить по статье, надо разрешить ему немного принимать утром на грудь! Что же это получается? 🙂

Надеюсь, пример «как можно посмотреть на ситуацию с другого ракурса» понятен. Это, конечно, юмор (с бесконечным уважением к мастерам).

Буду рад пообщаться в комментариях. Хорошего дня и спасибо, что прочитали!

#маркетинг


Оставить комментарий

Ваш email нигде не будет показан
Обязательные для заполнения поля помечены *

*

x

Ещё Hi-Tech Интересное!

Правительство позволит предприятиям сократить уставы до «одной-двух» страниц

Правительство позволит предприятиям сократить уставы до «одной-двух» страниц По его словам, уставы можно сократить до одной-двух страниц, убрав информацию, которая уже прописана в законах. В первую очередь Чуйченко планирует упростить уставы компаний, которые «на 95% состоят из императивных норм законодательства», ...

Внедрить искусственный интеллект в дизайн приложения ресторана

В их основе лежит бесконечный скроллинг списков блюд в меню. Cуществующие приложения для ресторанов и служб доставки, как правило, не оправдывают ожидания по части пользовательского опыта. Это парализует способность сделать выбор. Пользователи не справляются с большим количеством вариантов. Выходит, что ...