Hi-Tech

Шесть экспериментов для проверки гипотез поведенческой экономики, которые можно применить в монетизации игр

Опыт аналитической компании devtodev — в материале DTF.

В закладки

Ru Group, Crazy Panda, Belka Games, Kefir, SkyEng, AIC и Azur Games. На конференции DevGAMM в мае 2019 года компанию devtodev пригласили провести аналитический трек, в котором приняли участие представители компаний Playkot, NX Studio, Mail.

В своей статье для DTF он рассказал о том, в какие эксперименты (в том числе и тайные) аналитики вовлекли посетителей трека, какие гипотезы им удалось подтвердить и как результаты могут помочь в монетизации игр. Организацией занимался ведущий аналитик и сооснователь сервиса devtodev Василий Сабиров.

План эксперимента

Весь день на сцене стоял чемодан с конфетами, всем желающим было предложено угадать, сколько в нём конфет (мы заранее их посчитали). Мы подготовили программу из нескольких докладов и круглых столов, а также заготовили небольшой сюрприз. Для ответа на вопрос необходимо было заполнить Google-форму, доступную по QR-коду. И тот, кто угадает или окажется ближе всего к истине, должен был забрать с собой и чемодан, и конфеты. Так это выглядело снаружи.

На самом же деле всё было несколько хитрее.

  • Во-первых, QR-кодов было два, и это был A/B-тест. Чем отличались формы, я расскажу чуть позже.
  • Во-вторых, в обеих версиях формы, помимо вопроса о чемодане конфет, расположенного в списке последним, было ещё несколько вопросов, основная часть из которых была обязательной. Таким образом, мы хотели попутно протестировать ещё несколько интересных гипотез.

Почти все гипотезы, которые мы проверяли, были подтверждены. В итоге в конце дня мы прочли доклад, в который вставили результаты опроса.

Пара дисклеймеров

Мы сразу понимали, что никакой речи о статистической значимости и быть не может. Но сначала несколько технических моментов. Мы ориентировались на 100 респондентов (и почти угадали), а на таких масштабах едва ли можно рассчитать t-тест, z-тест и все прочие тесты.

Мы разместили в зале два роллапа, на каждом из которых был указан свой QR-код. Чтобы в каждой из групп теста было примерно одинаковое число респондентов, нам пришлось потрудиться. Флаеры, которые раздавались публике, были тоже двух видов.

Это немного выровняло статистику, однако пришлось привести нескольких людей буквально за руку и дать им нужный флаер. По истечении нескольких часов мы увидели, что число респондентов в группе «A» значительно превосходит группу «B», и было принято решение поменять роллапы местами, а также заменить флаеры на новые.

В конечном счёте, всё получилось, и сейчас самое время рассказать об этом.

Общие данные

У нас был ещё вариант «предпочитаю не указывать», но его никто не выбрал. Всего у нас было 103 респондента, из которых 77 — мужчины, а 26 — женщины. 51 респондент оказался в группе «A», 52 — в группе «B».

Эффект приманки

Суть его в том, что, совершая выбор между двумя вариантами, респондент встает перед проблемой выбора и часто выбирает более дешёвый. Из поведенческой экономики известен так называемый «эффект приманки» (decoy effect). Отвергая его, респондент с большей вероятностью принимает решение в пользу одного из двух других вариантов. Тогда вводится третий, заведомо невыгодный вариант. Подробнее о классическом примере эффекта приманки с подписками на журнал можно прочесть здесь. Притом можно добиться того, чтобы в среднем выбирали более дорогой вариант.

А напрягаться он не особо любит. Дело в том, что наш ленивый мозг, выбирая между вариантами «A» и «B», слишком далекими друг от друга, чтобы их сравнивать, будет очень сильно напрягаться. Между «A» и «-A» выбор делается легко в пользу «А», при этом по инерции «A» выигрывает сразу и у «B». И чтобы ему помочь, к вариантам «A» и «B» добавляется вариант «-A».

Эксперимент первый: Крис Хемсворт и Райан Гослинг

Группе «B» было предложено выбрать, кто из мужчин кажется им более симпатичным, Крис Хемсворт или Райан Гослинг (для того, чтобы выбрать, какие именно мужчины попадут в опрос, пришлось «гуглить» "top sexiest men 2019", и я никогда бы не подумал, что это придётся делать по работе). Мы решили проверить эффект приманки следующим образом. В итоге голоса распределились вот так.

Вероятно, это как-то связано с тем, что в мае в прокате как раз были последние «Мстители», где он снимается. Крис Хемсворт победил.

И вот, что у нас получилось. Ну а в группе «A» мы добавили ещё один вариант, и выбор был из трёх картинок: Райан Гослинг, «помятый» Райан Гослинг и Крис Хемсворт.

Нашлись, конечно, и те, кто проголосовал за «помятого», ну да бог им судья. Как мы видим, «помятый» Гослинг позволил обычному Гослингу занять первое место в опросе.

Кстати говоря, попутно мы выяснили, что мужчинам больше нравится Гослинг, а женщинам — Хемсворт.

Эксперимент второй: цена на попкорн

Этому был посвящён наш следующий эксперимент. Как же применить этот метод для монетизации?

Группе «А» было предложено выбрать один из двух стаканов попкорна: маленький за 100 рублей и большой — за 200.

Для группы «B» был выбор из трёх позиций:

  • маленький — 100 рублей;
  • средний — 180 рублей;
  • большой — 200 рублей.

Как видим, средний вариант по цене ближе к большому, его задача — оттенить внимание в большую сторону.

Его добавление позволило поднять средний чек со 136,5 рубля до 161,9 рубля, то есть на 19%. Видим, что средний вариант со своей задачей вполне справился. Ещё раз: мы просто добавили один price point, и чек только от этого вырос на 19%.

Эффект якоря

Его суть заключается в том, что если заранее установить респонденту «якорь» на некоем численном значении, то в будущем при какой-либо численной оценке респондент будет отталкиваться от «якоря». Далее, мы хотели проверить эффект якоря. Подробнее об эффекте можно прочитать здесь (обратите особое внимание на классический эксперимент с долей африканских стран в ООН).

Эксперимент третий: удержание в гоночных играх

Чтобы проверить эффект якоря в нашем эксперименте, мы задавали следующий вопрос.

Как бы вы оценили медианный показатель day 1 retention у игр жанра Racing? Для группы «A». По данным progamedev.net, медианный показатель удержания первого дня (day 1 retention) у игр жанра Trivia — 35%, World — 38%, Casino — 34%.

Как бы вы оценили медианный показатель day 1 retention у игр жанра Racing? Для группы «B». По данным progamedev.net, медианный показатель удержания первого дня (day 1 retention) у игр жанра Simulation — 22%, Action — 24%, Adventure — 24%.

Повлияло ли это на оценку day 1 retention у игр жанра Racing? Как видите, у группы «B» «якоря» стояли на более низких значениях, чем у группы «A».

Повлияло, и более чем.

Эксперимент четвёртый: оцениваем стоимость вина

Для этого мы попросили респондентов сначала указать последние две цифры их номера телефона (по сути, случайное двузначное число). А что, если респондент сам установит себе «якорь»? И вот, что получилось. А затем мы попросили их оценить стоимость одной и той же бутылки вина (в долларах).

То есть те, кто ранее написал меньшее значение (от 00 до 20), имели тенденцию более низко оценивать стоимость бутылки, чем те, кто ранее написал значение от 80 до 99.

Закон больших чисел

Мы рассчитывали, что если попросим респондентов оценить некое значение, то средняя оценка по выборке будет близка к фактическому значению. Наконец, мы решили проверить работу закона больших чисел.

Эксперимент пятый: когда родился Ньютон?

Ньютон родился в 1643 году, но респондентов мы очень попросили не «гуглить» это. Для начала мы попросили оценить год рождения Исаака Ньютона.

И, вполне вероятно, что если бы респондентов было больше, то она бы приблизилась ещё сильнее. В целом, видно, что средняя оценка начала приближаться к факту.

Эксперимент шестой: чемодан конфет

И это единственный эксперимент, который нам не удался. Наконец, вернёмся к нашему чемодану с конфетами. По непонятной нам причине средняя оценка в определённый момент взяла устойчивый тренд на рост.

Чемодан нашёл своего владельца, конфеты — тоже. В чемодане было 544 конфеты, и нашёлся человек, который угадал это с точностью до одной конфеты (девушка по имени Алина назвала число «543»). Поздравляем Алину ещё раз!

Мы видим в ней ещё один ракурс, под которым стоит рассматривать работу над продуктами и их монетизацию. В конце мне хочется сказать, что законы поведенческой экономики, кажется, работают. Так что используйте поведенческую экономику во благо, но всё же будьте аккуратны — лояльность может оказаться дороже. При правильном применении этих законов можно повысить средний чек, не меняя лояльности пользователей.

Показать больше

Похожие статьи

Добавить комментарий

Ваш e-mail не будет опубликован. Обязательные поля помечены *

Кнопка «Наверх»
Закрыть