Хабрахабр

Вивисекция успеха

Com. В течение последних 13 лет я работаю в My. Такой масштаб подразумевает большую плотность запусков новых игр, где-то по 3-4 игры в год. Это очень большая компания, состоящая из более чем 10 разнообразных студий, делающих игры, в первую очередь мобильные. Как вы понимаете, работа с таким потоком требует огромного умения оперативно и точно оценивать проекты на каждом этапе их создания.

Если со слабыми/сильными всё понятно, то вот с оценкой последних всегда возникают проблемы, так как задача уходит из плоскости оценки прямых показателей в плоскость оценки возможного потенциала проекта.
Например, если у казуального проекта Retention 1-го дня 20 %, то это, определенно, слабый проект, который необходимо закрыть. И здесь главная сложность связана с проектами, демонстрирующими спорные результаты. Тут всё не так очевидно. А если это мидкорная игра с Ret1 30 %?

Эту мидкорную игру, конечно, можно закрыть, но тогда есть вероятность, что мы лишимся хита, потому что потенциал игры может быть еще не раскрыт и разработчикам нужен еще год, чтобы превратить гадкого утенка в лебедя.

Если же дать разработчикам этот самый год, а красивый лебедь, в итоге, не получится, то компания потеряет средства и упустит выгоду, так как разработчики за этот год могли сделать еще одну игру, которая как раз и стала бы лебедем.

Но как его увидеть, оценивая по отраслевым стандартам? Чтобы грамотно выходить из этой развилки, нужно уметь оценивать не текущее состояние проекта, а его потенциал. Отраслевые стандартные слишком поверхностны и универсальны, чтобы «заглядывать в душу» отдельно взятого проекта. К сожалению, никак. Чтобы увидеть потенциал, мало простого увеличительного стекла, здесь нужен мощный микроскоп.

Поэтому мне бы хотелось сегодня поговорить об этом «микроскопе» и рассказать о своем опыте его применения. Моя практика показывает, что сегодня все решения по спорным проектам принимаются на основе интуиции, кредита доверия, или же через бесконечно длинные Soft Launch, что делает процесс принятия решения дорогим, непредсказуемым, а иногда даже мучительным.

Возможности отдельно взятого человека переоценены

Начнем наш разговор с того, что подвергнем сомнению ваши текущие представления об умении видеть потенциал проекта и предсказывать успех тех или иных игр. У всех нас, конечно же, есть свое мнение на этот счет, но, с большой вероятностью, оно ошибочно, так как опирается на субъективное восприятие проекта, что делает ваше мнение заложником всевозможных когнитивных искажений.

Несомненно, периодически случается успех, и вокруг него сразу появляются люди, которые начинают с умным видом рассказывать, как они верили в этот успех или же предсказывали его. Мы в My.com прошли огромный путь, прежде чем осознали, что экспертов, способных анализировать потенциал игр на поточной основе, не существует. Но если посмотреть историю всех высказываний этих людей, то увидите много умозаключений, которые к успеху не привели… Так как же можно решить эту задачу?

Моя студия является частью компании My.com, и у меня, как и у всех других разработчиков, есть доступ к статистике не только своих проектов, но и к проектам союзных студий. Я лично нашёл решение с помощью нашего собственного трекрекорда. Из них я выделил те, которые соответствуют моим критериям успешности, и стал препарировать их данные в поиске общих формул успеха.

Критерии успешности

Сначала нужно определиться с критериями игры, которую можно считать успешной. В моей системе координат это игры, которые зарабатывают от $1 000 000 net в месяц и имеют маржинальность >30 % спустя год после глобального релиза.

Я обратил их в две следующие аксиомы: У My.com такие проекты появляются достаточно регулярно, поэтому данных для изучения оказалось достаточно и первые выводы сформировались очень быстро.

  1. Успешной игры без успешного маркетинга не существует.
  2. Успешного маркетинга без успешной игры не существует.

Да, как показало исследование наших внутренних продуктов, успешные продукты всегда объединяют в себе историю успешного маркетинга и успешной игры. Хоть эти сферы и не зависят друг от друга напрямую, но именно на их пересечении формируется необходимый нам уровень успеха.

Это всё равно, что рассуждать о цвете предмета, рассматривая его тень. Поэтому хочу обратить ваше внимание, что сравнивать успешность тех или иных проектов по игровым метрикам в отрыве от маркетинговых метрик абсолютно бесполезно.

Следовательно, дальнейшее препарирование успеха я производил уже с точки зрения маркетинга и с точки зрения игровых метрик.

Оценка успеха продукта с позиции маркетинга

Анализ маркетинга наших успешных игр достаточно быстро показал, что их формула успеха заключается в способности проекта привлекать много дешевых регистраций. За счет этого объема формировались целевые показатели по выручке, а последующая оптимизация обеспечивала нужную маржинальность.

На мой взгляд. Чтобы описать эффект, позволяющий привлекать в проект большой объем трафика, нам понадобится такой параметр, как Install Rate (IR) рекламы. Я его считаю следующим образом: именно этот показатель наиболее ярко отражает маркетинговый успех игры.

IR = CTR * CR

Где CTR — это конверсия из показа в клик; CR — конверсия из клика в установку.

Таким образом, чем выше IR, тем легче проект привлекает пользователей и тем дешевле они ему обходятся.

Добиться этого можно только в том случае, если и реклама, и стор пейдж несут в себе месседж, который одновременно и цепляет аудиторию, и формирует правильные ожидания от продукта. Чтобы получить высокий Install Rate, нужно обеспечить высокую кликабельность рекламы и высокую конверсию из стор пейджа. Можно создать цепляющий месседж, но если он не будет оправдывать реальных ожиданий пользователей при последующем входе в игру, то они уйдут, и окупить затраты на их привлечение не получится. Последнее необходимо, чтобы удержать приведенного пользователя.

image

Здесь можно увидеть тот самый конфликт цепляющего месседжа и реальных ожиданий от игры, когда запуск маркетинговой кампании с очень высоким CTR вызывает обрушение CR. Этот график хорошо иллюстрирует сильную связь между CTR и CR.

После этого задача стор пейджа сводится к тому, чтобы поддержать и сильней раскрыть месседж, сформированный этими видеорекламами. Как показывает моя практика, первым признаком успеха игры является наличие высокого CTR у видеореклам, демонстрирующих её геймплей (>1 %). Это значение можно считать признаком того, что проект с точки зрения маркетинга будет иметь успех, и его развитием надо заниматься, даже если существует ряд других проблем. Если всё сделано правильно, то получится CR в районе 30—40 %, а сам Install Rate будет в районе 0,4—0,5.

Как собирать значения Install Rate?

Для этого я советую тестировать видеорекламу на видеосетках, так как их таргетинги достаточно общие, потому и результаты будут максимально беспристрастны. Также такой подход позволит вам сравнивать разные проекты друг с другом. Но не ошибитесь тут и не забудьте учесть этап жизненного цикла сравниваемых проектов! Если вы сопоставляете проекты разных возрастов, то получите некорректные выводы. Не учитывать жизненный цикл — очень грубая ошибка, которую часто совершают даже профессионалы. Для примера посмотрите, как менялось ROI маркетинговых кампаний у двух наших хитов всего лишь год спустя после запуска:

image

Но со временем она заканчивается, и окупаемость начинает падать даже несмотря на продуктовые доработки проекта за прошедший год. Такая сильная разница в окупаемости говорит о том, что на старте проект привлекает целевую аудиторию, которая стоит очень дешево и платит хорошо. Поэтому, сравнивая проекты друг с другом, обязательно делайте поправку на время жизни проекта.

Можно ли повлиять на показатель Install Rate?

Поскольку IR является отражением реакции аудитории, то это внешняя вводная, на которую нельзя влиять, её можно только посчитать. Это следствие той работы, которая была проведена продюсером на этапе Preproduction, когда одобрялась игровая концепция, сеттинг и дата выхода продукта на рынок. Это проклятие или благословение, которое наложил продюсер на проект, когда дал разработке «зелёный свет».

Разумеется, я говорю об этом так категорично только при условии, что:

  • Проведенная работа по позиционированию проекта и производства рекламных материалов сделана на должном уровне и не содержит грубых ошибок.
  • Мы говорим про долгосрочный период. Потому что на коротких дистанциях Install Rate можно периодически раскачивать через создание особо удачных рекламных материалов, но рано или поздно они выгорают и проект опускается на свой базовый уровень. А в долгосрочной перспективе мы можем лишь затормозить снижение Install Rate.

Мы видим, что на старте проект имеет высокое значение IR, но спустя некоторое время происходит сильная коррекция в сторону понижения (сливки целевой аудитории собраны) и IR выходит на свой базовый уровень. На этом графике хорошо иллюстрируется невозможность сильно влиять на IR. После этого формируется долгосрочная тенденция на его постепенное понижение даже несмотря на периодические успешные рекламные активности.

Оценка успеха продукта с позиции игровых метрик

В отличие от маркетинговых метрик, игровые метрики сравнивать очень непросто. За всё мое время работы в компании у нас было множество холиваров в попытке выработать единую концепцию оценки качества игры. Но ни одна из этих попыток не увенчалась успехом, поскольку все они разбивались о жанровое различие.

Все игры развлекают игроков, но в каждом жанре по-своему. Хоть все наши продукты и называются играми, по факту они представляют собой совершенно разные продукты, которые объединяет разве что присутствие элемента развлечения. Но! Из этого вытекает абсолютно естественное правило, что оценивать качество игры корректно в рамках её жанра. Если вы проанализируете историю жанров мобильных игр, то увидите, что они постоянно эволюционируют, а особо гремучие комбинации появляются, когда жанры смешиваются и образуют новые жанры и поджанры.

Всё это погружает мобильные игры в среду крайней эластичности, тем самым размывая определения жанра и представление его в виде каких-то игровых метрик. Это происходит из-за конкуренции на мобильном рынке, которая вознаграждает, в первую очередь, те игры, которые первыми дают уникальный игровой опыт, способный монетизироваться в долгосрочной перспективе.

Всё, что мы можем делать в этих обстоятельствах, это грубо сравнивать игровые метрики по пороговым значениям, что позволит поделить игры на плохие и хорошие, но не оценить спорные игры с точки зрения их возможного потенциала. Поэтому, когда мы говорим про мобильные игры и формирование критериев оценки их метрик, мы попадаем в крайне хаотичную среду, которая не позволяет принимать математически аргументированные сравнения.

Есть ли здесь ответ, аргументированный математикой, а не кредитом доверия к разработчикам? Как же быть? Я думаю, есть.

В нашей студии мы пришли к этому пониманию не сразу, причем пришли не системно, а, скорее, случайно, за что стоит сказать спасибо Google Play — его исследование рынка стало отправной точкой для нашего собственного, которое и привело нас к ответу.

Там Google Play организовал конференцию для своих разработчиков и поделился разнообразной информацией. Это произошло в 2017 году в Бразилии. Один из слайдов этой презентации рассказывал о существовании 4 групп проектов, успешность которых характеризуется кривой удержания в первые 10 минут игры.

Мы в то время были одержимы проблемой улучшения удержания в игре Juggernaut Wars, поэтому исследование Google Play нас очень вдохновило, поскольку предлагало посмотреть на удержание с необычной стороны: насколько высоко его значение в первую минуту игры и какова динамика роста с каждой последующей минутой.

Вооружившись этой концепцией, мы проанализировали свой портфель, и это сработало! Согласно Google Play, чем сильней рост от минуты к минуте и чем выше начальное значение, тем хитовей игра. Мы получили следующий график, на котором положение кривых наших топовых проектов и одного средненького очень точно отражало их последующий кассовый успех.

Оказывается, можно оценить хитовость игры по первым 10 минутам! «Вот это да!» — подумали мы в тот момент.

И если мы говорим про хит, то даже этой минуты достаточно, чтобы сформировать существенную разницу в удержании относительно нехитовой игры. Чтобы прочувствовать важность этого вывода, заострите внимание на том, что даже одна минута, проведенная в игре, обладает стабильной математической вероятностью возвращения пользователя на следующий день. Практически ничего, это будет первое впечатление от сеттинга и основной механики. А что может увидеть игрок за эту минуту? Это можно сравнить с наличием у игры своей ДНК. Он увидит то, что невозможно изменить, не переделав полностью проект.

Так родилась гипотеза о существовании у проекта ДНК, которую можно интерпретировать как ту самую метрику, способную математически выразить потенциал игры.

Чем выше начальное значение и чем сильней рост от минуты к минуте, тем качественней ДНК игры и тем сильней её потенциал. ДНК проекта — это фундаментальный набор качеств игры, который определяет вероятность возвращения пользователя после первой минуты, а также определяет степень роста вероятности возвращения с каждой последующей минутой, проведенной в игре.

Оценивая тягу игрока к возвращению в проект после одной минуты, а также замеряя рост этой тяги с каждой последующей минутой, мы работаем с бессознательной реакцией игрока. Такой микроуровень анализа позволяет стереть жанровые границы и оценивать игровой проект почти что на физиологическом уровне. Если игровая концепция и её реализация достаточно сильная, то она будет даже на бессознательном уровне затягивать игрока, и чем дольше он будет находиться в игре, тем сильней будет ее влияние. На таком промежутке времени игровых данных еще катастрофически мало, чтобы игрок мог сделать осознанный выбор, но бессознательно он его всё же делает.

В какой же момент можно измерять ДНК?

Эта концепция начинает работать, когда у проекта есть хотя бы 10 минут геймплея релизного качества.

Практически же замерить получится не раньше Closed Alpha, поскольку для постройки графика необходимо обеспечить большой объем выборки, чтобы сгладить возможные флуктуации. Получается, если обеспечить надлежащую работоспособность, то замерить хитовость игры, теоретически, можно уже на этапе Vertical Slice. И чтобы обеспечить формирование всех этих когорт и снять риск флуктуаций вам потребуется минимум 40 000 регистраций. Это исследование строится на анализе классического удержания первых 10 минут и для него необходимы репрезентативные когорты пользователей для каждой из 10 минут. Как только вы сможете обеспечить такой объем регистраций на 10 минутный геймплей релизного качества, вы сможете узнать ДНК проекта.

Как интерпретировать значения ДНК?

На выходе у вас будет кривая, абсолютные значения которой имеют ценность только при сравнении с другими кривыми, посчитанными в тех же условиях. Когда идет работа с поминутным удержанием, задача становится очень проектнозависимой, когда огромное значение начинают играть нюансы настроек логина и разлогинивания пользователей на сервере. Поэтому максимум данных вы получите при сравнении проектов, сделанных в рамках схожих серверных решений.

Для успешной игры важно, чтобы с каждой проведенной минутой удержание росло: чем больше люди проводят времени в игре, тем сильней она должна им нравиться. Но даже если сравнивать не с чем, вы можете оценить проект с точки зрения постоянства роста. Вот пример одного из наших проектов, где эта червоточина ярко выражена. Если же роста удержания нет, или наблюдается его падение, то это признак наличия в игре фундаментальных проблем, которые я называю червоточинами.

Если у наших хитовых игр оно вырастает на 250 %, то у этой всего на 20 %. Тут видно, что за 10 минут игры роста удержания практически не наблюдается. Пока у проекта есть такая червоточина, эффективно усваивать аудиторию он не сможет. Одновременно с этим мы видим, что удержание второй минуты существенно ниже удержания первой минуты, а это говорит о том, что игра не только не увлекает аудиторию, но и грубо теряет уже заинтересованных пользователей.

Заключение

Работая в большой компании, которая объединяет в себе более 10 разнообразных студий, каждая из которых трудится одновременно над несколькими проектами, я получил возможность изучить весь наш положительный опыт и посмотреть на случившиеся истории успеха с точки зрения аналитики и собственного опыта.

Моей задачей было научиться объективно оценивать проекты не только с позиции откровенно слабых/сильных проектов, но и сформировать подход для оценки спорных проектов с помощью анализа их возможного потенциала, который, в силу ряда причин, может быть еще не раскрыт.

Ведь любая работа над игрой — это не только труд, но и время. Я надеюсь, проделанная мной работа будет помогать разработчикам принимать взвешенные решения по таким судьбоносным вопросам, как начало или закрытие проектов. Удачи! И если трудолюбия разработчикам игр не занимать, то время — самый ограниченный ресурс, используйте его с умом.

Теги
Показать больше

Похожие статьи

Добавить комментарий

Ваш e-mail не будет опубликован. Обязательные поля помечены *

Кнопка «Наверх»
Закрыть