Хабрахабр

[Перевод] Инструмент, который поможет вам выбрать лучшие идеи для продукта

Вы ищете способы увеличить степень вовлечённости (engagement) и возвращаемости (retention) своих клиентов. Давайте представим, что вы управляете продуктом, который помогает малому бизнесу осуществлять техническую поддержку своих клиентов. У вас есть две идеи:

  • Дашборд, который позволит владельцам бизнеса мониторить статистику вовлечённости.
  • Чат-бот, который поможет владельцам бизнеса автоматизировать коммуникацию с потребителями.

Чат-бот – это то, что нравится всем сотрудникам вашей компании и продавливается руководством – это похоже на очень нужную вещь для клиентов, это классный проект. Дашборд – это фича, которая уже несколько раз обсуждалась с пользователями и вы чувствуете, что у неё есть большой потенциал, но также осознаёте риск того, что только один крупный пользователь будет пользоваться дашбордами. И да, чат-боты сейчас в моде.

Что вы выберете?

Цена ошибки за неправильный выбор может быть достаточно высока: стоимость разработки + стоимость деплоя в продакшн + стоимость поддержки + издержки упущенной выгоды + все прочие издержки. Такие вопросы приоритизации – сердце управления продуктами.

У нас часто возникают соблазны принимать решения на слабых сигналах: голосах большинства, мнении авторитетных людей (HiPPO), трендах индустрии и др., но, как показывает опыт, это плохая эвристика, такой подход не лучше, чем подбрасывание монетки.

Этот подход включает в себя три составляющие: В этой статье я продемонстрирую, что, по моему мнению, является лучшим способом находить удачные идеи.

  • Коэффициент ICE
  • Уровень уверенности
  • Постепенная инкрементальная валидация

Коэффициент ICE

Расчёт коэффициента ICE изначально предназначался для приоритизации экспериментов роста, но также может быть применён для любых других идей. Расчёт коэффициента ICE – это метод приоритизации, придуманный Шоном Эллисом, человеком, который помог вырасти таким компаниям, как DropBox, Eventbrite и придумавшим термин “growth hacking”.

Вы рассчитываете коэффициент для каждой идеи по следующей формуле:

Коэффициент ICE = Impact (влияние) * Confidence (уверенность) * Ease (простота),

где:

  • Влияние – это оценка того, насколько позитивно повлияет идея на ключевую метрику, которую вы пытаетесь улучшить.
  • Простота (внедрения) – это оценка того, сколько усилий и ресурсов потребуется для реализации идеи. Это инверсия классической оценки трудозатрат (в человеко-неделях) – чем меньше усилий, тем больше Простота.
  • Уверенность – показывает, насколько мы уверены в том, какое Влияние будет оказано, а также в некоторой степени говорит о Простоте реализации. Я написал целую статью, объясняющую, почему приоритизация по трудозатратам и ценности не работает. [перевод этой статьи на Хабре]. Если кратко, то суть в том, что мы все очень плохи в оценках и наивно не подозреваем об этом. Показатель Уверенности служит антидотом, он помогает нам быть более точными в предположениях.

Каждая команда сама для себя определяет, чему соответствуют показатели 1-10, чтобы каждый эквивалент был уместным. Все три показателя заполняются значениями по относительным шкалам от 1 до 10, поэтому ни один из них не переоценён. В конечном счёте, цель оценки – получить “Банк идей”, который выглядит как-то так:

Идея проекта

Влияние, I [0-10]

Уверенность, C [0-10]

Простота, E [0-10]

ICE [I x C x E]

Вкладка сообществ

7

2

8

112

Поток отправки обновлений

5

5

3

75

Добавление биллинга PayPal

8

1

5

40

Исправление бага с чеком

1

4

3

12

Давайте разберём пример, чтобы наглядно увидеть, как это работает.

Первая версия ICE

На ранней стадии вы используете грубые величины, основываетесь на собственной интуиции. Вы решили посчитать коэффициенты ICE для двух идей – дашборда и чат-бота.

Чат-бот, с другой стороны, может затронуть большое число пользователей, поэтому вы ставите 8 из 10. Влияние – вы предполагаете, что дашборд увеличит retention значительно, но только для некоторых пользователей, поэтому ставите 5 из 10.

Вы получите оценки получше от команды разработки позже, а пока используете эту простую таблицу (составленную совместно с командой) для конвертации оценок в значение параметра Простота: Простота – вы полагаете, что дашборд потребует 10 человеко-недель разработки, а чат-бот – 20, основываясь исключительно на данных похожих предыдущих проектов.

Человеко-недели

Простота

Менее 1 недели

10

1-2 недели

9

3-4 недели

8

5-6 недель

7

6-7 недель

6

8-9 недель

5

10-12 недель

4

13-16 недель

3

17-25 недель

2

26 недель и более

1

В итоге дашборд получает значение Простоты 4 из 10, а чат-бот – 2.

Считаем показатель Уверенности

С этой целью я создал инструмент, который описывает типовые тесты и доказательства, которые у вас могут быть, и значения параметра Уверенности, которые они имеют. Существует только один способ рассчитать показатель Уверенности – взглянуть на подтверждающие доказательства. Когда будете использовать этот инструмент, учитывайте, какие артефакты у вас уже есть, насколько их много и что нужно сделать, чтобы получить ещё бОльшее значение.

Текст на картинке – Уровень Уверенности:

  • Около нуля:
    • Собственная уверенность.
    • Презентация.
    • Тематическая поддержка – согласуется с видением / стратегией, текущими трендами / баззвордами, внешними исследованиями, макро-трендами, продуктовой методологией.
  • Очень низкий:
    • Чьё-то мнение – команда, менеджмент, внешние эксперты, инвесторы, СМИ, кто-то ещё считают, что идея хорошая.
    • Оценки и планы – расчёты на салфетках, оценка реализуемости, таймлайн проекта, бизнес-модель.
  • Низкий – неофициальные доказательства: основаны на нескольких аспектах данных по продукту, частый запрос при продажах, 1-3 заинтересованных клиента, у кого-то из конкурентов такое уже есть…
  • Средненизкий:
    • Данные с рынка – доказательства, основанные на опросах, смоук-тестах, у всех конкурентов такое уже есть…
    • Доказательства от пользователей / клиентов – основаны на большом количестве данных о продукте, просьбы топовых пользователей, интервью с 20+ пользователями, результаты юзабилити-исследований, результаты запуска MVP.
  • Средний – результаты тестов: основаны на длительных исследованиях пользователей, результаты запуска MVP бОльшего масштаба, alpha-, beta-версий, A/B-экспериментов.
  • Высокий – данные после запуска.

Больше информации в более раннем посте (англ.). Примечание. Если в вашем продукте или индустрии используются другие доказательства, вы можете создать свою версию Инструмента Уверенности, просто учитывайте, что является сильным, а что – слабым доказательством.

Давайте вернёмся к нашему примеру и рассмотрим Инструмент Уверенности в действии.

  • Подтверждающие доказательства для чат-бота: собственная уверенность (вы считаете, что это хорошая идея), тематическая поддержка (индустрия считает, что это хорошая идея) и мнения других (ваши руководители и коллеги считают, что это хорошая идея). Это даёт вам итоговое значение Уверенности 0.1 из 10, т.е. около нуля. Инструмент явно не рассматривает мнения как надёжный индикатор. Интересно.
  • Для дашборда имеются следующие доказательства: собственная уверенность (вы считаете, что это хорошая идея), неофициальные доказательства (горстка клиентов просили об этом). Фактически, это увеличивает значение параметра Уверенности до колоссальных 0.5 из 10, что означает низкий уровень уверенности. К сожалению, пользователи плохо предсказывают своё будущее поведение.

Расчёт коэффициента ICE:

Идея

Влияние

Простота

Уверенность

ICE

Дашборд

4

4

0.5

8

Чат-бот

8

2

0.1

1.6

Синяя точка – дашборд, красная – чат-бот. Текст на картинке: по оси Y – оценка ICE, по оси X – раунд приоритизации.

Пока просто недостаточно информации, чтобы принимать решение. На данный момент дашборд выглядит как более подходящая идея, но Инструмент показывает, что уровень уверенности низкий.

Оценки и проверка реализуемости

Оба проекта на первый взгляд выглядят вполне реализуемыми. Далее вы встречаетесь с коллегами из разработки и UX, а затем вместе обсуждаете обе идеи. Согласно вашей шкале Простоты, это означает показатели 4 и 3 соответственно. Тимлид разработки возвращается с примерными оценками трудозатрат: дашборд займёт 12 человеко-недель для запуска, а чат-бот – 16.

При ближайшем рассмотрении дашборд выглядит слегка менее перспективным и получает 3. Параллельно с этим вы делаете расчёты на салфетке и обновляете графу “Влияние”. Чат-бот по-прежнему выглядит основательно, на 8.

Дашборд теперь имеет 0. Использование Инструмента Уверенности показывает, что обе идеи теперь проходят тест “Оценки и планы” и получают новые показатели параметра Уверенности. 4. 8, чат-бот – 0.

Идея

Влияние

Простота

Уверенность

ICE

Дашборд

3

4

0.8

9.6

Чат-бот

8

3

0.4

9.6

Однако уровень уверенности до сих пор низкий по уважительной причине – это в основном цифры, полученные из воздуха, и вы понимаете, что нужно собрать больше доказательств. Таким образом, чат-бот устранил отрыв.

Данные с рынка

Вы получаете сотни ответов. Вы рассылаете текущим пользователям анкету с опросом, в котором просите их выбрать одну из 5 потенциальных фичей, список включает чат-бот и дашборд. Дашборд занимает третье места с 17% голосов. Результаты очень позитивные для чат-бота – это фича №1, 38% респондентов выбрали её.

5. Это даёт обеим фичам немного поддержки данными с рынка, но у чат-бота показатель выше – 1. Дашборд тоже получает увеличенное значение для столбца “Уверенность”, но пока только до 1.

Идея

Влияние

Простота

Уверенность

ICE

Дашборд

3

4

1

12

Чат-бот

8

3

1.5

36

Кажется, ваши коллеги и индустрия оказались правы. Чат-бот становится сильным лидером. Наверное, нет. Не пора ли нажать на курок? К сожалению, результаты опроса не создают достаточно сильного сигнала. Проекты довольно дорогостоящи и у нас до сих пор есть только небольшая уверенность в успехе. Продолжаем работать!

Доказательства от клиентов

Параллельно вы проводите телефонное интервью и опрашиваете 20 респондентов, которые должны выбрать одну из двух функций-кандидатов. Чтобы узнать больше, вы проводите исследование с десятью текущими пользователями, показывая им интерактивные прототипы каждой из фичей.

Исследование демонстрирует более детальную картину:

  • 8 из 10 клиентов считают дашборд полезным и сказали, что будут использовать его минимум раз в неделю. Их понимание функциональности совпадает с тем, что вы хотели донести и они не испытывали затруднений в процессе работы с дашбордом. Телефонные интервью подтвердили понимание и желание пользоваться в среднем раз в неделю.
  • 9 из 10 участников исследования сказали, что будут использовать чат-бота, уровень их энтузиазма был очень высок. Все сразу поняли, как чат-бот может помочь им и многие просили получить доступ как можно скорее. Однако были выявлены большие проблемы в юзабилити, плюс некоторые пользователи озвучили беспокойство, что их клиенты могут быть недовольны неестественными ответами бота.

Дашборд выглядит более востребованным, чем предполагалось ранее. Это качественное исследование дало пищу для размышлений. Взглянув на Инструмент Уверенности, вы ставите дашборду и чат-боту значения 3 и 2. А чат-бот теперь выглядит как проект с более высокими рисками и с бОльшим потенциалом. Вы обновляете значения Влияния до 6 для дашборда и 9 для чат-бота. 5 соответственно. Также по результатам юзабилити-исследования вы понимаете, что UI чат-бота потребует больше работы, поэтому вы уменьшаете параметр Простоты до 2.

Идея

Влияние

Простота

Уверенность

ICE

Дашборд

6

4

3

72

Чат-бот

9

2

2.5

45

Вы приносите результаты своей команде и руководству. Таблица снова преобразилась и теперь лидирует дашборд. Не хочется отпускать потенциально хорошую фичу, поэтому команда решает продолжить тестирование обеих. Прогноз, базирующийся строго на ICE, декларирует дашборд победителем, с другой стороны, уровень Уверенности всё так же далёк от высокого.

Последние тесты и победитель!

167 включили фичу, но количество использований драматически падало день ото дня, и к концу второй недели только 24 человека были активными пользователями. Вы решили начать создавать MVP для чат-бота – разработка заняла шесть недель и вы запустили его для 200 респондентов, участвовавших в предыдущем опросе, которые озвучили желание поучаствовать в бета-тестировании. Чат-бот сложнее в использовании и значительно менее полезен, чем ожидали участники, хуже того, он недружелюбен к клиентам, которые, похоже, ценят личный контакт. В последующих опросах и звонках картина прояснилась. Фактически эта фича заставляет владельцев бизнеса работать больше.

Также ясно, что гораздо меньшее число пользователей воспринимают чат-бота удобным, чем ожидалось изначально. Анализируя результаты, вы с командой приходите к выводу, что запуск удобной версии чат-бота, которая будет соответствовать ожиданиям клиентов, потребует минимум 40-50 дополнительных человеко-недель (Простота = 1) и это очень рискованно. Это меняет первоначальную идею фундаментальным образом, так что вы больше не можете верить результатам пользовательского исследования и принимать их, поэтому уменьшаете показатель Уверенности до 0. Поэтому вы уменьшили Влияние до 2. 5.

Результаты очень хорошие. MVP дашборда запущен за пять недель для других 200 пользователей. Обратная связь чрезвычайно позитивна, большинство просит доступ к полной функциональности. 87% участников используют его, большинство ежедневно, отток небольшой. Команда разработки оценивает, что доработка полной версии займёт 10 недель, поэтому Простота 4. Вы понимаете, что Влияние больше, чем вы ожидали – 8. 5 из 10. Согласно инструменту, вы устанавливаете Уверенность в значение 6.

Идея

Влияние

Простота

Уверенность

ICE

Дашборд

8

4

6.5

208

Чат-бот

2

1

0.5

1

Никто не спорит, что дашборд – та фича, которой следует заниматься. Теперь приоритизация очень проста. Вы оставляете чат-бота в вашем Банке идей, чтобы записывать будущие находки, но он, естественно, отсортирован в самый конец из-за низкого коэффициента ICE.

Итого

1. Перестаньте инвестировать в плохие идеи

Большинство идей больше похожи на чат-бота, чем на дашборд. Этот пример иллюстрирует, насколько рискованно делать ставки на фичи, требующие больших усилий и основанных на чутье, мнениях, трендах рынка и др. Единственный способ найти идеи-победители – протестировать их и уменьшить уровень неопределённости. Они приносят меньший результат и стоят гораздо больше, чем вы думаете.

2. Беспокойтесь о результатах, а не фичах

Тестирование для определения показателя Уверенности не только сокращает количество потраченных впустую усилий на плохие идеи, но ещё и фокусирует команды на короткие и осязаемые майлстоуны обучения с быстрыми измеримыми результатами, что улучшает фокус и производительность. Это выглядит как трудоёмкий и медленный способ создания продуктов, но на самом деле это более эффективный путь, чем альтернативы. По этой причине нас реже удивляют результаты запуска и исправлений требуется гораздо меньше. В процессе мы узнаём очень много о нашем продукте, пользователях, рынке и в результате имеем лучший итоговый продукт, который уже протестирован клиентами.

3. Пусть расцветают тысячи цветов

Ограничивая количество усилий на каждую, учитывая уровень Уверенности, мы получаем возможность тестировать параллельно множество идей, избегая ловушек традиционной подхода к разработке. В реальности зачастую нам приходится делать выбор не между двумя идеями, а между десятками. Более подробно об этом можно прочитать в статье “Почему вам стоит перестать использовать продуктовые роадмапы и попробовать GIST”.

Каждый инкрементально улучшает идею, в результате тестирования увеличивая уровень уверенности в результатах. В этом примере команда тестирует четыре идеи параллельно, запуская несколько шаг-проектов.

4. Как перетащить на свою сторону руководство и стейкхолдеров

Можем ли мы на самом деле заставить их ограничить свой уровень влияния на продукт? Что беспокоит людей больше всего, когда я объясняю данную тему, так это вопрос, как “продать” её руководству и стейкхолдерам. От многих руководителей я слышал, что они предпочли бы не принимать решения в вопросах продукта, но если команда предлагает слабые варианты, они чувствуют необходимость вовлекаться. Что ж, вы будете удивлены. Вы будете очень удивлены, когда поймёте, насколько проще происходит обсуждение. Что есть слабые и сильные варианты – это, конечно, субъективное мнение до тех пор, пока вы показываете не просто отполированную презентацию, а приходите с реальными доказательствами, вызывающими доверие. С другой стороны, когда в следующий раз ваш CEO придёт с очередной порцией маст-хэв идей, попробуйте показать ему, как такие идеи оцениваются: какие показатели Влияния, Простоты и Уверенности вы указываете, какой коэффициент ICE в итоге получается, как происходит сравнение с другими идеями и как можно их протестировать, чтобы увеличить показатель Уверенности.

Если они до сих пор не убеждены, скиньте им ссылку на данный перевод или оригинальный пост Итамара, где он готов отстоять этот подход в комментариях. Большинство разумных людей согласится, что это хороший способ.

Откликнуться на вакансию можно на Headhunter и корпоративном сайте. В объединённую компанию “Колёса | Крыша | Маркет” мы ищем менеджеров продуктов, которые готовы экспериментировать, быстро и недорого проверяя гипотезы.

Показать больше

Похожие публикации

Добавить комментарий

Ваш адрес email не будет опубликован. Обязательные поля помечены *

Кнопка «Наверх»