Хабрахабр

Вокруг беты за 260 дней: как мы учились прислушиваться к пользователям

Все знают: догфудить собственный продукт (ну, есть корм своей собаки – разрабатывать продукт, который сам же используешь) – это правильный во всех отношениях принцип. Работая над конструктором чатботов Aimylogic, мы в Just AI прекрасно представляли, каким он должен быть, но поначалу не догфудили – наши NLU-инженеры обычно сразу пишут код. И поэтому решили пойти по пути lean startup: выкатить бету, собрать ранний фидбэк от пользователей и писать Aimylogic по-живому. Рассказываем, как мы вместе с пользователями шли от беты к релизу.
Карты раскрывают:
· Дима Чечёткин, cооснователь и директор по стратегическим проектам Just AI
· Глеб Обломский, директор по продуктам Just AI, Aimylogic
· Андрей Чикишев, инженер технической поддержки Aimylogic

Часть первая. Попробуй lean startup, если осмелишься

Дима: «Мы, конечно, могли не выкатывать бету и проделать всю работу сами. Но, во-первых, ресурсы команды всегда ограничены, а во-вторых, глупо было бы формулировать теоретические кейсы под предполагаемую аудиторию. Особенно на таком новом рынке, как разговорный AI. Мы сами пишем сценарии, связанные с NLP, но делаем это на более специфичном уровне – в основном кодим. И да, мы знали, какие кейсы можно сделать с помощью визуального редактора. Но все равно нужно было проверить и выяснить, какими боты (не говоря уже о голосовых навыках) будут получаться у пользователей.

А еще такой метод разработки бросал вызов нашим девелоперам: большинство из них не сталкивалось с созданием массового публичного продукта (а не закрытой платформы для энтерпрайза, например). В общем, нам было важно посмотреть на реальное использование продукта. А когда узнали – удивились. Поначалу разработчики даже не знали, что продуктовая команда общается с пользователями! Всем не пофигу, и это отражается на продукте». Да, это был выход из зоны комфорта, зато сразу стало понятно – если команда делает публичный продукт и сразу же получает фидбэк, она искренне стремится к лучшему для пользователей результату.

Внешние причины отправить Aimylogic в свободное плавание прямо в бете тоже были. Нас подстегивал и добавлял азарта выход Алисы от Яндекса. В США рынок голосовых помощников формировался параллельно с инфраструктурой для него – например, Google выпустил Ассистента вместе с конструктором экшенов. А Яндекс Алису – без. Мы же точно знали, что с выходом первого в России ассистента рынку понадобится понятный и удобный инструмент для разработки скиллов.

Мы знали, что он будет востребован, но сомневались по поводу целевой аудитории – кому именно адресован продукт, какие потребности он будет закрывать. Глеб: «Идея создания простого и доступного конструктора ботов, понимающих естественный язык, зрела у нас давно. Первый публичный MVP мы сделали за 1,5 месяца, а уже в конце мая Aimylogic был представлен миру». Анонс Яндексом платформы Диалоги в марте 2018-го стал той точкой, после которой внутренние наработки стали оформляться в Aimylogic.

Часть вторая. Фича как предчувствие

В теме разговорного AI мы варимся давно и в курсе, что делается на глобальном рынке, что в планах у конкурентов и чего их решениям не хватает. Мы сами придумали для Aimylogic уникальные фичи вроде визуализации процесса создания и редактирования сценария в виде дерева conversational flow. В общем, мы понимали, что можем сделать всё, что угодно.
Глубину функционала Aimylogic сразу обеспечивали NLU-технологии Just AI, так что мы сфокусировались на реализации самого базового функционала и стали смотреть, что же попросят пользовали «на добавку». Именно пользователи помогали нам расставлять приоритеты. Так первая же волна фидбэка в Телеграме привела к появлению фичи по переименованию блоков сценария и масштабированию. Вот она:

image

Мы просто увидели, что им действительно поможет в работе с продуктом. Дима: «Да и вообще многие функции в Aimylogic могли появиться гораздо позже, но были простимулированы пользователями. И наоборот, в бэклог поначалу ушла чисто техническая тема – вебхуки. Вот, кстати, перетаскивание экранов – фича, которая скаканула из бэклога резко вверх по приоритету. Когда юзеры поняли, как пользоваться Aimylogic, начали кайфовать от этого и строить большие сценарии с развесистой логикой, работать без масштабирования им стало неудобно. Еще одна фича, которую пропедалировали именно пользователи – это зум. Так появился настоящий профессиональный тул для проектирования разговорных интерфейсов, который дает необходимый уровень декомпозиции».

Перетаскивание экранов: image

Честно говоря, мы думали, что эта фича будет нужна чуть ли не сразу. Глеб: «Или, например, функции встроенных интеграций с некоторыми бизнес-системами. Зато сейчас, судя по фидбэку, есть заинтересованность в таких интеграциях, так что дальше мы будем уделять им больше внимания. Но первых пользователей больше волновали вопросы гибкости и масштабируемость удобства работы с конструктором на больших сценариях – на них мы и направили основные усилия в ходе беты.

Вот у вас есть сценарий из блоков, и каждому блоку можно назначить условия, при которых он будет работать. Идея условного исполнения для каждого блока тоже казалась нам очень нужной. Но гибкости Aimylogic хватило и без нее, и мы полностью отказались от этой фичи». Представлялось, что это придаст инструменту гибкости.

А вот Viber, например, оказался невостребованным и ушел в бэклог, зато в топе пользовательских пожеланий лидируют Instagram и WhatsApp – и они в Aimylogic обязательно появятся. Еще пользователи влияют на очередность подключения каналов в Aimylogic, где они хотели бы видеть своих чатботов: Алиса, Google Ассистент, Телеграм, ВКонтакте, чат-виджеты на сайтах и даже Alexa.

Часть третья. Магия UX

Чтобы продукт становился удобнее, пользователи должны прислушиваться к своим ощущениям, а мы – к пользователям. Правда, удобство не всегда вербализуемо, да и на расположенную «не там» кнопку жалуются реже, чем на конкретный баг. Юзер думает: вдруг это просто вкусовщина, вдруг мне только кажется? Поэтому мы исследовали поведение пользователей с помощью UX-инструментов и UX-методик и обращали внимание на случаи массового замешательства.

Ну либо этот кейс реализован, как в DialogFlow, когда все нужно держать в голове, а ты видишь списки реакций ботов. Глеб: «Для нас Aimylogic вообще начинался с UX – мы посмотрели на другие конструкторы чатботов и поняли, что удобных инструментов визуализации интерактивного диалога в сочетании с бизнес-логикой практически нет. Другая крайность редакторов чатботов – визуальная часть есть, но перегружена NLU-фишками: добавляешь, вроде, простой блок и разбираешься с интентами и кучей непонятных контролов. Но это совершенно не визуально. В итоге удалось найти баланс между простым и понятным UX и достаточной гибкостью и технологичностью. В таких инструментах просто теряешься в том, что делаешь.
Еще до того, как мы придумали название «Aimylogic», мы прошли через большое количество UX-прототипов, проверяя различные идеи. И в дальнейшем мы многое в Aimylogic усовершенствовали именно благодаря пользовательскому опыту».

И порой могли убедиться, что люди действительно совершают лишнее или бессмысленное движение, которое им мешает и затрудняет работу в продукте. Итак, мы внимательно наблюдали за пользователями Aimylogic, в том числе через вебвизор.

Мы заметили, что в среднем сценарии наших пользователей занимают 70-100 экранов, так что справка оказывалась скрытой и до нее приходилось скроллить. Например, в первом релизе справка по Aimylogic – крайне необходимая штука для нового продукта – размещалась на одном полотне с редактором сценария. Пожалуй, первое, что начинаешь анализировать и улучшать в продукте по результатам анализа пользовательского опыта – это как раз онбординг! Поэтому она переехала в верхний бар.

Справка в баре: image

Одну из подобных вещей мы обнаружили при переключении с экрана конструирования бота на экран, где мы добавляем контент для бота. Дима: «Когда в вебвизоре появляется жуткая паутинка движений мышкой, значит, что-то пошло не так. Тогда наш ведущий UX-дизайнер Катя Юлина предложила сделать виджет на всех экранах, чтобы он всегда был у пользователя под рукой. Оказалось, пользователи добавляли сущности, сохраняли, затем шли в редактор, чтоб там протестировать все в виджете. Сделали – пользуются». Так можно без лишних телодвижений добавить или удалить сущность, сохранить и тут же протестировать.

Как было: imageКак стало: image

Часть четвертая. Пользователи умеют удивлять

В общих чертах мы представляли, как именно пользователи будут применять Aimylogic и для чего создавать ботов: консультации клиентов, заказ и доставка товаров, развлечения и тому подобное. Но конкретные примеры использования конструктора оказались куда более любопытными! Без сюрпризов (и довольно вдохновляющих!) не обошлось.
Глеб: «Инсайтов было много, особенно поначалу. Но из последнего, что запомнилось – в одном из вузов студенты в качестве курсовых работ готовят голосовые навыки на Aimylogic!».

Я поинтересовался, чем он занимается и что пытается сделать с помощью Aimylogiс. Дима: «Один пользователь буквально засыпал нас найденными багами – при этом по формулировкам было видно, что пишет профи. Я открыл его сценарий (а это было еще до удобных фич типа перетаскивания блоков, не говоря уже о компактном виде) и вижу… Сценарий, который не помещается на 4К-мониторе! Выяснилось, что парень учит людей продавать крипту. Так мы узнали, что на бета-версии Aimylogic пользователь построил сценарий целого онлайн-курса и с его помощью ведет клиента по всем этапам обучения, показывает видео, запрашивает ответ. Огромное количество экранов, которые даже пересчитать нельзя – компьютер шумел, пытаясь его отрендерить. Но он взял и сделал. Для меня стало настоящим (и приятным) открытием, что человек доверился в общем-то новому продукту, посвятил массу времени проработке сценария, не будучи уверенным, что все это не грохнется (все-таки бета-версия). Сейчас бот успешно работает в Телеграме». Этот сценарий мы затем использовали как тестовый полигон, чтобы проверять производительность Aimylogic.

Сначала к нам приходили ребята, которые говорили: мол, мы ничего не умеем, сделайте нам бота. Андрей: «А для меня приятным удивлением стало, что в продукт погрузились пользователи без технического бэкграунда. И в результате у них все отлично получалось – увидев, что продукт не такой уж сложный, они пробуют и в итоге сами себе экономят деньги, уже не боятся узнавать какие-то технические вещи и развивают свои скиллы. Мы предлагали попробовать самим с помощью шаблона, например.

В Aimylogic реализовано очень много интересных идей! Еще меня удивило именно многообразие сценариев – наши пользователи мыслят действительно креативно. Или, например, есть бот, который помогает подобрать зубную пасту, причем работает он на двух языках. Однажды я наткнулся на любопытную социальную бизнес-игру: каждый день человек заходит в бота и выполняет мотивирующие задания, получает за них очки. Пользователи интересовались даже, как создать бота для знакомств – возможно, скоро появится и такой сценарий». Другой классный бот с внушительного объема сценарием позволяет за 10 шагов создать увлекательную историю или сказку – каждый раз с разным финалом.

И конечно, текстовые квесты и нарративные игры для ВКонтакте, Телеграма и Алисы. Еще среди чатботов на Aimylogic встречаются виртуальные помощники для записи посетителей в парикмахерскую или в фитнес-центр, чатботы-консультанты по услугам маркетингового агентства и загородной недвижимости, бот для приема спортивных ставок и бот, записывающий показатели артериального давления, HR-ассистенты, голосовой навык для выбора начинки для шавермы.

Часть пятая. Как команда полюбила догфудить

Глядя на пользователей, креативить начали и мы сами. Эта часть о том, как вообще рождаются идеи для чатботов и навыков.
Дима: «Йога для глаз», например, – просто обалденный навык, та вещь, за которую не стыдно. На хакатоне Google в преддверии вывода русскоязычного Google Ассистента нужно было придумать сценарий, который важно реализовать именно в голосовом канале. Ну и, соответственно, понять, почему на диалог нельзя именно смотреть. Я каждый день делаю зарядку для глаз. Так и родилась «Йога для глаз».

И я понял, что мне нужен бот для расчета коммунальных услуг. Андрей: «Мой арендодатель каждый месяц запрашивает показания счетчиков. Бот рассчитывает оплату по тарифам и сам отправляет данные хозяйке квартиры. И создал такой сценарий в Aimylogic. Еще я создал навык для записи на занятия по волейболу – правда, пока аудитория, которая ходит играть, не готова использовать Алису».

Но меня не оставляет мысль сделать бота, который как минимум узнает об идее от пользователя, уточняет базовую потребность и заносит все это на нашу доску продуктовых идей! Глеб: «Текущие каналы сбора фидбэка от пользователей нас пока устраивают. :)». А если еще потом научить его оценивать сложность и продуктовую ценность?

Оказывается, в том, чтобы отстоять свои права, нет ничего сложного – вовсе не обязательно иметь юридическое образование, но придется бесконечно копаться в куче всякой документации, в постановлениях и поправках, чтобы написать юридически грамотное обоснование с указанием того или иного нарушения. Дима: «А вот мне прямо-таки нужен бот, который бы быстро находил нужную информацию в юридических документах. Но чтобы бороться регулярно, нужно искать, читать, тратить массу сил и времени. Я однажды потратил свое время, но завернул способ расчета каких-то коммунальных платежей, придуманный управляющей компанией. Если бы кто-то сделал бота, которому можно было рассказать, что за проблемная ситуация возникла, а он бы выдавал подборку документов, которые могут помочь ее разрулить, я бы им обязательно пользовался».

Например, утром ассистент зовет тебя на пробежку, ты его игнорируешь, а он настойчиво приводит хорошие аргументы и напоминает, что ты обещал. Андрей: «Было бы круто, если бы Алиса или другой виртуальный помощник мог сам заводить с тобой диалог, мотивировать тебя что-то делать и, что важно, работать с возражениями. Но пока, к сожалению, Алиса не может «просыпаться» сама, без команды».

Часть шестая. Ура, релиз!

Итак, на этой неделе Aimylogic отправился из беты в открытый космос. Что это значит? Для продукта – зрелую функциональность и новые приключения (например, выход на международный рынок). Для пользователей – новые крутые фичи вроде возможности переводить диалог на оператора прямо в чате с ботом.

Вот так:image

Теперь пользователи смогут сами решать, какая подписка им интересна и выгодна – расширенная для бизнеса или специальная для девелоперов. И конечно, это означает линейку тарифов с разнообразными сценариями работы в Aimylogic. Но зато можно создать бота, показать его заказчику, провести совместное тестирование и перевести бота в аккаунт заказчика – где уникальных юзеров будет уже не 100, а 50 000. В девелоперском тарифе, например, доступны абсолютно все фичи продукта, однако максимальная аудитория бота сильно ограничена. Еще можно пользоваться Aimylogic совершенно бесплатно, но с лимитированным количеством каналов для подключения и числом уникальных посетителей.

Aimylogic в цифрах и фактах

  • Самые популярные сценарии, созданные в Aimylogic, – это «Йога для глаз» с 80600 уникальных юзеров и игра «Да, милорд!», в которую сыграли 51500 человек!
  • 266000 человек воспользовались ботами и навыками, созданными в Aimylogic, на начало февраля
  • 2800 ботов и голосовых навыков работает на Aimylogic. Из них 400 имеют постоянный трафик
  • Вебхуки – тул, который любят все. И пользователи, и наша техподдержка. В чате пользователей Aimylogic слово «вебхук» прозвучало 150 раз
  • Мы спросили у пользователей, сколько времени они тратят в среднем на создание бота: оказалось, от 30 минут до 14 дней. Но все же лучший ответ звучал так: «Если не учитывать документацию, то минут за 5 сделал, еще минут 10 ушло, чтобы прикрутить события бота с событиями в игровом движке. Тут я вам больше скажу, я умудрился объяснить, как работает ваш инструмент, ребенку которому 4 года. И он практически сам собрал простого бота».
  • ∞ – Количество чашек кофе, выпитых нашими разработчиками за время, пока Aimylogic был в бете. И это только кофе!
Теги
Показать больше

Похожие статьи

Добавить комментарий

Ваш e-mail не будет опубликован. Обязательные поля помечены *

Кнопка «Наверх»
Закрыть