Хабрахабр

Банковские рейтинги. Участвовать нельзя исправить

Люди любят рейтинги. Сколько приложений, игр и прочего уже сделано во имя желания человека быть в каком-то списке на пару строчек выше, чем кто-то еще. Или чем конкурент, например. Добиваются мест в рейтинге люди по-разному, в зависимости от мотивации и морального облика. Кто-то попытается стать лучше и честно перешагнуть с места #142 на #139, а кто-то решит занести денег и радостно занять #21 (потому что верхние 20 занесли еще больше).

Сегодня мы поговорим о банках и рейтингах, в которые эти банки стремятся попасть. С компаниями всё примерно так же. В этом посте я расскажу про общие проблемы с исследованиями, которые есть у нас в стране, о практической разнице между количественными и качественными тестированиями, и о том, как мы пытались исправить сложившуюся ситуацию.
А в конце статьи сюрприз.

Но сначала немного матчасти. Началось всё с того, что год назад мы начали тестирование пяти банков для юридических лиц, выбрав пару стильных-молодежных (Модульбанк и Тинькофф Банк) и три классических (ВТБ, Райффайзенбанк и Промсвязьбанк).

Банковские рейтинги в РФ

На рынке есть довольно мало игроков, которые делают юзабилити-рейтинги для банковской сферы. А именно целых два — Markswebb и USABILITYLAB.

С одной стороны, это хорошо, так как само наличие хоть чего-то соревновательного задаёт общую движуху на довольно неповоротливом в этом плане рынке. И получилось так, что MW и UL стали сейчас своеобразным KPI. И мотивация тут со стороны банковских топов уже заключается не в том, чтобы сделать офигенный продукт, который взлетит и принесет кучу пользы пользователям, благодаря чему и займет место в рейтинге, а в том, чтобы просто быть в рейтинге. С другой стороны, всё сводится по большей части к функциональному анализу.

Плюс, тебя в команде вроде как любят, помог банку попасть в рейтинг. Твой банк есть в рейтинге = ты выполнил KPI = ты получил премию. В общем, кто во что горазд, но мотивация по большому счёту это вот такие «премии» разного рода, а не движение в сторону улучшения продукта. Кому-то это искренне чешет ЧСВ.

Около 98% пользователей банковских приложений про эти рейтинги не знают совсем. И тут в плане значения таких рейтингов для рынка важно понимать ещё вот что. Эти рейтинги именно для менеджеров и руководства. Им откровенно пофиг. Однажды мы тестировали сайты банков с этими плашками про первые места. Остальные 2% про рейтинги знают, но считают их покупной темой.

Человеку проще кинуть клич по знакомым или в ФБ, кто каким банком пользуется и чем доволен / не доволен, и ограничиться этим в части социального капитала. Люди не выбирают банк для бизнеса на основе того, есть на сайте банка плашка с логотипом того или иного рейтинга или нет.

Чтобы создать рейтинг, надо провести исследование, и здесь обычно всё ограничивается исследованием одной конкретной функции, скажем, тестируют валютный контроль. Начнем с создания рейтинга.

Чтобы делать это качественно, надо хорошо вкладываться — портрет предпринимателя для тестирования стоит дороже, чем среднестатистический пользователь. А исследования стоят денег, причем денег довольно ощутимых. Притом, что у нас рынок исследований почти пустой: этому не учат в вузах, не учат в школах. Поэтому компании, которые пытаются построить свою выручку только на исследованиях как на основном и единственном виде деятельности, несут ощутимые затраты.

Допустим, у нас в рейтинге 20 банков. К слову, о деньгах, чтобы были понятны цифры. Дольше проводить тест на одном респонденте не имеет смысла, потому что полтора часа — это граница, после которой внимание уже рассеивается, да и люди банально устают и начинают отвечать уже что угодно, лишь бы поскорее пойти перекусить и выдохнуть наконец. У каждого надо исследовать топ-7 функций и сценариев, затратив примерно 1,5 часа времени.

Людей из базы банка для такого исследования брать сложно и долго, поэтому остаётся рекрут. Так вот. И то, если на одном человеке будет тестироваться не один банк 5-7 сценариев для 20 банков означают, что надо набрать минимум 140 респондентов.

А вот портрет предпринимателя-экспортёра с валютным контролем обойдется где-то в 13 тысяч. Стоимость одного такого респондента варьируется в пределах 5-10 тысяч рублей, тут есть четкая зависимость от портрета, скажем, ИП-одиночка будет стоить довольно недорого, тысяч 5.

Прикинем самый простой и дешевый сценарий, по 5000 рублей за респондента, и получим неиллюзорные 700 000 рублей. Итого, выходит 140 человек, которым надо заплатить за участие в исследовании. Обычно же эта цифра приближается к 1 400 000. Минимум, да. Впору бы своё рекрут-агентство открыть 🙂

Кроме денег, есть более ценный ресурс — время. И это только для основных сценариев использования банка. Провести тесты с 30 респондентами и не сойти с ума можно за 2 недели. Его тоже тратится с большой такой горочкой сверху. 140 человек = 2,5 человеко-месяца. В месяц обычно получается примерно 60 встреч, если хочется сохранить качество интервью.

После всех респондентов надо потратить ещё около 2-х месяцев, чтобы привести информацию в удобоваримый вид — транскрибировать результаты, провести анализ и группировку, сделать красивую презентацию, а не итоговый файлик в экселе на кучу строк.

И это мы еще налоги не посчитали. В общем и целом, получается примерно 4 месяца работы и 2-3 миллиона рублей, учитывая все затраты в этот период. Если ты не зарабатываешь на самом рейтинге и местах в нём вместо исследований, само собой. А при условии, что зарабатывать на самих исследованиях пока особо никому не удается, такая модель, очевидно, выглядит не самой прибыльной.

Количественные и качественные исследования, функциональный анализ

Презентации MW — это примерно 60% про функциональный анализ и 40% про юзабилити. Причем понятие «функциональный анализ» в случае с такими исследованиями это просто чеклист наличия тех или иных функций. Ты садишься, пишешь список функций — так, должна быть нормальная платёжка, плюс платёжка по фото, а еще из файла, проверка контрагента, последние контрагенты или платежи и прочее. Потом проводишь анализ и проверяешь, есть ли там функции из списка или нет. Если есть — отлично, ставишь галочку, плюс в рейтинге. Если нет — ну вы поняли.

Но, увы, скатывается к тому, что плюсом и галочкой при таком тестировании является просто наличие функции в списке, а не её качество или вообще необходимость для пользователя. Звучит логично. Ну вот как двойная камера у Яндекс.Телефона. Так мобильные приложения стали скатываться к тому чтобы запихнуть в себя всё, чтобы соответствовать рейтингу, а не не то, что нужно пользователю. Но есть. Она-то есть, но, говорят, не работает. А не то, насколько она удобна и нужна пользователю. Итого получается, что 60% значимости такого рейтинга это просто сама галочка, есть ли функция или нет.

Кроме функционального анализа есть еще количественные и качественные исследования.

Вы набираете побольше респондентов, прогоняете их по интерфейсу приложения, даете базовые задачи и на выходе просто спрашиваете, как оно в целом и какие проблемы были. Количественные usability-исследования будут очень кстати, если вы хотите поставить тесты на поток.

Все мысли и вопросы, которые возникают у людей, все непонятные для них тексты и элементы. Качественный же usability-тест гораздо сложнее – тебе нужно вытянуть восприятие всего процесса и буквально всех элементов в процессе методом Think Aloud. И все первопричины – а почему непонятно, а как ты ожидаешь, чтобы было названо, а какое слово держишь в голове?

Зная первопричины восприятия, ты не просто говоришь:
Люди это не нашли – непривычное размещение.

Ищет по слову «Поиск», а у нас «Введите», ищет иконку лупы, а у нас кнопка «Искать».
А ты понимаешь, как надо изменить:
Пользователь ищет этот элемент не внизу как мы его разместили, а в верхнем правом углу экрана.

Скажем, «Юзер не осилил найти Поиск». Если резюмировать, то после количественного юзабилити-теста у вас на выходе будет список проблем в его самом общем виде. А просто не осилил – этот тест не даст ответа. Почему не осилил?

В случае с Поиском — у вас будет сценарий, пользователь расскажет, как именно искал Поиск, какие элементы он ожидал увидеть и где, какие именно слова приходили ему на ум, когда он не нашел Поиск, и прочее. А после качественного теста у вас будет и проблема, и её первопричина.

Когда у вас появляется первопричина проблемы и её подробное описание, вы уже можете что-то исправить, изменить интерфейс так, чтобы он соответствовал ожиданиям пользователей и решал возникающие у них проблемы.

Вместо задания и опросника нужно обучить человека, который будет проводить такие тесты. Само собой, качественные стоят дороже. На это уходит около 3-6 месяцев. Взять человека с правильным бэкграундом, ввести его в сферу, которую исследуете. Готовых спецов на рынке единицы – то есть практически нет.

На рынке до сих пор к этому относятся как к какой-то эфемерной сущности, считают, что покупают просто презентацию, а не решение проблемы. Но даже если нормально провести все эти тесты, мы получим следующую ситуацию — в стране не знают, что делать с этими исследованиями и отчетами.

Что дальше? Потому что получается: заказал банк тестирование, получил в ответ какую-то поверхностную презентацию, которую непонятно, как применить или «мы всё это и сами знали». Потому что люди не знают, что делать с этой презентацией, как использовать её, чтобы улучшить продукт, как превратить описанные в ней выводы в новые интерфейсы, которые уже не будут такими проблемными. А ничего, положить её в стол и радоваться, что она есть. Если не давать глубины и первопричин возникновения проблем, то и не понять, как работать с проблемами.

Всё совсем грустно?

Вообще — довольно грустно, да, но это не значит, что ситуацию нельзя исправить. Нашей целью было хорошо исследовать те вещи, в которых у нас уже была неплохая экспертиза. Например, про работу платёжек в приложении, у нас была определенная статистика по ней. Мы хотели взять главные сценарии и не просто прочекать их на «Есть — Нет», а понять, какие именно у людей возникают проблемы, на каких этапах, и вообще — почему они возникают.


Распределение по основным сценариям юрлиц

Это может быть набор барьеров, который не сильно зависит от самого банка, просто подача какой-то функции сделана для людей не очень понятно.

Мы полагали, что можно будет потом продать эти подробные исследования, и заодно потестировать общий спрос на них. И, само собой, мы хотели сделать объемное исследование, а не сравнить пару банков между собой.

Само собой, первый блин у нас получился с парой комочков.

Спойлер — он выжил. Мы всё же попытались взять все сценарии и пройти их с одним респондентом. Но мы ещё раз подтвердили тезис о том, что через полтора часа надо всё сворачивать и запускать другого. Возможно, теперь сильно реже пользуется банковскими приложениями. Поэтому мы перешли с глубокого тестирования всех фич на то, чтобы посмотреть, как люди находят те или иные функции, на что обращают внимание, как воспринимают структуру главной страницы.


Распределение по использованию платформ у физлиц

Надо как минимум иметь счёт в банке, чтобы понимать, как там все работает. Когда ты тестируешь банковские приложения, ты не можешь просто взять и запустить их в гостевом режиме, чтобы сделать выводы. Если тестируешь еще и валютный контроль и прочие радости, понадобятся валютные счета и немного афобазола. А в случае с банком для предпринимателей нужен живой счет, с историей, с заведенной там компанией. Остаток не может быть пустым, история транзакций должна быть серьезнее, чем «закину себе со счета на счет 200 р, посмотрим, как оно».

Мы думали, что зарегать счета во всех исследуемых банках и завести деньги на них будет довольно быстрой задачей.

Со стороны банков, да. Иногда все затягивалось на пару недель. И это мы еще тестировали 5 банков, а было бы их 20?

Поэтому из первого блина на второй заход мы пошли уже с более отточенной методологией. Но понять для себя распределение основных функций и количество каких-то единичных и непопулярных мы смогли. Это правда важнее, чем кажется, когда ты подаёшь подобную информацию. А еще в команде появился дизайнер, что вывело сами презентации на новый уровень.

Когда мы делали исследование по четырем банкам для физических лиц, мы его не продавали. Итогом работы стали презентации на 100+ слайдов. Купили у нас это 7 раз (банки из топ-5 и несколько компаний, которые продавали банкам разработку и дизайн), мы не давали какую-то рекламу, кроме постов в Facebook. А вот первое исследование, по банкам для предпринимателей — продавали, чтобы посмотреть, насколько рынку это интересно в принципе.

— Но вы же сами писали, что это верный способ выйти в минус!

Отличный способ, да, если занимаешься только исследованиями. Зарабатываем мы прежде всего проектированием и дизайном.

У нас часто спрашивали, мол, ребята, вы чего, разместили такую штуку в бесплатном доступе, оно же денег стоит? Исследования для нас — это возможность формировать рынок, потому что, как видите, его почти нет. Сейчас, чтобы просто посмотреть образец подобных исследований, их надо купить. Но благодаря этому мы можем показать сообществу, какими в принципе исследования могут быть. Ну или попросить у того, кто купил.

Чтобы рынок тоже понимал, что такое исследование. Мы публикуем их просто так. Чтобы возникло общее понимание — исследования могут быть качественными, и из них можно получать пользу и понимание что с этим дальше делать. Чтобы клиенты, которые заказывают исследования где-то ещё, могли хоть с чем-то сравнивать и валидировать качество того, что им продают другие компании. Поэтому пока пытаемся изменить ситуацию вот так – сформировав понимание, что можно получать лучший результат Нас на самом деле немного коробит, что с образовательной частью в плане исследований у нас в стране грустно.

И тут уже плюс не только в том, что к нам приходят клиенты. А кроме образовательного аспекта, такие исследования и их публикация — это неплохая возможность сгенерировать лиды. Еще несколько лет назад мы бы реально подумали — вот блин, слизали нашу тему и пошли делать что-то свое. Недавно по одному из наших постов начали прототипировать банк из топ-3.

Поэтому мы будем делать такие исследования и дальше, качественно тестируя уже отдельные смысловые блоки приложений, а не просто весь продукт в целом по какому-то чеклисту. А теперь думаем — круто, к нам прислушиваются, и действительно стараются сделать продукты лучше и ближе к пользователю.

И потом, когда 3-4 раза за 2 года исследуешь открытие счёта в банке для предпринимателей, у тебя вырисовывается идеальный процесс, каким он может быть в условиях текущих технических ограничений. Внутри команды нам это даёт повышение экспертизы — не идти во тьме, а понимать, как меняются основные сценарии и потребности людей (а они за 1-2 года меняются, представьте).

И необходимость нового рейтинга, основанного на качестве продукта, уже назрела. И ситуация вида «Захотел в рейтинг — заплатил за рейтинг — попал в рейтинг» всё-таки поднадоела.

А для тех, кто дочитал до конца статьи, вот две ссылки на исследование банков для юрлиц и исследование банков для физлиц.

Теги
Показать больше

Похожие статьи

Добавить комментарий

Ваш e-mail не будет опубликован. Обязательные поля помечены *

Кнопка «Наверх»
Закрыть