Hi-Tech

Как мы делали нейросеть для прогнозов на TI 8, батлили с GOSU, схватили бан на Reddit, и чем это всё закончилось :D

Если кто вдруг не в курсе, то недавно завершился крупнейший турнир по Dota2, The International 8, на котором сошлись лучшие команды со всего мира в борьбе за почёт, уважение и 25 000 000 долларов.

И за месяц до турнира начали клепать тематический контент в соц. Moremmr.com как проект посвященный Dota2 сие событие проигнорировать не могли. Однако, наша радость была бы неполной, если б мы не попробовали сделать что-то помасштабнее. медиа, закидывать соответствующую инфографику на Reddit и сайберспорт и т.п. Однако, все вышло немного не так.... В итоге, мы решили запустить конкурс прогнозов с призами и собственную машину предсказаний, собрать 100500 миллионов трафа и быть довольными собой.

Откуда взялась идея делать нейросеть с предсказаниями матчей и зачем она нам вообще нужна?

Но давайте обо всём по порядку... На самом деле, нейросеть у нас уже была.

Автоматический анализ ошибок игроков

Первой нашей аналитической разработкой стал сервис “Анализ матчей“, который автоматически находит ошибки в матчах наших пользователей.

После этого формируем пользователю рекомендацию. Мы выделили 24 вида распространенных ошибок и научились находить их в логе событий игры, который получаем из реплея матча.

В рекомендации мы показываем примерную оценку, на сколько процентов снизилась вероятность выигрыша из-за каждой ошибки. Каждая рекомендация индивидуальна, имеет несколько подвидов, учитывает героя, роль, линию и т.д.

Всего в месяц нашей платформой анализируется более 10 000 000 игр пользователей (Статистика за Июль)

Например, вот анализ ошибок одного из наших сммщиков

“Мама, смотри, я Миракл” или “Сеть вторая”

Мы подумали: а чем мы хуже? В прошлом году у GOSU зашла фишка, которую они делали для Epicenter XL: они показывали, на кого из игроков турнира ты похож. И запустили собственный сервис сравнения с PRO, только уже под TI8 ( а потом и вовсе решили интегрировать в продукт, так что теперь это постоянно обновляемая фича в “анализе матчей”)

Пользователь загружает игру, мы сравниваем её с играми PRO и выдаем результат типа “каким полководцем ты был в прошлой жизни :D” Так родился сервис “Кто ты из ПРО-игроков?”.

Всего в сравнении участвует 200 PRO-игроков, при этом было выгружено около 100 000 матчей PRO-игроков (включая паблик игры, дабы увеличить выборку). Мы взяли игры участников предстоящего TI8 и топ-50 команд по рейтингу ЭЛО.

Сравнение строится на двух группах параметров:

  • Финальная статистика игрока: KDA, GPM, XPM, общяя ценность и т.д. - Мы включили их в выходной вектор признаков.
  • Финальный закуп. Чтобы корректно сравнить два закупа, отдельно обучили нейросеть, перегоняющую айтем билд в числовой вектор, и уже он включался в финальный вектор признаков. На выходе получили вектор размерности ~30.

Пример анализа похожести

Данная функция развлекательная, однако пользователь может посмотреть, чем отличалась его игра от ПРО, сделать выводы, которые улучшат его игру.

Самый лучший Оракул на MoreMMR

С вышеизложенным багажом мы принялись создавать нашу машину прогнозов.

Модель обучалась предсказывать вероятность победы по определенным показателям матча. Собственно, если кратко, то было выгружено порядка 2 000 матчей с официальных турниров. Учитывались как и командные взаимодействия, так и индивидуальные показатели каждого игрока.

Страница прогнозов moreMMR-AI и конкурса.

Итак, у нас есть:

  • AI, который предсказывает все результаты плей-офф.
  • конкурс среди подписчиков, которые соревнуются как с AI, так и между собой за призы ( кстати, спонсорам огромное спасибо, очень оперативно и с энтузиазмом к нам присоединились ФОНБЕТ, Warp и HyperX)
  • Ну и вполне себе рабочий маркетинг, для вовлечения широких масс 😀

Дальше началось веселье!))

А вот с новыми пользователями всё сложилось драматичнее, ВК и ФБ однозначно трактовали наш спецпроект как “беттинг” и блочили рекламу. Аудитория moremmr.com с энтузиазмом отправилась предсказывать исходы, обсуждать это в социалках и т.п.

Тут спас существенно выросший CTR, что не мудрено, реальные призы на халяву мотивируют невероятно 😀 Что ж, не мытьем так катаньем, подумали мы, выделив лишних Аркан для конкурсов репостов, нагрянули в дискорд, на форумы и т.п., а безотказно работающий ютюб резко опустел и в разы просел по просмотрам.

Верно. Чего-то не хватает верно? И мы, наточив перья, принялись строчить призывные посты про наш AI и конкурс. Не хватает Redditа, где в канале Dota2 обитают полмиллиона дотеров.

Как я встретил вашу GOSU...

Мол, “роботы против людей, люди против друг друга”, AI от MoreMMR и конкурс...Все умеренно хорошо, тред понемногу растёт, а главное, не получает вагон негатива ( это победа 😀 ). И вот, мы релизим первый пост.

Однако, робкая улыбка надежды внезапно стала походить на Гарольда, когда мы увидели аналогичный тред Госу, пробивающийся в топ Хот уже часов 5.

Что ж, дней в TI 8 много, мы что-нибудь придумаем….

первый день мы выиграли))) О чём не преминули написать, а также сделать это раньше “конкурентов”. На следующий день случилось эпохальное :D, наш прогноз оказался немного лучше, чем у ГОСУ, т.е. Что привело нас уже в топ-10. Естественно, наше неравнодушное корпоративное комьюнити и подписчики нагрянули в тред, да и сторонние разгоряченные геймеры уже участвовали в обсуждении. 😀

В общем, за пару дней задача с освещением нашего AI и конкурса переросла в заочное соревнование с ГОСУ и по точности прогнозов, и по медийности)

День третий. К успеху шли, не фартануло

Вечер был томным, тред выполз на 11 место, а Reddit закатал бан на наш акк и всех причастных (и не очень) приписал туда же :(( А так хорошо всё начиналось. Что ж, окрыленные успехом мы настрочили очередной прогноз/вывод по предыдущему дню и пошли на штурм Redditа….И всё было хорошо...пока не стало плохо.

Да и объяснялась просто - особым рвением команды и друзей, которые орудовали в комментах с едва зареганных аккаунтов. Формулировка была понятна: “за манипулирование голосами и т.п.”. Усугублялось всё импульсивным финальным комментом, в котором нас распяли за то, что “мы каждый день переделываем прогнозы, дабы показать, что они на 100% верные” ( и это в теме с содержанием типа “мы угадали 3 из 5, и теперь даём новый прогноз на следующий день”). Под горячую руку попал даже наш Santa (участник The International 2011, стример), у которого, как оказалось, пустой акк, с которого он “только читал”.

Однако, баны остались. Что ж, сутки в переговорах с Reddit, и клеветнический коммент был удалён. С тех пор никакого ТОПа нам не светило ( надеюсь, что этот пост изменит ситуацию 🙂 ).

Мы потеряли аккаунт, но не честь!

Засунув все свои претензии и недовольство куда поглубже (а злиться, по сути, было не на кого, кроме себя самих, хотели-то как лучше), мы атаковали Твиттер своими прогнозами, начав, помимо постинга, активно продвигать предсказания нашего AI под теми постами, где это было уместно.

Нам и самим было интересно, чем это все закончится. Разумеется, охвата было поменьше, но тем не менее интерес к подобным прогнозам остался.

Перед последним днем обе нейросетки шли ноздря в ноздрю, у обоих искусственных интеллектов было по 12 угаданных матчей из 20. По точности прогнозов закончилось все неплохим камбеком от наших конкурентов. Однако в последний день наш AI сделал ставку на Evil Geniuses, в то время как машинка наших оппонентов предсказала победу PSG в нижней сетке и победу OG в финале.

Однако наш AI был уверен, что EG сделали выводы после поражения от OG в верхней сетке и что “Злым Гениям” под силу выиграть The International во второй раз. Душой мы конечно были за N0tail и компанию, нам всегда приятно видеть, как побеждают андердоги, на которых никто не ставил.

Итоги битвы AI:

  • Автоматический анализ ошибок игроков MoreMMR AI: 12/22 верных предсказаний
  • GOSU.AI: 14/22 верных предсказаний

Не смотря на то, что технически наш AI проиграл битву в напряженной войне, нашу команду это абсолютно не расстроило.

Во-первых, данный баттл AI изначально задумывался как развлечение, и развлеклись мы порядочно))).

Во-вторых, у нас появился отличный задел на будущие турниры и новый опыт.

В-третьих, за нашими прогнозами следило более 250 000 человек, а в конкурсе поучаствовало 6000+ участников.

Сам факт, что среди 6 000 живых участников конкурса прогнозистов наш AI занял почетное 12 место, говорит сам за себя. Оказалось, что наш AI способен предсказывать ничуть не хуже “этих жалких людишек” (смеется как робот Вертер).

АУТРО

Впереди нас ( и вас) ожидают не менее яркие и захватывающие турниры, так почему бы и не продолжить битву? В общем, мы тут подумали и решили продолжать.

Так что, GOSU, BING, и другие желающие с наличием AI, давайте запустим уж официальную битву роботов-прогнозистов?!

;):) Например, в октябре стартует очередной ESL One Hamburg...В пору уже посадить роботов за обучение !

Показать больше

Похожие статьи

Добавить комментарий

Ваш e-mail не будет опубликован. Обязательные поля помечены *

Кнопка «Наверх»
Закрыть