Hi-Tech

Стрит-арт-художник создал приложение для рисования при помощи дополненной реальности

Ему удалось набрать 150 тысяч пользователей без расходов на маркетинг, стать партнёром Huawei и привлечь Покраса Лампаса в качестве амбассадора

В закладки

Продукт

SketchAR — приложение, которое учит рисованию с помощью дополненной реальности.

Пользователь выбирает эскиз, который накладывается поверх чистого листа бумаги, а затем обводит линии, пока не получится готовый рисунок.

За работой следит виртуальный помощник — он комментирует действия пользователя, шутит и даёт советы вроде «а вот эту линию стоило бы сделать потолще».

Со временем советы становятся более индивидуальными — наблюдая за руками художника, ассистент «учится» и определяет уровень его навыков.

Он предназначен для более удобного переноса готовых рисунков на стену, и в нём нет пошагового сопровождения. Кроме того, у SketchAR есть режим для рисования на вертикальных поверхностях.

Затем наводит камеру на участок стены и фиксирует шаблон: линии останутся неподвижными, даже если смартфон перемещать в пространстве. Процесс выглядит так: сперва пользователь выбирает изображение (или фото) на устройстве, и оно преобразуется в эскиз.

Рисование на вертикальных поверхностях доступно для устройств, которые поддерживают библиотеку ARKit (iOS) или ARCore (для Android, в прошлом она называлась Google Tango).

  • iPhone от модели 6S и выше, iPad и iPad Pro 2017 и 2018.
  • Huawei P20, P20 Pro, Mate 20 Mate 20 Pro, а также Lenovo Phab 2 Pro или Asus ZenFone AR (как первые прототипы смартфонов, способные работать с дополненной реальностью).
  • Microsoft Hololens.

Режим рисования на горизонтальных поверхностях поддерживают все современные смартфоны.

Команда

SketchAR — продукт родом из технопарка Вильнюса, но за ним стоит команда с российскими корнями.

В 2008 году он открыл агентство Art Family Group — разрабатывал брендирование, типографику, а позже — интерфейсы для мобильных приложений. Андрей (Adno) Дробитько — дизайнер, стрит-арт-художник и ИТ-предприниматель.

Предприниматели развивали платформу, которая адаптировала сайты СМИ для мобильных устройств — вёрстка статей становилась похожей на журнальную, а реклама встраивалась нативно. Три года спустя он вместе с партнёрами Александром Данилиным и Антоном Прониным запустил свой первый стартап Kula Tech.

А в 2013 году — $1,5 млн от Farminers и фонда IMI. Kula Tech прошёл акселерационную программу в бизнес-инкубаторе Farminers и привлёк $150 тысяч. VC.

По данным РБК, выручка Kula Tech составляла $30 тысяч в месяц, однако компания не приносила прибыль. В 2014 году платформу использовали 14 изданий, включая российские Maxim, Elle, Marie Claire и английский Burda.

Из-за возросших курсов валют многие издания обанкротились, а оставшиеся — сократили рекламные бюджеты. В 2015 году Kula Tech пришлось закрыть. «Поскольку основным источником выручки для нас была реклама, у нас тоже всё благополучно загнулось», — поясняет Дробитько.

Вспомнил об идее, над которой размышлял ещё в 2012 году, — создать приложение для стрит-арт-художников, которое помогало бы рисовать с помощью дополненной реальности и упрощало бы процесс. Он стал думать, чем заниматься дальше.

В то время его остановило то, что смартфоны были недостаточно мощными, чтобы обрабатывать видео с камеры в режиме реального времени.

Их поддержал прежний инвестор — фонд IMI. В 2016 году он предложил своему бывшему партнёру Александру Данилину запустить новый проект — SketchAR. Подробности и распределение долей Дробитько не раскрывает. VC, который вложили в проект €150 тысяч под новые условия.

Однако предприниматель понимал, что этого недостаточно: разработка алгоритмов для компьютерного зрения потребует фундаментальных знаний в области математики. После закрытия Kula Tech в новую компанию Дробитько перешли 10 из 20 сотрудников, включая Android- и iOS-разработчиков.

«Как правило, хорошие квалифицированные исследователи не ищут работу, тем более не ходят по специальным сайтам. Он решил найти таких специалистов и столкнулся с проблемой. Таких людей нет ни на HeadHunter, ни в “Моём Круге”, и HR до них достучаться не могут», — рассуждает сооснователь SketchAR.

Дробитько повезло — он познакомился с одним разработчиком, который занимался исследованиями в области компьютерного зрения и писал кандидатскую работу по этой теме в одном из университетов на юге России.

Они разработали ядро системы. Он познакомил предпринимателя со своими коллегами по исследовательской группе, и Дробитько предложил молодым учёным присоединиться к проекту.

«В SketchAR было больше исследовательской работы, чем разработки».

Первоначально Дробитько собирался создавать продукт для профессиональных художников, чтобы они могли рисовать эскизы и переносить их на стены. Разработка SketchAR началась летом 2016 года.

Александр Данилин (слева) и Андрей Дробитько

Однако после исследования рынка он заметил, что в некоторых странах (например, в Китае, России и Франции) один из самых высокочастотных поисковых запросов — это «научиться рисовать».

Тогда он решил в первую очередь сфокусироваться на массовой аудитории и разработать продукт на стыке онлайн-обучения, искусства и развлечений.

По данным Дробитько, к 2021 году объём рынка дополненной реальности составит до $130 млрд, а рынка онлайн-образования к 2022 году — до $280 млрд.

Технология

Видео с камеры смартфона, которое отображается на экране, — это последовательность из множества статичных кадров.

Чтобы отобразить эскиз рисунка в дополненной реальности на лист бумаги, нужно:

  • Получить входящий видеопоток.
  • Считать с каждого кадра координаты листа бумаги.
  • Обработать координаты и вычислить положение эскиза относительно листа.
  • Наложить эскиз.
  • Всё это в режиме реального времени — то есть алгоритм должен работать настолько быстро, чтобы успеть обработать за секунду 24–30 кадров.

По словам Дробитько, когда команда приступила к разработке ядра, компьютерное зрение было исследовано не очень хорошо.

Библиотека OpenCV, которая использовалась при разработке проектов в сфере дополненной реальности, хорошо определяла лица и распознавала текст, чуть хуже — объекты.

Рисование предполагает, что камера пользователя смотрит на белый лист бумаги — и вот тут алгоритмы компьютерного зрения оказались бессильны: они не могли оценить расстояние до объекта и рассчитать координаты в пространстве.

Представьте, если приложить трубку к глазу и через неё посмотреть на белый лист бумаги, вы никогда не сможете сказать, на каком расстоянии от вас он находится — потому что человеческое зрение оценивает дистанцию до предметов относительно окружения.

То же самое верно и для камеры смартфона — чтобы оценить угол обзора, дальность объекта и все остальные вещи, необходима информация об окружении.

Он применяется в таких библиотеках для работы с компьютерным зрением, как Vuforia и Kudan. Впрочем, есть альтернативный вариант — поместить на поверхность заранее распечатанную метку (например, QR-код), которая станет точкой отсчёта.

Однако Дробитько понимал, что пользователи не будут тратить время на печать QR-кодов: им нужно предложить такое решение, которое будет работать моментально.

«К тому же многие наверняка хотели бы нарисовать картину и повесить её в рамку — а распечатанный QR-код испортил бы впечатление», — рассуждает предприниматель.

В итоге команда SketchAR написала собственную библиотеку для работы с компьютерным зрением, которая способна распознавать рукописные метки на листе бумаги и строить относительно них координаты для расположения эскиза.

В первой версии приложения пользователю перед началом работы требовалось нарисовать на листе пять кругов — три сверху, один — слева, один — снизу.

Однако затем Дробитько заметил, что пользователи испытывают трудности уже на этом этапе, и круги заменил на крестики.

В ноябре 2018 года в SketchAR появились виртуальные помощники — анимированные персонажи, которые учат рисовать и дают советы.

Для внедрения этой функции команда использовала машинное обучение и нейросети — чтобы приложение не просто «видело», но «понимало», что именно происходит в кадре.

Нейросеть оценивала: Система училась, анализируя видео пользователей (которые дали на это согласие).

  • как именно рисуют люди;
  • на какой бумаге;
  • при каком освещении;
  • как они держат карандаш;
  • есть ли в кадре посторонние предметы и так далее.

Благодаря этим данным помощник может определять процент законченности рисунка, навык пользователя, насколько хорошо он справляется (например, оценивая толщину линии и различия между эскизом и получившимся изображением) и многое другое.

Кроме того, информация о том, в каких условиях рисуют пользователи, позволила увеличить точность расположения эскиза в дополненной реальности.

Мы можем отличить десятки и сотни видов столов, мы знаем, на какой бумаге рисуют люди, сколько и какие предметы могут быть на столе, как они держат карандаш и так далее

Но на самом деле люди рисуют под лампами на мятой бумаге и с бардаком на столе. Мы могли бы учить нейросеть «в парниковых условиях», где на кадрах хорошее освещение и идеально ровная бумага.

Это одна из ценностей нашего продукта: если кто-то из конкурентов захочет его скопировать, им придётся потратить такое же количество времени, потому что обучение — длительный и линейный процесс.

Благодаря машинному обучению команда SketchAR смогла разработать трекинг объектов в дополненной реальности, для которого не нужны маркеры.

Упрощённо: система проецирует эскиз на ровную поверхность, оценивая оттенки белого, а когда пользователь начинает рисовать — привязывает его к этим линиям.

Изображение не «скачет», даже если в объективе нет никаких объектов, кроме белого листа бумаги, а также при тусклом освещении

То есть в дополненной реальности пользователь её видит, а алгоритм, который отвечает за проекцию изображения, — нет. Для этой технологии разработчики создали нейросеть, которая «вырезает» руку из кадра.

В результате он скакал бы по всему листку. В противном случае рука перекрывала бы нарисованные линии, а алгоритмы «забывали», относительно чего проецировать эскиз в дополненной реальности.

Благодаря технологии безмаркерного трекинга эскиз лягушки остаётся стабильным, хотя художник перекрывает до 60% поверхности. При этом приложение не использует библиотеки ARKit и ARCore

Безмаркерный трекинг появится в SketchAR в апреле-мае 2019 года.

Продвижение

По словам Дробитько, у SketchAR около 150–170 тысяч активных пользователей, которых удалось привлечь без расходов на маркетинг и продвижение.

Команда решила показать возможности продукта и собрать обратную связь от пользователей. MVP SketchAR было готово к декабрю 2016 года.

Но помнили про первое правило стартапа — если ты запустился и у тебя всё работает, то ты запустился слишком поздно. Мы понимали, что выпустим приложение, которое не будет полностью готово.

Дробитько снял демовидео, которое «ничего не объясняло», а только намекало на возможность рисовать в дополненной реальности, сделал лендинг и опубликовал информацию о приложении на платформе Product Hunt.

Он не ждал особенного ажиотажа — ему было любопытно протестировать платформу и собрать обратную связь.

А потом проснулся посреди ночи от звука уведомлений. Вечером я всё это проделал и спокойно лёг спать.

В тот момент я, конечно, мягко говоря, удивился — ведь реальный запуск планировался только через четыре месяца. В ту ночь к нам зашли на сайт и подписались около 5000 человек, и мы собрали первые 800 голосов на Product Hunt.

Мы взлетели, стали продуктом дня на Product Hunt, а потом — заняли второе место в номинации «Лучшие AR-приложения года».

После этого с предпринимателем связались корреспонденты американских ИТ-изданий, включая Gizmodo, Fast Company и другие, а также представители 10–15 венчурных фондов.

Получив положительную обратную связь, команда продолжила разработку и весной 2017 года представила первую публичную версию приложения.

Они стали приводить приложение в качестве примера использования собственной технологии ARKit, и благодаря этой поддержке количество пользователей также росло. После публикаций о SketchAR узнали представители Apple.

Сейчас SketchAR сотрудничает с Huawei: компания открыла разработчикам доступ к API своей новой платформы HiAI Foundation, которая (помимо прочего) увеличивает быстродействие смартфонов при распознавании изображений.

По словам Дробитько, он заметил, что скорость работы SketchAR на флагманских устройствах Huawei (P20 и Mate) выросла на 20%, по сравнению с другими Android-смартфонами.

Это также помогает увеличивать количество пользователей. Кроме того, благодаря сотрудничеству стартап бесплатно посещает крупные ИТ-события (вроде прошедшей конференции Mobile World Congress в Барселоне).

Поскольку Дробитько много лет занимается стрит-артом, он знаком со многими современными художниками (например, с Покрасом Лампасом).

Начав разработку приложения, он предложил им стать амбассадорами проекта — то есть они первыми получили возможность использовать AR в работе в обмен на обратную связь.

«Работа с профессиональными художниками — это та история, когда один человек вдохновляет тысячу», — рассуждает Дробитько. Кроме того, художники рассказывали о необычном приложении своим подписчикам, что также выливалось в рост количества установок.

Монетизация

В бесплатной версии пользователь может рисовать по контурам готовых эскизов. SketchAR зарабатывает благодаря фримиум-модели. Чтобы открыть доступ к виртуальному помощнику и системе обучения, необходимо приобрести подписку: она стоит $3,5 в месяц или $15 на всю жизнь.

Из них 30% пользуются пожизненным тарифом, а 70% — ежемесячным. По данным Дробитько, из 150–170 тысяч активных пользователей подписку приобрели около 2% (от 3-3,5 тысяч человек).

Пока что сервис не вышел на окупаемость и компенсирует операционные расходы за счёт инвестиций: «Такие истории самостоятельно не делаются — чтобы никто не думал, что похожий продукт можно сделать в гараже», — рассуждает Дробитько.

Например, развивает сотрудничество с брендами. Компания продолжает экспериментировать с моделью монетизации. В ноябре 2018 года SketchAR провёл мероприятие для французского отделения компании Universal Pictures, посвящённое премьере мультфильма «Гринч».

Во-вторых, на премьере в Париже компания предложила детям и родителям нарисовать персонажей фильма на специальных стенах с помощью SketchAR и шлема дополненной реальности Microsoft Hololens. Во-первых, в приложении появились брендированные эскизы с главными героями картины.

«Для обычных людей это что-то сверхъестественное — они видят голограмму на стене, обводят её и видят настоящее искусство здесь и сейчас», — рассказывает Дробитько.

По словам Дробитько, выход на окупаемость — приоритетная задача для проекта, но гораздо больше его интересует развитие технологии распознавания сложных поверхностей, поскольку её потенциальное применение выходит далеко за пределы творчества и рисования с помощью SketchAR. Это мероприятие принесло SketchAR €30 тысяч.

Сейчас разработчики устройства готовятся внедрить безмаркерный трекинг: «Это фундаментальная вещь, которая повлияет на всё — выручку, лояльность пользователей, порог входа», — заключает Дробитько.

Мнение эксперта

Но для этого нужна определённая сноровка, так как поначалу это очень непривычно — одной рукой держать смартфон, а второй рисовать, смотря через экран телефона. SketchAR — хороший пример реализации простой и понятной идеи с помощью AR.

Возможно, специальная насадка на камеру и стенд для телефона, как у проекта Osmo, сильно бы улучшили опыт взаимодействия с приложением.

Максим Козлов

руководитель AR- и VR-лаборатории «Сбербанка»

Показать больше

Похожие статьи

Добавить комментарий

Ваш e-mail не будет опубликован. Обязательные поля помечены *

Кнопка «Наверх»
Закрыть