Главная » Hi-Tech » Концепт нового дизайна Siri для iOS с фоновым режимом голосового помощника

Концепт нового дизайна Siri для iOS с фоновым режимом голосового помощника

После работы над моей версией дизайна для Youtube и концепцией macOS я решил взяться за свою любимую платформу — iOS.

Впервые своими глазами я увидел его, сидя в ресторане с тетёй (да, той самой, у которой стоял огромный iMac в гостиной). В 2009 году мои знакомые вряд ли знали про iPhone: новое устройство ещё не достигло берегов Франции. Она привезла iPhone с собой, и я провёл со смартфоном весь вечер.

Помню, как сильно поразился тому, насколько легко с ним управляться и как быстро я привык к функции мультитач — экран реагировал на несколько касаний сразу.

Вернувшись домой, уже через несколько месяцев я умолял родителей купить мне смартфон от Apple и в итоге получил на день рождения чудесный iPhone 3G. Раньше сенсорные экраны были неподатливы (приходилось реально приложить усилия, чтобы сделать хоть что-то) и явно не так приятны в обращении.

В нем не было важных функций вроде видеокамеры или MMS, но мне было всё равно: пользоваться им оказалось невероятно удобно, в этом плане Apple оставила конкурентов далеко позади, а у App Store был большой потенциал для развития.

На этот раз я хочу презентовать обновление, от которого я был бы в восторге, появись оно на WWDC. Спустя почти десять лет iOS стала намного лучше, и теперь каждый год все с нетерпением ждут новой версии с набором новых функций.

Позвольте представить вам iOS Mogi.

Это Моджи, прекрасная рыбацкая деревушка рядом с Нагасаки, Япония. Я сделал это фото в прошлом году

«Эй, Сири, помоги мне»

Суть не в том, чтобы добавить новые команды, я хочу переосмыслить существующие и уже хорошо работающие запросы вроде «найди мне хороший ресторан поблизости» и «покажи мне снимок Японии, который я сделал в прошлом году» — так, чтобы они стали более удобными. Первая часть концепции сосредоточена на Siri.

Идея в том, чтобы голосовой помощник был ненавязчивым (он не будет занимать весь экран, как это происходит сейчас), понимал контекст и мог работать в фоновом режиме, пока пользователь занят другим приложением. В iOS Mogi работа Siri построена вокруг концепции, которую я назвал «параллельная помощь».

Поскольку образы точнее слов, вот простой пример.

Использование Siri в «Сообщениях». Переписка: «Вау! Такое крутое фото!» — «Да, сам знаю. Сделал его по пути домой. Была невероятно яркая ночь». — «Подожди, у меня тоже есть пара классных фото! Давай покажу!» В это время пользователь просит Siri: «Покажи мне фотографии из Японии». — «Я нашла 2614 фотографий из Японии».

Когда вы используете приложения, Siri принимает форму уведомлений, чтобы не быть такой назойливой (если вызвать её с главного экрана или экрана блокировки, она откроется в полноэкранном режиме).

Siri в iOS Mogi

Результат появляется в виде уведомления от Siri, так что я могу продолжить заниматься своими делами, голосовой помощник не отрывает меня. В этом примере я прошу Siri показать мне фотографии из Японии, потому что хочу скинуть одну из них моему другу Яннику. Я могу провести вниз по экрану, чтобы посмотреть результат и выбрать фото, которое хочу отправить.

Выбор фото перед отправкой

Или я могу напрямую перетащить изображение из развёрнутого уведомления в приложение (наконец вносим вклад в функцию «перетаскивание» в iPhone).

Перетаскивание фотографии из Siri в «Сообщения». Для отмены нужно перетащить объект за пределы экрана

Если уведомление остаётся без внимания, оно сжимается и уходит наверх.

Сжатие уведомления

Его можно открыть снова, проведя вниз по экрану (позже мы к этому вернёмся).

Открываем Siri повторно. Последний запрос появляется снова

Новая Siri удобна тем, что результаты запроса можно использовать в других приложениях.

При переключении между приложениями результат запроса остаётся доступным, и мы можем использовать его снова

Вот несколько примеров того, что можно достичь с новой Siri. Я считаю, что разработка новой ненавязчивой Siri откроет широкие возможности для её использования, что сильно выделит голосовой помощник от Apple среди конкурентов благодаря глубокой интеграции в ОС.

Ответ на запрос «найди рестораны поблизости». Нужно нажать на уведомление, чтобы получить дополнительную информацию, или перетащить его, чтобы поделиться информацией с кем-либо. Сдвиньте вниз, чтобы увидеть другие рестораны. Перевод сообщений: «Я сегодня свободен!» — «Класс! Где хочешь поесть? Я в нетерпении».— «Не знаю… Ресторан, куда ездили в прошлый раз, слишком далеко. Давай подберем что-нибудь поближе». Siri: «Вот что я нашла: Aki, японская кухня, в двухстах метрах от вас».

На часах 8:50, встреча с Крэйгом назначена на 9:00 в кампусе Apple, пользователь явно не успевает. Сообщение от Siri: «Вы опаздываете на встречу с Крэйгом. Отправить ему сообщение?». Это проактивная Siri. Если, проверив адрес, Siri обнаружит, что вы опаздываете, она появится на экране и предложит варианты действий. В этом случае можно нажать на уведомление, чтобы отправить SMS Крэйгу, или сдвинуть вниз, чтобы связаться с ним с помощью другого приложения для обмена сообщениями.

С помощью iOS Mogi можно попросить Siri показать страницы из одного приложения, пока вы работаете в другом. И это ещё не всё. Можно вставить фото из переписки с другом в iMessage в email, оставаясь в окне набора сообщения.

Запрос: «Открой мою переписку с Янником». С новой Siri можно открыть свою переписку, не отрываясь от набора сообщения по электронной почте.

Это положит начало настоящей многозадачности, и я думаю, что такое решение больше подходит для мобильных устройств, чем вертикальное разделение экрана на две половины.

«Эй, Сири, я хочу…»

Чувствуешь разочарование, когда после нескольких попыток отправить сообщение с помощью Siri плюешь на всё и начинаешь вводить текст вручную.

Больше никакого блуждания по интерфейсу, просто начните свой запрос со слов «я хочу…», и Siri поможет, не сворачивая приложения, которое вы используете. В iOS Mogi вместо того чтобы полностью полагаться на Siri, вы можете с её помощью ускорить процесс.

Запрос: «Я хочу написать Яннику»

Эта функция работает и на экране блокировки.

Запрос: «Эй, Сири, я хочу написать Яннику». Siri: «Хорошо, я не подсматриваю». С помощью Siri можно написать Яннику сообщение с экрана блокировки.

«Эй, Сири, прокрути вниз немного»

Одна из них — Siri actions. Ненавязчивая Siri открывает новые возможности.

Всё от касания до прокрутки можно сделать, отправив голосовой запрос. Siri actions даёт возможность заменить сенсорные жесты на голосовые команды. Так я могу попросить Siri прокрутить вниз мой список альбомов и открыть “High as Hope” от Florence and the Machine.

Навигация в приложении Apple Music с помощью Siri

Теперь же, когда я пишу email, то могу попросить Siri изменить получателя, добавить подпись или даже изменить шрифт. Если бы Siri занимала весь экран и не учитывала контекст, совершить эти простые действия было бы невозможно.

Редактирование сообщения при помощи Siri. Разговор с Siri: «Выдели последний абзац жирным». — «Хорошо, выделила». — «Поставь деловую подпись». — «Хорошо, подпись реального профи».

С Siri actions навигация в ОС стала бы простой как никогда раньше. Я думаю, это незаменимый инструмент для людей с ограниченными возможностями. Даже для людей без ограниченных возможностей новая функция была бы очень полезна: можно управлять телефоном, когда заняты руки, или просто облегчить себе некоторые действия (как в примере выше с написанием email).

Можно зайти ещё дальше с помощью ARKit 2, которая достаточно точно может фиксировать движения глаз (но давайте в рамках этой концепции не будем уходить так далеко).

Разработчик Apple управляет Iphone X с помощью технологии, которая позволяет фиксировать траекторию движения глаз

Сделать Siri ненавязчивой — лишь шаг вперёд в этом направлении. Я думаю, добавление Siri actions согласуется с изначальной идеей Siri как голосового помощника, который должен помочь пользователю совершать простые действия голосом.

Откройте фотографию и скажите Siri «сохрани это фото», чтобы сохранить его. Siri actions предоставляет новую возможность: сохранение элементов из одного приложения для использования их в другом.

Разговор с Siri: «Сохрани это изображение». — «Окей, положу к себе в сумочку».

Откройте другое приложение и перетащите туда фотографию из уведомления от Siri.

Перетаскивание сохранённого фото в Medium

Это работает и при копировании-вставке.

Пользователь выделил текст и нажал «копировать». Текст уведомления от Siri: «Просто нажмите сюда, чтобы вставить текст в текущее приложение. Вы можете…» Когда элемент скопирован, он появляется в уведомлении от Siri и может быть использован в другом приложении. Сдвиньте вниз уведомление, чтобы увидеть все скопированные вами элементы, будь то текст, изображение или email.

Можно также перетащить элемент в нужное место. Просто нажмите на скопированный текст, чтобы вставить его в открытое приложение.

Вставка элемента из «Заметок» в Medium

Вы можете попросить Siri показать все сохранённые элементы с помощью соответствующего запроса.

Текст уведомления: «Здесь всё, что вы сохранили». Скажите «покажи мои сохраненные элементы», и Siri выведет их на экран. Вы можете перетащить их в приложение или нажать на элементы, чтобы отредактировать перед использованием.

После использования элементы удаляются из списка.

А что, если мы применим тот же принцип ненавязчивой многозадачности для других программ? Для новой Siri на этом всё. Что это нам даст? Новые сенсорные жесты и голосовые команды можно использовать где-нибудь ещё. Прежде чем развернуть эту мысль, посмотрим, как их можно применить в конкретном приложении, в котором я лично провожу много времени: Apple Maps.

Apple Maps

Хотя оно не всегда точное, особенно здесь, во Франции, Apple Maps восхитительно спроектировано. Прошу не кидать в меня камнями, но мне реально нравится приложение Apple Maps. Неудивительно, что подобное решение начало появляться в других приложениях вроде Lyft. Разместить навигационную панель внизу экрана, как это было представлено в iOS 10 после редизайна приложения, — блестящая идея.

И всё же есть одна вещь, которая раз за разом доставляет неудобство — приложение недостаточно учитывает контекст, особенно это касается систем общественного транспорта.

Часто маршрут начинается там, куда я просто не могу добраться; в этом случае Apple Maps становится бесполезным. Если я еду на поезде и пытаюсь построить новый маршрут, Apple Maps не знает, что я в вагоне, и предлагает маршруты, основываясь только на текущем местоположении, в то время как должно учитывать и местоположение, и мою транспортную линию.

В Apple Maps есть пути сообщений, возможно, приложение могло бы просто сверять моё местонахождение с маршрутами общественного транспорта. Конечно, должны быть способы, с помощью которых Apple Maps определит, что я еду по конкретной ветке. Как только алгоритм определит, что я еду, скажем, по ветке Кэйо в Токио, вот что может произойти.

Всплывающее окно: «Вы на линии Кейо?». Apple Maps обнаруживает, что пользователь едет в общественном транспорте

Его можно закрыть сдвигом вниз или, если вы правда на Кэйо, но едете в другую сторону, можно сдвигать влево или вправо, пока не найдёте своё направление. Всплывающее окно может спросить пользователя, действительно ли тот движется по Кэйо. После подтверждения от пользователя Apple Maps создаст новые маршруты, основываясь на полученной информации.

После того как пользователь подтвердил транспортную линию и направление пути, приложение начинает строить маршруты, в которых текущая ветка будет начальной точкой

Маленькая чёрная кнопка с поддержкой 3D Touch в реальном времени отразит ваше местоположение на линейной схеме.

Линейная схема остановок, на которой можно увидеть своё местоположение в реальном времени

Дело в том, что у iOS мало возможностей держать пользователя в курсе того, что происходит прямо сейчас. Почему я внезапно заговорил об Apple Maps и как это связано с предыдущей частью статьи? Разработчики придумали пару-тройку трюков, но они больше похожи на хаки, о которых я расскажу позже.

Думаю, пользователям было бы интересно отслеживать своё местоположение на маршруте, пока они заняты чем-то другим вроде игры в телефоне или электронной книги, и должна быть возможность быстро вернуться в Apple Maps (или другое приложение для навигации), не задействуя App Switcher или возврат на домашний экран.

Решение проблемы — Live Notifications («живые» уведомления).

Live Notifications или мультизадачность для мобильных устройств

Сначала обратим внимание на то, как iOS пытается показать пользователю, что приложения работают в фоновом режиме.

Таймер; телефонный звонок или Facetime; движение по маршруту

Карты; режим модема; когда записывается видео с экрана или включён диктофон

Я не включил в список музыкальный плеер, потому что он работает удобно и я не вижу причин что-либо в нём менять. И на этом всё.

Когда ждёшь доставщика еды? А как же ситуация, когда к вам едет Uber? Или когда мы едем в общественном транспорте и хотим отслеживать своё движение по маршруту? Когда видео воспроизводится на Youtube или Netflix?

Тем не менее возможности ограничены несколькими родными приложениями, и ничего нельзя сделать, не открыв одно из них. Здорово, что Apple сделали легкодоступными телефонные звонки и маршруты Apple Maps — в строке состояния или на экране блокировки.

В то время как приложения должны быть доступны где угодно и когда угодно, чтобы не приходилось ради них отрываться от других дел, вдобавок некоторые плохо интегрированы в систему и странно отображаются.

Для подобных ситуаций нужно найти более элегантное решение, которое будет доступно и для сторонних приложений тоже. Они больше похожи на непродуманное решение, которое скорее «взламывает» систему, чем является полноценной функцией.

«Живые» уведомления разработаны в качестве такого решения.

Вот как можно будет отслеживать своё передвижение по векте. Вернёмся к примеру с чтением книги в метро с помощью Apple Book.

Отслеживание маршрута без отрыва от чтения книги с помощью «живого» уведомления. Если некоторое время не взаимодействовать с синей панелью, она исчезнет. Также в «живом» уведомлении вместо названия приложения может отображаться полезная информация (в этом примере “Apple Maps” изменено на “Using Keiō Line”).

Чтобы узнать своё местоположение на маршруте, пользователю достаточно немного сдвинуть вниз маленькую панель вверху экрана.

Чтобы открыть центр уведомлений, нужно сдвинуть её дальше.

Рассматривайте жест как вариацию этого из iOS 10: вы слегка сдвигаете вниз верхнюю часть экрана и чувствуете тактильную обратную связь, которая даёт понять, что «живое» уведомление открыто, и если сдвинуть ниже, откроется центр уведомлений. Вот и всё, не сворачивая Apple Books, пользователь может узнать, на каком отрезке маршрута он едет, чтобы не пропустить свою остановку.

Если вы помните, это те же жесты, что я предложил для управления Siri. Эти жесты должны быть вам знакомы. Так что все представленные ранее жесты подходят и для Live Notifications. Фактически в iOS Mogi Siri — это «живое» уведомление.

Он может взаимодействовать с развёрнутым «живым» уведомлением. В этом случае пользователь может сдвинуть вниз «живое» уведомление, чтобы посмотреть своё местоположение на карте в реальном времени.

«Живое» уведомление открыто и показывает позицию на карте в реальном времени. Лично я никогда не считал удобным расположение 3D Touch элемента вверху экрана. Предпочитаю старый добрый сдвиг вниз, особенно теперь, когда смартфоны от IPhone стали длиннее, чем когда-либо. Тем не менее 3D Touch уведомления в центре уведомлений имеют смысл, так как там с ними легче взаимодействовать.

Пользователь может нажать на «живое» уведомление как на обычное уведомление, чтобы открыть соответствующее приложение.

Касание открывает Apple Maps

Теперь они похожи на мини-приложения. «Живые» уведомления — это естественная эволюция Rich Notifications, представленных в iOS 10.

Пользователю не нужно давать специальные команды. Что заставляет «живое» уведомление появиться? Вот что происходит, когда «живое» уведомление активируется. Приложение само определяет, когда отобразить его, в зависимости от ситуации.

Секундомер в виде «живого» уведомления

Приложение сжимается до «живого» уведомления, чтобы известить пользователя, а затем становится маленькой панелью вверху экрана, чтобы не быть назойливым.

Вот несколько примеров того, как приложения, работающие в фоновом режиме, могут быть отражены системой с помощью «живых» уведомлений.

Телефонные звонки. Заметьте, что панель может менять свой цвет в зависимости от типа приложения (зелёный для звонков по мобильной связи или Facetime, синий для навигации и так далее)

Благодаря «живым» уведомлениям Uber может в режиме реального времени сообщать о том, когда приедет водитель, даже если само приложение не открыто. Заметьте, разработчики могут изменить стиль «живого» уведомления под дизайн приложения

Проверка маршрута с помощью Google Maps, не выходя из «Заметок» («Заметки» на заднем плане, а «живое» уведомление показано в развернутом виде)

«Живое» уведомление «Читаю сейчас» от Medium

«Живые» уведомления можно также использовать, чтобы быстро чем-то поделиться.

«Живое» уведомление «Читаю сейчас» от Medium появляется, хотя приложение закрыто. Можно поделиться статьёй с помощью перетаскивания

То же самое со скриншотами.

Делимся скриншотами перетаскиванием

Когда активно сразу несколько «живых» уведомлений, они группируются в стиле iOS 12.

Запущено несколько «живых» уведомлений сразу

Их порядок легко изменить с помощью перетаскивания, так что вы можете разместить самое важное «живое» уведомление поверх других.

Нажмите на сгруппированные «живые» уведомления и переставьте их в нужном порядке. Можно просто просмотреть список, не внося изменений

И конечно, «живые» уведомления доступны прямо на экране блокировки, вам будет легко свериться с маршрутом.

Чтение статьи на Medium в поезде, идущем по Кэйо. Разработчики сами могут решить, должны ли «живые» уведомления их приложений показываться на экране блокировки в развёрнутом виде по умолчанию, как в случае с маршрутами, где важно указать направление. (Я немного обновил стиль экрана блокировки в соответствии с новым более смелым стилем iOS.)

iOS Mogi — это третий вариант концепции, которую я начал разрабатывать два года назад (тогда же я начал работать над macOS Newton). На этом всё. В то время она называлась iOS Fuji.

Хотелось чего-то более мобильного, и я надеюсь, вы посчитаете «живые» уведомления шагом вперёд в этом направлении. С самого начала я хотел найти элегантный способ привнести в телефоны мультизадачность, ведь разделение экрана на две части никогда ею не было.

#дизайн


Оставить комментарий

Ваш email нигде не будет показан
Обязательные для заполнения поля помечены *

*

x

Ещё Hi-Tech Интересное!

Первая искусственная роговица, напечатанная на 3D-принтере, уже готова для трансплантации

Она очень легко подвержена травмам и различным заболеваниям, в результате которых человек может лишиться зрения. Роговица — это крайне важная, но очень хрупкая часть нашего органа зрения. Потому что одна из медицинских компаний, занимающихся вопросами 3D-биопечати смогла создать готовую к ...

Суд постановил заблокировать сайты «Кэшбери» из-за жалобы прокуратуры на финансовую пирамиду

Суд постановил заблокировать сайты «Кэшбери» из-за жалобы прокуратуры на финансовую пирамиду — Финансы на vc.ru Свежее Вакансии… Написать Уведомлений пока нет Пишите хорошие статьи, комментируйте,и здесь станет не так пусто Войти Первомайский районный суд Ростова-на-Дону признал информацию, опубликованную на сайтах ...