Hi-Tech

Над чем сегодня работают молодые инженеры

Материал подготовлен при поддержке Microsoft

Для участия каждый проект проходил отбор в региональных соревнованиях. Компания Microsoft собрала лучшие студенческие команды в Сиэтле на международный финал своего технологического конкурса Imagine Cup.

В этом году особое внимание было посвящено когнитивным функциям машин — зрению, слуху и вкусу. Команды приехали из 33 стран и представили 49 разработок.

Благодаря новым технологиям искусственный интеллект понимает, как выглядит дым, как кричат младенцы, какой ананас на вкус, и знает, как на всё это реагировать.

Многие разработанные командами сервисы не требуют дополнительного оборудования и встраиваются в телефон, а другие представляют собой недорогие и масштабируемые решения.

Работы участников можно условно разделить на семь сфер:

Призёры конкурса

Судьи оценивали их выступления по четырём параметрам: задумка, новаторство, технологичность и осуществимость. На последнем этапе соревновались три команды. Отличительная особенность всех трёх изобретений — сочетание когнитивной функции машины, самообучаемости и облачных вычислений.

Проект smartARM, Канада — первое место

Технологии: компьютерное зрение, облачная платформа Azure, машинное обучение.

Когда перед ней что-то появляется, машина распознает этот предмет и вычисляет для него оптимальный захват. Команда из Канады представила роботизированный протез руки со встроенной камерой.

А если там связка ключей, то указательный палец «крючком» подцепит кольцо, скрепляющее ключи. При наведении камеры на кофейную кружку, пальцы подготовятся к обхвату.

С сокращением определённой мышцы, протез включается в работу и начинает распознавать предмет. Для того, чтобы рука активировалась только в подходящие моменты, на тело человека крепится дополнительный датчик.

Если машина не узнала предмет, она попробует составить его трёхмерную модель и вычислить оптимальный захват.

«Умные» протезы стоят десятки тысяч долларов, а прогнозируемая стоимость smartARM составит $100. В механизированных протезах нет ничего нового, но у этого варианта низкая себестоимость. Прототип команда распечатала на 3D-принтере.

smartARM в действии

Судьи поинтересовались, как это будет работать с плохим интернетом: рука подгрузит базу данных при первой возможности. Точность распознавания и захвата предметов будет расти с пополнением общей для всех пользователей базы данных.

Идея этого проекта достаточно интересная, и её нужно проверить на практике. Сегодня есть тенденция поиска новых форматов взаимодействия протеза и человека. С точки зрения управления протезом, не думаю, что она заменит традиционное считывание мышечных сигналов, но может стать дополнением к нему.

Это кропотливая работа, включающая обучение специалистов, ознакомительные мероприятия для медицинских сотрудников и пользователей. Для команды основная работа только начинается — нужно довести образец до серии.

Тимур Бергалиев

генеральный директор BiTronics Lab

Сервис iCry2Talk, Греция — второе место

Технологии: компьютерный слух, облачная платформа Azure, машинное обучение.

Дети кричат, когда им одиноко, больно, хочется есть, и даже когда их нужно укачать перед сном. Для грудного ребёнка плач — это возможность выразить свои потребности. Родители не всегда способны определить причину.

Они могут пройти в стрессе как для самой матери, так и для ребёнка, на потребности которого неправильно реагируют. Матерям нужно несколько месяцев, чтобы научиться понимать причину младенческого плача. Мы решили собрать записанные крики двухсот детей и предложить машине найти в них закономерности.

Анастасия Нтраха

команда iCry2Talk

Особое внимание разработчики уделили возможностям интеграции: приложение может работать, как Shazam на телефоне, а может быть встроено в «умную» колонку. Сервис греческой команды в режиме реального времени обрабатывает детский плач, чтобы понять, чем он вызван. Она включится, когда ребёнок заплачет и передаст родителю сообщение с причиной.

iCry2Talk в действии

В основе iCry2Talk лежат четыре механизма:

  1. «Денойзинг» — сервис обратит внимание только на те звуковые частоты, которые соответствуют детскому плачу.
  2. Анализ плача — алгоритм определит его характеристики: продолжительность всхлипываний, тон, громкость.
  3. Сопоставление — в базе данных будут найдены похожие крики других детей.
  4. Динамическая оценка — сервис решит, подходит ли опыт других родителей, и предложит своё решение.

На фотографии команда защищает главное отличие от них — высокую точность работы, растущую с пополнением базы данных: Идея сервиса также не нова, и у него есть конкуренты.

Сервис выбирает из пяти причин плача, и делает это верно в 89% ситуаций

Сервис Mediated Ear, Япония — третье место

Технологии: компьютерный слух, облачная платформа Azure, машинное обучение.

Для человека с нарушением слуха это может стать ещё большей преградой в общении. Шум в общественных местах мешает любой коммуникации: приходится повышать голос, прислушиваться к собеседнику.

Механика работы следующая: нужно установить сервис на смартфон и «сэмплировать» голоса родных и друзей. Сервис от японской команды способен выделить определённые голоса из окружающего шума. Другими словами, приложение запишет их голоса и выделит характерные особенности.

Обработка одной секунды разговора происходит практически в реальном времени — задержка составляет 0,6 секунды. В разговоре с людьми, голоса которых есть в базе, достаточно вставить наушники и «прибавить» собеседникам громкость.

Судьям конкурса удалось «ударить» по слабому месту сервиса — без продолжительного сэмпла, выделить голос будет невозможно.

К примеру, технология NoiseBlock от Polycom отсекает посторонние шумы по нехарактерным для голоса частотам и включает микрофон, когда распознаёт человеческую речь. Решения для понижения уровня постороннего шума нашли своё применение в устройствах для проведения конференций.

Здесь могут быть трудности, связанные с работой микрофона или плохой акустикой помещения. Mediated Ear работает наоборот и ищет частоты голоса. Но сервис может «запутаться» в похожих голосах близких родственников. Сэмплирование и машинное обучение — это интересные решения, которые лучше всего справятся с необычной манерой речи. В целом, это хорошее начало для команды.

Сергей Хомяков

вице-президент Polycom в России:

Coffee Break, команда из России

Технологии: колориметрический анализ, машинное обучение, компьютерное зрение, облачное хранение.

Участники придумали установку, которая определяет характеристики кофе без химического анализа. Россию в конкурсе представляла команда Coffee Break из МГУ. Химические сенсоры в модели тоже есть, но они нужны только для её обучения. Для этого сквозь напиток пропускается пучок света и по его преломлению и отражению определяются свойства кофе: кислотность, крепость, плотность.

Внутри неё расположена «ванночка», в которой измеряются характеристики напитка. На международный финале команда решила представить конечный продукт — «умную» кружку. В Москве участники команды отметили, что их устройство работает и с другими напитками, поэтому по приезду в Сиэтл купили ещё и пару бутылок вина.

Идея проекта — найти способ определить вкус напитка без участия человека. Есть традиционный способ понять, какое вино на вкус: пригласить сомелье и дать ему попробовать. С точки зрения бизнеса проект хорош тем, что нам под силу анализировать даже закрытые бутылки — определять контрафакт. Задача решена частично: мы научились измерять характеристики жидкостей и учим машину связывать их с субъективными человеческими ощущениями — сладость, оттенки вкуса и фруктов.

Во-вторых, наш проект сильно выделялся на фоне остальных: он скорее «куражный» и не решает социальные проблемы, а судьям это важно. Для себя определили две причины, по которым не удалось занять призовое место: во-первых, многие проекты находятся на другом этапе жизненного пути, команды давно сформировались и успели сделать больше.

У одного из участников нашей команды есть младшая сестра, и он на себе прочувствовал, насколько сложно понимать, чего хочет ребёнок. Из других проектов понравился iCry2Talk, занявший второе место.

Камеры снимают, что происходит в ульях, а машина по поведению насекомых разбирается, здоровы ли они. Ещё запомнился проект, который помогает фермерам определить улей с заболевшими пчёлами. На наш взгляд, этому проекту было под силу победить, но ему не хватило социальной составляющей, как и нашему.

В обоих этих проектах команды обращались к профессионалам: педиатрам и сиделкам, фермерам и биологам — исследовательская сторона работы вызывает уважение.

Команда Coffee Break

Игорь Балашов, Евгений Бобров и Руслан Габдуллин

Ещё несколько конкурсных проектов

Сервис Pengram, США — победитель в номинации «смешанная реальность»

Идея пришла, когда родители в очередной раз позвонили спросить, как настроить роутер, а я опять не смог им помочь.

Уилл Хуан

команда Pengram

Это может быть инженер или эксперт, который наглядно покажет сложные вещи. Сервис работает с очками виртуальной реальности, в них обзор дополняется голограммой реального человека.

Участники команды демонстрировали работу на примере починки квадрокоптера

Но основной упор студенты сделали на трансляцию голограммы в реальном времени, когда компетентный инженер дистанционно показывает, как чинить оборудование. В очках можно проигрывать предзаписанную голограмму, это поможет в обучении специалистов разных отраслей.

Сканер Pine, Малайзия

Такие приборы уже есть, но для их работы нужно вырезать кусочек фрукта и несколько минут анализировать его химический состав. Малазийские студенты взялись измерять сладость ананасов. Команда Pine это делает без нарушения целостности фрукта и гораздо быстрее.

Изобретение команды схоже с российской разработкой — свет проходит сквозь ананас, и по его спектральному отпечатку определяется концентрация сахара.

Приложение Eddie, Венгрия

Разработчики обозначили проблему: все школьники умеют пользоваться смартфоном, но в учебных программах это никто не использует. Приложение от венгерских студентов — пример законченного продукта, оно уже доступно в App Store и Google Play.

Это вовлекает младшеклассников в обучение, а взрослым ученикам помогает детальнее рассматривать сложные объекты. С помощью камеры телефона, можно распознать иллюстрацию в школьном учебнике, и на экране появится её трёхмерная модель. К примеру, строение органов, если речь идёт о студентах медицинских вузов.

Дополненная реальность для школьных учебников

Мнение эксперта Microsoft

Сейчас же сделать подобное с помощью облачных когнитивных сервисов — это дело нескольких часов на хакатоне. Несколько лет назад проект, анализирующий эмоциональную окраску твитов, был одним из лучших в России из-за своей технической сложности.

Это вовлекает в конкурс всё более молодых студентов. Мы наблюдаем стремительную демократизацию технологий, снижается порог входа для решения сложных задач. Успех сопутствует командам, которые объединяют междисциплинарные знания: предпринимательство, социологию, экономику и дизайн.

Это значительно расширяет область применения конкурсных решений. Один из главных трендов последнего времени — технология Intelligent Edge, когда обученная модель работает без подключения к интернету, и при этом точность страдает незначительно.

Такое случается нечасто, но, тем не менее, это возможно, ведь студенты могут оказаться ближе к целевой аудитории. Приятно, когда студенты предлагают для социальной проблемы нетривиальное, безумное решение, которое не приходит в голову специалисту.

Дмитрий Сошников

технологический евангелист Microsoft

О конкурсе

#партнерский

Показать больше

Похожие статьи

Добавить комментарий

Ваш e-mail не будет опубликован. Обязательные поля помечены *

Кнопка «Наверх»
Закрыть