Хабрахабр

Как превратить графики в звук, и зачем это нужно

Диаграммы и инфографика — эти форматы представления данных часто недоступны незрячим и слабовидящим людям. Разработчики из американской компании SAS Institute постарались решить эту проблему, создав бесплатный браузерный плагин Graphics Accelerator.

Сегодня мы рассказываем о разработке SAS Institute и других кейсах, где звук помогает «видеть». Его задача — перевести графическую информацию в звуковую.


Фото takomabibelot / PD

Как работает Graphics Accelerator

Компания SAS Institute занимается разработкой программного обеспечения для статистического анализа данных. В большинстве случаев результаты этого анализа отображаются в виде графиков, поэтому слабовидящим людям было сложно работать с решениями SAS.

Исправить ситуацию взялся один из разработчиков компании — Эд Саммерс (Ed Summers), который сам потерял зрение в десять лет из-за дегенеративного заболевания глаза (у него развился пигментный ретинит).

Так появился Graphics Accelerator. Эд и коллеги создали решение, которое помогло бы слабовидящим людям использовать инфографику и диаграммы, построенные приложениями SAS, в учебных или рабочих целях. Он представляет графическую информацию — в том числе тепловые карты и круговые диаграммы — в звуковом формате. Это бесплатный плагин для Google Chrome, который использует методы сонификации.

Чем больше значение по оси Y, тем выше звук. С графиками функций инструмент работает следующим образом: пользователь двигает указатель по горизонтальной оси при помощи стрелок на клавиатуре, а Graphics Accelerator воспроизводит для каждой точки на графике ноту пианино. Как это звучит можно послушать в видеоруководстве SAS Institute.

График также сопровождается текстовыми описаниями, которые можно прослушать при помощи программы чтения с экрана. Для удобства навигации значения из левой половины графика воспроизводятся через левый динамик наушника (или колонку АС), а из правой — через правый.

Где еще используется сонификация

Человек способен «фильтровать» лишние звуки, игнорировать фоновый шум и фокусироваться лишь на нужной информации. Именно поэтому мы можем легко узнавать голоса людей в оживленной обстановке. Это свойство известно, как «эффект коктейльной вечеринки».

Например, в НАСА разработали свой инструмент для сонификации xSonify. Используя методы сонификации, нам проще концентрироваться и подмечать какие-то определенные особенности в данных, находить закономерности. Эту программу использует астроном Ванда Диаз-Мерсед (Wanda Diaz Merced), в своих исследованиях.

Во время выступления на TED, она рассказала, что с помощью программы сонификации она анализировала графики, показывающие интенсивность света звезды с течением времени, «слушая» гамма-всплески небесных тел.


Фото Antonio Roberts / CC

Исследователи из университета Айдахо и Восточного университета штата Вашингтон изучали с её помощью особенности миграции чавычи — рыб из семейства лососевых. Сонификация широко используется исследователями и из других областей. Анализируя этот состав, ученые могут понять, где побывала та или иная рыба. Когда рыба перемещается от водоема к водоему, у неё меняется химический состав отолитов, небольших твердых образований во внутреннем ухе.

Информацию представили в виде звука. Исследователи собрали данные об изменении концентрации каждого химического элемента и сравнили их между собой. Когда рыба перемещалась из одного места в другое, менялся и звук, который «издавал» отолит. Каждому элементу в отолите была назначена своя частота.

Звук помогает наглядно показать важные изменения, происходящие в мире, например глобальное потепление. Приемы сонификации используют и люди, работающие над проектами на стыке науки и искусства. Сухие числа превращаются в тревожную музыку, которая иллюстрирует повышение средней температуры на планете и уровня углекислого газа в атмосфере.

Подобные проекты создает разработчик и художник Брайан Фу (Brian Foo). При помощи сонификации он показал финансовое благосостояние жителей разных районов Нью-Йорка, уровень загрязнения воздуха в Пекине, а также гендерное и расовое разнообразие в голливудских фильмах.

Сонификация позволяет больше узнать о «невидимых» данных, которые окружают нас каждый день. Например, с её помощью можно услышать интернет. В перформансе Internet Rumbles, который провели на симпозиуме KISS2014, звуки представляли информацию об интернет-соединении устройств, находящихся в комнате. Озвучить можно и изменения в содержимом разных сайтов: подобные эксперименты проводились на основе данных с Хабра и Википедии.

Таким образом, сонификация дает возможность выйти за рамки привычной работы с информацией и взглянут на наш мир под другим, неожиданным углом.

Больше интересного о звуке — в нашем Telegram-канале:

Как услышать цвет
История бренда: Marshall
Несколько фактов об аудиокассетах
Как зазвучали Звездные войны
Куда движется музыка в VK

Теги
Показать больше

Похожие статьи

Добавить комментарий

Ваш e-mail не будет опубликован. Обязательные поля помечены *

Кнопка «Наверх»
Закрыть