Хабрахабр

Ученые нашли участок мозга человека, отвечающий за высоту тона нашей речи

В июне команда ученых из Калифорнийского университета в Сан-Франциско опубликовала исследование, которое проливает свет на то, как люди меняют высоту тона в своей речи.

Результаты этого исследования могут быть полезными в создании синтезаторов естественно звучащей речи — с эмоциями и различными интонациями.

Об исследовании — в нашей сегодняшней статье.


Фото Florian Koppe / CC

Как проходило исследование

Команда ученых Калифорнийского университета за последнее время провела целую серию экспериментов. Она изучает взаимосвязь различных участков мозга и органов речи. Исследователи пытаются узнать, что происходит в мозге во время разговора.

Работа, о которой идет речь в статье, сосредоточена на участке, контролирующем гортань, в том числе и в момент изменения высоты тона.

Он работает с пациентами, страдающими эпилепсией, — проводит операции, которые предотвращают судороги. Ведущим специалистом в исследовании выступил нейрохирург Эдвард Чанг (Edward Chang). За активностью головного мозга некоторых своих пациентов Чанг следит с помощью специального оборудования.

Подключенные датчики позволяют следить за их нейронной активностью во время экспериментов. Команда набирала добровольцев для своих исследований именно из этой группы пациентов. Этот метод, — известный как электрокортикография, — помог ученым найти область мозга, отвечающую за изменения высоты тона.

От этого менялся смысл фразы. Участников исследования просили повторять вслух одно и то же предложение, но делать акцент каждый раз на разных словах. Вместе с тем менялась и частота основного тона — частота колебаний голосовых связок.

Этот участок в моторной зоне коры отвечает за мышцы гортани. Команда обнаружила, что нейроны в одном участке мозга активизировались, когда пациент повышал тон. Исследователи стимулировали электричеством нейроны в этом участке, на что мышцы гортани отвечали напряжением, а некоторые пациенты при этом непроизвольно издавали звуки.

Это вызывало ответную реакцию нейронов. Участникам в ходе исследования также включали запись их собственных голосов. Это может дать представление о том, как мозг участвует в подражании чужой речи — позволяет менять высоту тона и другие характеристики, чтобы пародировать собеседника. Из этого члены команды сделали вывод, что данная область мозга принимает участие не только в изменении частоты основного тона, но и в восприятии речи.

Пригодится в разработке голосовых синтезаторов

Журналист Робби Гонсалес (Robbie Gonzalez) из издания Wired полагает, что результаты исследования могут пригодиться в протезировании гортани и позволят пациентам, лишенным голоса, «заговорить» более реалистично. Это подтверждают и сами ученые.

Однако они не могут расставлять акценты, как это делал бы человек со здоровым речевым аппаратом. Синтезаторы человеческой речи — например, тот, которым пользовался Стивен Хокинг, — способны и сейчас воспроизводить слова, интерпретируя нейронную активность. Из-за этого речь звучит неестественно, и не всегда понятно, задает ли собеседник вопрос или же делает утверждение.

Есть предположение, что в будущем синтезаторы речи смогут анализировать нейронную активность в этом участке и на основе полученных данных выстраивать предложения естественным образом — подчеркивать высотой тона нужные слова, интонационно формировать вопросы и утверждения в зависимости от того, что хочет произнести человек. Ученые продолжают исследовать участок мозга, отвечающий за изменение частоты основного тона.

Другие исследования речевых моделей

Не так давно в лаборатории Эдварда Чанга провели еще одно исследование, которое способно помочь в разработке голосообразующих аппаратов. Участники зачитывали сотни предложений, в звучании которых использовались почти все возможные фонетические конструкции американского английского языка. А ученые следили за нейронной активностью испытуемых.


Фото PxHere / PD

Внимание уделяли словам, в которых за одной и той же твердой согласной следуют разные гласные. В этот раз предметом интереса стала коартикуляция — то, как работают органы речевого тракта (например, губы и язык) при произнесении разных звуков. При произнесении таких слов губы и язык часто работают по-разному — в результате различается и наше восприятие соответствующих звуков.

Мы знаем, что язык принимает разные положения в зависимости от того, каким будет следующий звук в слове, при этом существует огромное количество таких звуковых сочетаний — это еще один фактор, делающий звучание человеческой речи естественным. Ученые не только определили группы нейронов, ответственные за конкретные движения органов голосового тракта, но и установили, что речевые центры мозга координируют движения мышц языка, гортани и других органов речевого тракта, полагаясь на контекст речи — то, в каком порядке произносятся звуки.

Изучение всех вариантов коартикуляции, контролируемых нейронной активностью, также сыграет роль в развитии технологий синтеза речи людей, которые потеряли способность говорить, но нейронные функции которых сохранились.

Наличие в речи интонаций и акцентов представляет трудность и для этой технологии. Для помощи инвалидам используются и системы, работающие по обратному принципу, — инструменты на базе ИИ, которые помогают преобразовывать речь в текст. Их присутствие мешает алгоритмам искусственного интеллекта распознавать отдельные слова.

Их система использует базу произношений CMUdict и возможности рекуррентной нейронной сети. Сотрудники Cisco, Московского физико-технического института и Высшей школы экономики недавно представили возможное решение проблемы для преобразования в текст американской английской речи. Таким образом, по своему звучанию речь приближается к разговорному американскому английскому, без четко выраженных региональных или этнических «следов». Их метод заключается в автоматической предварительной «очистке» речи от «лишних» призвуков.

Будущее речевых исследований

Профессор Чанг в будущем хочет исследовать и то, как работает мозг людей, которые говорят на наречиях китайского языка. В них вариации частоты основного тона могут существенно изменить смысл слова. Ученым интересно, как люди воспринимают разные фонетические конструкции в этом случае.

Команда теперь должна научиться угадывать, какую частоту тона выберет говорящий, анализируя его нейронную активность. Бенджамин Дихтер (Benjamin Dichter), один из коллег Чанга, считает, что следующий шаг — пойти дальше в понимании связи «мозг-гортань». Это — ключ к созданию синтезатора естественно звучащей речи.

Ученые полагают, что в ближайшее время такое устройство выпустить не удастся, но исследование Дихтера и команды приблизит науку к тому моменту, когда аппарат искусственной речи научится интерпретировать не только отдельные слова, но и интонации, а значит, добавлять в речь эмоции.

Больше интересного о звуке — в нашем Telegram-канале:

Как зазвучали Звездные войны
Необычные аудиогаджеты
Звуки из мира кошмаров
Кино на пластинках
Музыка на работе

Теги
Показать больше

Похожие статьи

Добавить комментарий

Ваш e-mail не будет опубликован. Обязательные поля помечены *

Кнопка «Наверх»
Закрыть