Хабрахабр

«Машинный звук»: синтезаторы на базе нейросетей

Разработчики из исследовательского проекта Magenta (подразделение Google) представили синтезатор с открытым исходным кодом NSynth Super. В его основе лежит система искусственного интеллекта, которая миксует несколько предварительно загруженных сэмплов (например, звучание гитары и пианино) в новый звук с уникальными характеристиками.

Подробнее о системе NSynth Super и других алгоритмах-композиторах расскажем далее.


Фото Ta Da CC

Подробнее об NSynth Super

Синтезатор NSynth Super имеет сенсорный дисплей, на котором отображается квадратная «рабочая поверхность». Музыкант выбирает несколько инструментов, звучание которых будет использоваться для создания нового звука, и назначает их углам этого квадрата.

Результирующий сэмпл будет представлять собой комбинацию исходных звуков в разных пропорциях (в зависимости от близости курсора к тому или иному углу). Во время выступления исполнитель управляет воспроизводимым звуком, перемещая указатель в пределах рабочего поля.

Он обучался на 300 тыс. Новые сэмплы синтезируются при помощи алгоритма машинного обучения NSynth. В его работе также применяется модель WaveNet. инструментальных звуков при помощи открытых библиотек TensorFlow и openFrameworks.

Для генерации новых сэмплов NSynth анализирует 16 характеристик входящих звуков. Затем они линейно интерполируются для создания математических представлений каждого аудиосигнала. Эти представления декодируются обратно в звуки, которые имеют объединенные акустические качества тех, чтобы ли на входе алгоритма.

Как работает NSynth Super вы можете посмотреть в этом видео. Использовать NSynth Super можно с любым MIDI-источником: например, DAW, синтезатором или секвенсором. В нем исполнитель «смешивает» звуки ситара, электрического фортепиано и др:

NSynth Super — экспериментальный инструмент, потому не будет продаваться как коммерческий продукт. Однако его код и схема сборки выложены на GitHub.

Кто еще использует МО для создания музыки

В проекте Magenta работают и над другими технологиями, связанными с машинным обучением. Одна из них — модель MusicVAE, которая может «смешивать» мелодии. На её основе уже создано несколько веб-приложений: Melody Mixer, Beat Blender и Latent Loops. MusicVAE (и другие модели от Magenta) собраны в открытой библиотеке Magenta.js.

Например, в Sony Computer Science Laboratories реализуют проект Flow Machines. Над алгоритмами для создания музыки работают и другие компании. Примером его работы может быть музыка для песни Daddy’s Car в стиле The Beatles. Их система ИИ способна анализировать различные музыкальные стили и использовать эти знания для создания новых композиций.

В рамках проекта Flow Machines создано несколько приложений, например, FlowComposer, помогающий музыкантам писать музыку в заданном стиле, и Reflexive Looper, самостоятельно дополняющий недостающие инструментальные партии. При помощи решений Flow Machines даже записали и выпустили музыкальный альбом Hello World.

Он разрабатывает инструмент для создания композиций с заданным настроением и темпом. Еще пример — стартап Jukedeck. Вот пример композиции, созданной алгоритмами машинного обучения Jukedeck: Компания продолжает развивать проект и приглашает к сотрудничеству разработчиков и музыкантов.

Похожий инструмент создает компания Amper. Пользователь может выбрать настроение, стиль, темп и продолжительность композиции, а также инструменты, на которых она будет «сыграна». Приложение синтезирует музыку в соответствии с этими требованиями.

Они разрабатывают алгоритмы, способные писать оригинальные поп-песни. Над системами ИИ для написания музыки работает и компания Popgun. В прошлом году компания открыла лабораторию в Париже, которая будет заниматься созданием инструментов на базе систем ИИ. Также исследования в этой сфере проводит стриминговый гигант Spotify.

Заменит ли ИИ композиторов?

Хотя некоторые компании разрабатывают алгоритмы для создания музыки, их представители подчеркивают, что эти инструменты призваны не заменить музыкантов и композиторов, а наоборот, дать им новые возможности.

Саузерн использовала инструменты от Amper, IBM, Magenta и AIVA. В 2017 году американская певица Тэрин Саузерн выпустила альбом, записанный с помощью систем искусственного интеллекта. По её словам, этот опыт был похож на работу с человеком, который помогает создавать музыку.

Нейронные сети лучше, чем люди, справляются с классификацией объектов. При этом с алгоритмы машинного обучения могут использовать не только композиторы, но и другие специалисты из музыкальной индустрии. Эту особенность могут использовать музыкальные стриминговые сервисы для определения жанров песен.

Более того, при помощи алгоритмов машинного обучения можно «отделить» вокал от аккомпанемента, создавать музыкальные транскрипции или сводить треки.

Кстати, если вам нравится читать о звуке в микроформате — наш Telegram-канал:

Удивительные звуки природы
Как услышать цвет
Песни воды

И нарративы в нашем блоге на «Яндекс.Дзен»:

4 известных человека, которые увлекались музыкой
11 интересных фактов из истории бренда Marshall

Теги
Показать больше

Похожие статьи

Добавить комментарий

Ваш e-mail не будет опубликован. Обязательные поля помечены *

Кнопка «Наверх»
Закрыть