Хабрахабр

[Перевод] Audio AI: выделяем вокал из музыки с помощью свёрточных нейросетей

Взлом музыки для демократизации производного контента

Отказ от ответственности: вся интеллектуальная собственность, проекты и методы, описанные в этой статье, раскрыты в патентах US10014002B2 и US9842609B2.

Вот бы вернуться в 1965 год, постучать в парадную дверь студии «Эбби-Роуд» с пропуском, зайти внутрь — и услышать настоящие голоса Леннона и Маккартни… Что ж, давайте попробуем. Входные данные: MP3 среднего качества песни «Битлз» We Can Work it Out. Верхняя дорожка — входной микс, нижняя дорожка — изолированный вокал, который выделила наша нейросеть.

Формально эта проблема известна как разделение источников звука или разделение сигнала (audio source separation). Она заключается в восстановлении или реконструкции одного или нескольких исходных сигналов, которые в результате линейного или свёрточного процесса смешаны с другими сигналами. У этой области исследований много практических применений, в том числе улучшение качества звука (речи) и устранение шума, музыкальные ремиксы, пространственное распределение звука, ремастеринг и т. д. Звукоинженеры иногда называют эту технику расслоением (demixing). По этой теме большое количество ресурсов, от слепого разделения сигналов с анализом независимых компонент (ICA) до полууправляемой факторизации неотрицательных матриц и заканчивая более поздними подходами на основе нейронных сетей. Хорошую информацию по первым двум пунктам можете найти в этих мини-руководствах от CCRMA, которые в своё время мне очень пригодились.

Но перед погружением в разработку… совсем немного философии прикладного машинного обучения…

Зачем? Я занимался обработкой сигналов и изображений ещё до того, как распространился лозунг «глубокое обучение решает всё», поэтому могу представить вам решение в качестве путешествия feature engineering и показать, почему для этой конкретной проблемы нейросеть оказывается лучшим подходом. Очень часто я вижу, как люди пишут что-то вроде такого:

«С глубоким обучением больше не нужно беспокоиться о выборе признаков; оно сделает это за вас»

или ещё хуже…

«Разница между машинным обучением и глубоким обучением [погодите… глубокое обучение это по-прежнему машинное обучение!] в том, что в ML вы сами извлекаете признаки, а в глубоком обучении это происходит автоматически внутри сети».

Но так обобщать нельзя. Вероятно, такие обобщения исходят из того факта, что DNN могут быть очень эффективны при изучении хороших скрытых пространств. Мол, достаточно набросать кучу необработанных данных (пусть даже после небольшой предварительной обработки) — и всё заработает как надо. Меня очень расстраивает, когда недавние выпускники и практики поддаются вышеуказанным заблуждениям и принимают подход «глубокое-обучение-решает-всё». Из-за таких заблуждений вы очень надолго застрянете в режиме экспериментов… В реальном мире нужно заботиться о таких вещах, как производительность, выполнение в реальном времени и т. д.

Как и в любой другой технике ML, в большинстве случаев именно она отличает эффективные решения уровня продакшна от неудачных или неэффективных экспериментов. Feature Engineering остаётся очень важной дисциплиной при проектировании искусственных нейронных сетей. Глубокое понимание ваших данных и их природы по-прежнему очень много значит…

Хорошо, я закончил проповедь. Теперь разберёмся, зачем мы здесь собрались! Как и с любой проблемой по обработке данных, сначала посмотрим, как они выглядят. Взглянем на следующий фрагмент вокала из оригинальной студийной записи.

Студийный вокал ‘One Last Time’, Ариана Гранде

Ну, это потому что мы визуализируем сигнал во времени. Не слишком интересно, верно? Но можно извлечь всякие другие штуки, такие как амплитудные огибающие (envelope), среднеквадратичные значения (RMS), скорость изменения с положительных значений амплитуды на отрицательные (zero-crossing rate) и т. д., но эти признаки слишком примитивны и недостаточно отличительны, чтобы помочь в нашей проблеме. Здесь мы видим только изменения амплитуды с течением времени. К счастью, на помощь приходит оконное преобразование Фурье (STFT). Если мы хотим извлечь вокал из аудиосигнала, для начала нужно каким-то образом определить структуру человеческой речи.

Амплитудный спектр STFT − размер окна = 2048, перекрытие = 75%, логарифмическая шкала частот [Sonic Visualizer]

Хотя я люблю обработку речи и определённо люблю играться с моделированием входного фильтра, кепстром, сачтотами, LPC, MFCC и так далее, пропустим всю эту ерунду и сосредоточимся на основных элементах, связанных с нашей проблемой, чтобы статья была понятна как можно большему числу людей, а не только специалистам по обработке сигналов.

Итак, что же говорит нам структура человеческой речи?

Ну, мы можем определить здесь три основных элемента:

  • Фундаментальная частота (f0), которая определяется частотой вибрации наших голосовых связок. В этом случае Ариана поёт в диапазоне 300-500 Гц.
  • Ряд гармоник выше f0, которые следуют аналогичной форме или шаблону. Эти гармоники появляются на частотах, кратных f0.
  • Невокализированная речь, которая включает согласные, такие как ‘t’, ‘p’, ‘k’, ‘s’ (которые не производятся вибрацией голосовых связок), дыхание и т. д. Всё это проявляется в виде коротких всплесков в высокочастотной области.

Давайте на секунду забудем, что называется машинным обучением. Можно ли разработать метод извлечения вокала на основе наших знаний о сигнале? Позвольте попробовать…

0: Наивная изоляция вокала V1.

  1. Определить участки с вокалом. В исходном сигнале много всего. Мы хотим сосредоточиться на тех участках, которые действительно содержат вокальное содержание, и игнорировать всё остальное.
  2. Различить вокализированную и невокализированную речь. Как мы видели, они сильно отличаются. Вероятно, их нужно обрабатывать по-разному.
  3. Оценить изменение фундаментальной частоты во времени.
  4. На основании вывода 3 применить какую-то маску для захвата гармоник.
  5. Сделать что-нибудь с фрагментами невокализированной речи…

Затем мы объединяем эту вокальную STFT с информацией о фазе исходного сигнала, вычисляем обратный STFT и получаем временной сигнал реконструированного вокала. Если мы достойно поработаем, результатом должна стать мягкая или битовая маска, применение которой к амплитуде STFT (поэлементное умножение) даёт приблизительную реконструкцию амплитуды STFT вокала.

Но ради демонстрации применим реализацию алгоритма pYIN. Делать это с нуля — уже большая работа. Пример ниже содержит выходные данные после обработки этим алгоритмом, без обработки невокализированной речи. Хотя он предназначен для решения шага 3, но с правильными настройками весьма прилично выполняет шаги 1 и 2, отслеживая вокальную основу даже в присутствии музыки.

И что...? Он вроде сделал всю работу, но хорошего качества нет и близко. Возможно, затратив больше времени, энергии и денег, мы улучшим этот метод…

Но позвольте вас спросить…

Что произойдёт, если на дорожке появится несколько голосов, а ведь это часто встречается, по крайней мере, в 50% современных профессиональных треков?

Давайте взглянем на последний припев Арианы Гранде из этой песни. Что произойдёт, если вокал обработан реверберацией, задержками и другими эффектами?

Вы уже чувствуете боль...? Я да.

Проблема слишком сложна. Такие методы на жёстких правилах очень быстро превращаются в карточный домик. Многоступенчатый подход также подразумевает, что ошибки на одном шаге распространяют проблемы на следующий шаг. Cлишком много правил, слишком много исключений и слишком много различных условий (эффекты и настройки сведения). И последнее, но не менее важное: вероятно, в конечном итоге у нас получится очень ресурсоёмкий конвейер, что само по себе может свести на нет все усилия. Улучшение каждого шага станет очень дорогостоящим: потребуется большое количество итераций, чтобы всё сделать правильно.

Но нам всё-таки придётся проявить свои умения и заняться feature engineering, и вы увидите почему. В такой ситуации пора начать думать о более комплексном подходе и позволить ML выяснить часть базовых процессов и операций, необходимых для решения проблемы.

Глядя на достижения свёрточных нейросетей в обработке фотографий, почему бы не применить здесь такой же подход?


Нейросети успешно решают такие задачи, как расцвечивание изображений, повышение резкости и разрешения

Хотя эти звуковые картинки не соответствуют статистическому распределению естественных изображений, у них всё равно есть пространственные закономерности (во времени и частотном пространстве), на которых можно обучать сеть. В конце концов, можно же представить звуковой сигнал «как изображение», используя кратковременное преобразование Фурье, верно?

Справа: только вокал
Слева: удар барабана и базовая линия внизу, несколько звуков синтезатора посередине, всё это смешано с вокалом.

Но в прикладных исследованиях я всегда стараюсь применять такой подход: сначала выявить более простую проблему, которая подтверждает те же принципы, но не требует много работы. Проведение такого эксперимента было бы дорогостоящим мероприятием, поскольку трудно получить или сгенерировать необходимые учебные данные. Это позволяет оценить гипотезу, быстрее выполнять итерации и с минимальными потерями исправить модель, если она не работает как надо.

Более простая проблема может быть такой: сможет ли нейросеть определить наличие речи на произвольном фрагменте звукозаписи. Подразумеваемым условием является то, что нейросеть должна понимать структуру человеческой речи. Мы говорим о надёжном детекторе голосовой активности (VAD), реализованном в виде бинарного классификатора.

Проектируем пространство признаков

Мы знаем, что звуковые сигналы, такие как музыка и человеческая речь, основаны на временных зависимостях. Проще говоря, ничто не происходит изолированно в данный момент времени. Если я хочу знать, есть ли голос на конкретном фрагменте звукозаписи, то нужно смотреть на соседние регионы. Такой временной контекст даёт хорошую информацию о том, что происходит в интересующей области. В то же время желательно выполнять классификацию с очень малыми временными приращениями, чтобы распознавать человеческий голос с максимально возможным разрешением по времени.

Давайте немного посчитаем…

  • Частота дискретизации (fs): 22050 Гц (мы понижаем дискретизацию с 44100 до 22050)
  • Дизайн STFT: размер окна = 1024, hop size = 256, интерполяция мел-шкалы для взвешивающего фильтра с учётом восприятия. Поскольку наши входные данные настоящие, можно работать с половиной STFT (объяснение выходит за рамки этой статьи...), сохраняя компонент DC (необязательное требование), что даёт нам 513 частотных бункеров.
  • Целевое разрешение классификации: один кадр STFT (~11,6 мс = 256 / 22050)
  • Целевой временной контекст: ~300 миллисекунд = 25 кадров STFT.
  • Целевое количество обучающих примеров: 500 тыс.
  • Предполагая, что мы используем скользящее окно с шагом в 1 таймфрейм STFT для генерации учебных данных, нужно около 1,6 часов размеченного звука для генерации 500 тыс. образцов данных

С вышеуказанными требованиями вход и выход нашего бинарного классификатора выглядят следующим образом:

Модель

С помощью Keras построим небольшую модель нейросети для проверки нашей гипотезы.

import keras
from keras.models import Sequential
from keras.layers import Dense, Dropout, Flatten, Conv2D, MaxPooling2D
from keras.optimizers import SGD
from keras.layers.advanced_activations import LeakyReLU
model = Sequential()
model.add(Conv2D(16, (3,3), padding='same', input_shape=(513, 25, 1)))
model.add(LeakyReLU())
model.add(Conv2D(16, (3,3), padding='same'))
model.add(LeakyReLU())
model.add(MaxPooling2D(pool_size=(3,3)))
model.add(Dropout(0.25))
model.add(Conv2D(16, (3,3), padding='same'))
model.add(LeakyReLU())
model.add(Conv2D(16, (3,3), padding='same'))
model.add(LeakyReLU())
model.add(MaxPooling2D(pool_size=(3,3)))
model.add(Dropout(0.25))
model.add(Flatten())
model.add(Dense(64))
model.add(LeakyReLU())
model.add(Dropout(0.5))
model.add(Dense(1, activation='sigmoid'))
sgd = SGD(lr=0.001, decay=1e-6, momentum=0.9, nesterov=True)
model.compile(loss=keras.losses.binary_crossentropy, optimizer=sgd, metrics=['accuracy'])

Это достаточное доказательство, что наша модель способна различать вокал в музыкальных звуковых фрагментах (и фрагменты без вокала). При разделении данных 80/20 на обучение и тестирование после ~50 эпох мы получаем точность при тестировании ~97%. Если проверить некоторые карты признаков из 4-го свёрточного слоя, то можно сделать вывод, что нейросеть вроде бы оптимизировала свои ядра для выполнения двух задач: отфильтровки музыки и отфильтровки вокала…

Видимо, выходные данные слева являются результатом операций ядра в попытке сохранить вокальный контент, игнорируя музыку.
Пример карты объектов на выходе 4-го свёрточного слоя. Карта объектов справа кажется результатом выполнения противоположной задачи Высокие значения напоминают гармоническую структуру человеческой речи.

Решив более простую задачу классификации, как нам перейти к реальному выделению вокала из музыки? Ну, глядя на первый наивный метод, мы всё равно хотим как-то получить амплитудную спектрограмму для вокала. Теперь это становится задачей регрессии. Что мы хотим сделать, так это по конкретному таймфрейму из STFT исходного сигнала, то есть микса (с достаточным временным контекстом) рассчитать соответствующий амплитудный спектр для вокала в этом таймфрейме.

(вы можете спросить меня в этот момент) Что насчёт обучающего набора данных?

Я собирался рассмотреть это в конце статьи, чтобы не отвлекаться от темы! Вот чёрт… зачем же так.

После каждого прогноза перемещаем окно вправо на 1 таймфрейм, прогнозируем следующий фрейм с вокалом и связываем его с предыдущим предсказанием. Если наша модель хорошо обучается, то для логического вывода нужно всего лишь реализовать простое скользящее окно к STFT микса. Вот теперь начинаем обучение. Что касается модели, возьмём ту же модель, которую использовали для детектора голоса и произведём небольшие изменения: форма выходного сигнала теперь (513,1), линейная активация на выходе, MSE как функция потерь.

Пока не радуйтесь…

Кажется, мы просим слишком многого… Хотя такое представление ввода/вывода имеет смысл, после обучения нашей модели несколько раз, с различными параметрами и нормализациями данных, результатов нет.

Хотя сеть в некоторой степени изучает задачу, но в восстановленном вокале всё равно есть очевидные артефакты и помехи от других источников. Мы перешли от бинарного классификатора к регрессии на 513-мерном векторе. И тогда встаёт вопрос: как обманом «упростить» для сети задачу, и при этом достичь желаемых результатов? Даже после добавления дополнительных слоёв и увеличения количества параметров модели результаты не сильно меняются.

Что если вместо оценки амплитуды STFT вокала обучать сеть получению бинарной маски, которая при применении к STFT микса даёт нам упрощённую, но перцептивно-приемлемую амплитудную спектрограмму вокала?

Не вдаваясь в подробности, суть в следующем. Экспериментируя с различными эвристиками, мы придумали очень простой (и, безусловно, неортодоксальный с точки зрения обработки сигналов...) способ извлечения вокала из миксов с использованием бинарных масок. Можем назвать это бинаризацией восприятия, просто чтобы придумать какое-то название. Представим выход как бинарное изображение, где значение ‘1’ указывает на преобладающее присутствие вокального контента на заданной частоте и таймфрейме, а значение ‘0’ указывает на преобладающее присутствие музыки в данном месте. Визуально это выглядит довольно некрасиво, если честно, но результаты удивительно хороши.

Мы просим модель «классифицировать пиксели» на выходе как вокальные или не вокальные, хотя концептуально (а также с точки зрения используемой функции потерь MSE) задача по-прежнему остаётся регрессионной. Теперь наша проблема становится своеобразным гибридом регрессии-классификации (очень грубо говоря...).

В то же время, это позволяет нам сохранить нашу модель относительно небольшой по количеству параметров, учитывая сложность задачи, что-то очень желаемое для работы в реальном времени, что в данном случае было проектным требованием. Хотя это различие может показаться неуместным для некоторых, на самом деле оно имеет большое значение в способности модели изучить поставленную задачу, вторая из которых является более простой и ограниченной. После некоторых незначительных настроек окончательная модель выглядит так.

Как восстановить сигнал временной области?

По сути, как в наивном методе. В данном случае на каждый проход мы прогнозируем один таймфрейм бинарной маски вокала. Опять же, реализуя простое скользящее окно с шагом одного таймфрейма, продолжаем оценивать и объединять последовательные таймфреймы, которые в конечном итоге составляют всю вокальную бинарную маску.

Создание обучающего набора

Как вы знаете, одна из главных проблем при обучении с учителем (оставьте эти игрушечные примеры с готовыми датасетами) — правильные данные (по количеству и качеству) для конкретной проблемы, которую вы пытаетесь решить. Исходя из описанных представлений ввода и вывода, для обучения нашей модели сначала понадобится значительное количество миксов и соответствующих им, идеально выровненных и нормализованных вокальных треков. Такой набор можно создать несколькими способами, и мы использовали комбинацию стратегий, начиная от ручного создания пар [микс  вокал] на основе нескольких а капелл, найденных в интернете, до поиска музыкального материала рок-групп и скрапинга Youtube. Просто чтобы дать вам представление, насколько это трудоёмкий и болезненный процесс, частью проекта стала разработка такого инструмента для автоматического создания пар [микс  вокал]:

Наш окончательный набор состоял примерно из 15 млн образцов по 300 мс миксов и соответствующих им вокальных бинарных масок. Нужно действительно большое количество данных, чтобы нейросеть выучила функцию переноса для трансляции миксов в вокал.

Архитектура конвейера

Как вы наверное знаете, создать модель ML для конкретной задачи — только полдела. В реальном мире нужно продумать архитектуру программного обеспечения, особенно если нужна работа в реальном времени или близком к нему.

Вообще, это отдельная тема, и я оставлю её для другой статьи, посвящённой ML-конвейерам в реальном времени… В этой конкретной реализации реконструкция во временную область может происходить сразу после прогнозирования полной бинарной маски вокала (автономный режим) или, что более интересно, в многопоточном режиме, где мы получаем и обрабатываем данные, восстанавливаем вокал и воспроизводим звук — всё мелкими сегментами, близко к потоковой передаче и даже практически в режиме реального времени, обрабатывая музыку, которая записывается на лету с минимальной задержкой.

Daft Punk — Get Lucky (студийная запись)

Здесь можно услышать некоторые минимальные помехи от барабанов…

Adele — Set Fire to the Rain (живая запись!)

Обратите внимание, как в самом начале наша модель извлекает крики толпы как вокальное содержание :). В этом случае есть некоторые помехи от других источников. Поскольку это живая запись, кажется допустимым, что извлечённый вокал хуже качеством, чем предыдущие.
Статья и так довольно большая, но учитывая проделанную работу, вы заслуживаете услышать последнее демо. С точно такой же логикой, как при извлечении вокала, мы можем попытаться разделить стереомузыку на составляющие (барабаны, басы, вокал, другие), сделав некоторые изменения в нашей модели и, конечно, имея соответствующий набор обучения :).

Спасибо за чтение. В качестве последнего замечания: как видите, фактическая модель нашей свёрточной нейросети не такая уж особенная. Успех этой работы обусловили Feature Engineering и аккуратный процесс проверки гипотез, о чём я ещё напишу в будущих статьях!

Теги
Показать больше

Похожие статьи

Добавить комментарий

Ваш e-mail не будет опубликован. Обязательные поля помечены *

Кнопка «Наверх»
Закрыть