Я боюсь, что все ответы здесь не имеют отношения к вопросу. То, что называется вокодером в мире производства музыки, имеет мало общего с фазовым вокодером, используемым при обработке сигналов. Что еще хуже, приложение Songify, на которое ссылается исходное сообщение, не является примером вокодера. Давайте разберемся с этим!
1. Фазовый вокодер
Фазы вокодер ссылается на других ответах представляет собой метод обработки сигналов , который может быть использован для выполнения времени / шаг модификации сигналов (время растяжения, шаг сдвига), путем вычисления частотно-временного представления сигнала (краткосрочное преобразование Фурье или STFT) и затем вставляют / удаляют сигнальные кадры и затем поддерживают согласованность информации о фазе. Его отношение к голосу является только историческим, и в настоящее время оно используется для изменения высоты тона и растяжения времени в низкоуровневом аудиооборудовании / программном обеспечении. RubberBand - это пример библиотеки C ++ с открытым исходным кодом для изменения времени и высоты тона, основанной на фазоводере.
2. Вокодер
Когда люди в области музыкального производства относятся к вокодеру, они относятся к устройству, извлекающему огибающую спектра сигнала (обычно голосового, называемого модулятором), и фильтрующему другой сигнал (обычно богатую текстуру синтезатора, называемую носителем). с фильтром, ответом которого является извлеченная огибающая спектра. Для примера получающегося звука, послушайте 0:23 в Kraftwerk Trans Europe Express или проект Алана Парсонса The Raven с первых секунд. Результирующий эффект представляет собой вокальный тембр, применяемый к мелодии или аккордам, воспроизводимым сигналом-носителем, создавая ощущение, что голос звучит через синтезатор.
Первоначально вокодер являлся аналоговым устройством, он был реализован с двумя банками из дюжины или более полосовых фильтров с высоким Q. Сигнал модулятора посылается через первый банк фильтров, а амплитуда всех сигналов поддиапазона отслеживается с помощью массив конвертов последователей. Параллельно сигнал несущей передается через другой банк фильтров. Каждый поддиапазон усиливается (с помощью VCA) с усилениями, полученными от последователей огибающей. Если вы читаете аналог, вы можете взглянуть на схему канала вокодера здесь , от живого вокодера Юргена Хайбла.- сверху фильтр сигналов модулятора, внизу фильтр несущей и VCA. Программные реализации вокодеров остаются близкими к этому просто потому, что производители музыки ожидают, что вокодеры будут звучать как классические аналоговые устройства! Но если вы не хотите верности «винтажным» устройствам и хотите что-то дешевле, чем 40 биквад, другой способ достичь того же результата - оценить всеполюсный фильтр (порядка 8–20 в зависимости от того, насколько близко вы хотите добраться до оригинального голоса) из модулятора сигнала (AR-моделирование); а затем применить этот фильтр к перевозчику. Типичная проблема здесь заключается в том, что вам нужно будет обновлять коэффициенты фильтра каждые 20 мс или около того; поэтому вам нужно представление всеполюсного фильтра, который хорошо обрабатывает резкие обновления коэффициентов.
3. Автонастройка и переназначение высоты звука
Songify делает следующее: извлекает просодию (контур основного тона) записанного голоса и изменяет его так, чтобы результирующий контур основного тона соответствовал целевой мелодии. Это немного похоже на то, что делает автонастройка, с той разницей, что автонастройка «округляет» высоту звука до ближайшего музыкально точного полутона, тогда как Songify просто толкает его к целевому значению.
Алгоритмы, работающие здесь, очень отличаются от традиционного растяжения времени со смещением высоты тона, потому что речевой сигнал является однотонным и хорошо соответствует модели фильтра источника. Подходы, такие как синхронизация с наложением основного тона во временной области (TD-PSOLA), гораздо более эффективны как в вычислительном отношении, так и с точки зрения качества, для прозрачного изменения высоты голоса, чем общие алгоритмы растяжения во времени (обычно это делается с помощью фазовых вокодеров). ). Они используются, например, в синтезе речи, чтобы изменить прозодию синтезированного предложения - в действительности, в отличие от Songify! Автонастройка также основана на таких методах во временной области (обнаружение полных циклов формы входного сигнала и их повторная дискретизация).
