Мой вопрос: какая математическая модель полифонического звука может сделать возможным изменение (то есть смещение высоты звука) отдельных музыкальных нот в многоканальной аудиозаписи полифонического акустического музыкального инструмента? Под «изменением нот в полифоническом звуке» я имею в виду что-то вроде редактирования звука с помощью так называемой функции « Прямой доступ к нотам» в программном обеспечении Meledyne от Celeony.
Согласно википедии , то, что Melodyne использует для моделирования звукового сигнала однострочной мелодии, исполняемой на акустическом (и, следовательно, тембрально сложном) музыкальном инструменте, является чем-то вроде того, что Хеннинг Тилеманн описывает в своей статье под названием « Распутывание фазы и времени в монофонических звуках ». Однако Я не могу найти никаких ссылок на модели звуковых сигналов полифонических музыкальных инструментов; согласно интервью на Youtube Питера Нойбакера (переписано ниже), функция Melodyne для редактирования полифонического звука требует подхода, отличного от описанного Тилеманном.
Одна подсказка из другого клипа на YouTube заключается в том, что модель Нойбакера лучше работает с аудиозаписью только одного ВИДА инструмента (т.е. только фортепиано, только гитара, только струны, только духовые и т. Д.). Еще одна подсказка - еще один клип, демонстрирующий способность не только изменять высоту тона, но и время начала и конца ноты.
Ниже приведена стенограмма видео на YouTube, в котором упоминается, что «полифонические материалы требуют другого подхода» (если у вас нет времени смотреть его с 22:00).
Вопрос, из которого возникла Мелодина: как я могу получить звук из трехмерной формы, подобной этой [жестикулируя с камнем в руке]? Каким образом звук может быть освобожден от зависимости от непрерывного времени? Эта скульптура - фактически то, что возникло из этого ... Это кусок пластика ... Это было получено непосредственно из музыкальных данных. Этот объект [вырывает записку из лютни] из этой записки. Лучше всего это визуализировать слева направо. Время бежит в этом направлении [жестикулируя слева направо]. И это амплитуда [жестикулируя большим и маленьким пальцем против большого пальца]. Если я включу его, он ... представляет тембр этого звука в любом конкретном случае. Вы можете очень ясно увидеть здесь структуру [указывающую на поперечное сечение внизу скульптуры], которая является несколько треугольной; потому что в этом звуке
Так как Мелодина еще не существовала, и я просто экспериментировал с переводом звука в эту форму, я почти год работал над этим звуком. ... Я знаю этот звук внутри и снаружи и наизусть. Это также обеспечивает хорошую иллюстрацию местного звука. Я могу не только воспроизводить звук [щелкнув мышью], но я также могу ввести звук любой точки и перемещаться по ней так медленно или быстро, как мне нравится. Я могу даже задержаться в звуке или двигаться вперед и назад, поэтому, если я исследую одно место здесь ... обойдите его. ... десять лет назад это было новым.
Недавно была добавлена днк (прямой доступ к заметкам). С его помощью я также могу редактировать полифоническую музыку. Другими словами, я могу редактировать отдельные ноты, которые звучат одновременно, например, запись гитары. Если я сейчас сыграю небольшой аккорд [выбрав Поли-> Отдельные ноты на экране], мы увидим здесь 3 ноты, которые я только что сыграл как отдельные объекты. Давайте просто послушаем снова [компьютер играет минорный аккорд]. И теперь, словно двигая пальцем к более сильному раздражению, я могу поднять эту одну заметку [перетаскивая заметку на экран вверх; компьютер играет мажорный аккорд. Для разделенного аудио я могу выделить эту одну ноту и теперь могу перемещать ее вверх или вниз по желанию на любую высоту звука, какую пожелаю.
Почему раньше никто не мог таким образом изолировать отдельные тона в сложном материале? Я, честно говоря, не знаю. В науке естественная тенденция состоит в том, чтобы начать с чего-то простого, например, с синусоидальной волны, или отдельных заметок, и сначала проанализировать это, только чтобы обнаружить, когда материал становится более сложным или должен рассматриваться полностью, что система не работает Мой подход другой. На самом деле я начинаю со сложных сигналов, и только когда я хочу подробно рассмотреть что-то, я возвращаюсь к более простым, но сначала у меня должно быть общее впечатление о том, что на самом деле происходит в реальности.
Может быть, секрет кроется в этом списке? Хе-хе, это на самом деле рулон Лоо. Первоначально поднятый камнем вопрос заключался в том, как я могу перевести данный звук в трехмерную форму. Здесь я расположил отдельные значения дискретизации звука, обозначенные здесь один-два-три и так, по спирали. И оказывается, что если вы интерполируете между точками [жестикулируя по спирали], появляется пейзаж, который также представляет отдельные сечения в звуке [жестикулирование сечений скульптуры].
Сколько лет рулону? 12 лет. Так что эта идея - источник Мелодии, всего, что мы видели сегодня ...? Да, но этот способ сворачивания звука больше не будет полезен для полифонических материалов, что требует другого подхода.