Я пытаюсь выяснить, как определить количество слогов в корпусе аудиозаписей. Я думаю, что хороший прокси может быть пиками в волновом файле.

Вот то, что я попробовал с файлом моего разговора на английском языке (мой фактический случай использования на кисуахили). Стенограмма записи этого примера: «Я пытаюсь использовать функцию таймера. Я смотрю на паузы, вокализации». Всего в этом отрывке 22 слога.

WAV-файл: https://www.dropbox.com/s/koqyfeaqge8t9iw/test.wav?dl=0

seewaveПакет в R велик, и есть несколько потенциальных функций. Перво-наперво, импортируйте файл волны.

library(seewave)
library(tuneR)
w <- readWave("YOURPATHHERE/test.wav")  
w
# Wave Object
# Number of Samples:      278528
# Duration (seconds):     6.32
# Samplingrate (Hertz):   44100
# Channels (Mono/Stereo): Stereo
# PCM (integer format):   TRUE
# Bit (8/16/24/32/64):    16

Первое, что я попробовал, была timer()функция. Одна из вещей, которую он возвращает, - это продолжительность каждой вокализации. Эта функция идентифицирует 7 вокализаций, что намного меньше 22 слогов. Быстрый взгляд на сюжет показывает, что вокализации не равны слогам.

t <- timer(w, threshold=2, msmooth=c(400,90), dmin=0.1)
length(t$s)
# [1] 7

Я также попробовал функцию fpeaks без установки порога. Вернулось 54 пика.

ms <- meanspec(w)
peaks <- fpeaks(ms)

Это отображает амплитуду по частоте, а не по времени. Добавление порогового параметра, равного 0,005, отфильтровывает шум и уменьшает счет до 23 пиков, что довольно близко к фактическому количеству слогов (22).

Я не уверен, что это лучший подход. Результат будет чувствителен к значению параметра threshold, и мне придется обрабатывать большой пакет файлов. Есть лучшие идеи о том, как кодировать это, чтобы обнаружить пики, которые представляют слоги?

Я не думаю, что последующее является лучшим решением, но у @ eipi10 было хорошее предложение проверить этот ответ на CrossValidated . Так я и сделал.

Общий подход состоит в том, чтобы сгладить данные и затем найти пики, сравнивая локальный максимальный фильтр с сглаживанием.

Первым шагом является создание argmaxфункции:

argmax <- function(x, y, w=1, ...) {
  require(zoo)
  n <- length(y)
  y.smooth <- loess(y ~ x, ...)$fitted
  y.max <- rollapply(zoo(y.smooth), 2*w+1, max, align="center")
  delta <- y.max - y.smooth[-c(1:w, n+1-1:w)]
  i.max <- which(delta <= 0) + w
  list(x=x[i.max], i=i.max, y.hat=y.smooth)
}

Его возвращаемое значение включает аргументы локальных максимумов (x) - которые отвечают на вопрос - и индексы в массивы x и y, где встречаются эти локальные максимумы (i).

Я внес небольшие изменения в testфункцию построения графиков: (а) для явного определения x и y и (b) для отображения количества пиков:

test <- function(x, y, w, span) {
  peaks <- argmax(x, y, w=w, span=span)

  plot(x, y, cex=0.75, col="Gray", main=paste("w = ", w, ", span = ", 
                                              span, ", peaks = ", 
                                              length(peaks$x), sep=""))
  lines(x, peaks$y.hat,  lwd=2) #$
  y.min <- min(y)
  sapply(peaks$i, function(i) lines(c(x[i],x[i]), c(y.min, peaks$y.hat[i]),
                                    col="Red", lty=2))
  points(x[peaks$i], peaks$y.hat[peaks$i], col="Red", pch=19, cex=1.25)
}

Как и fpeaksподход, о котором я упоминал в своем первоначальном вопросе, этот подход также требует значительных настроек. Я не буду знать «правильный» ответ (т. Е. Количество слогов / пиков), поэтому я не уверен, как определить правило принятия решения.

par(mfrow=c(3,1))
test(ms[,1], ms[,2], 2, 0.01)
test(ms[,1], ms[,2], 2, 0.045)
test(ms[,1], ms[,2], 2, 0.05)

На данный момент fpeaksмне кажется немного менее сложным, но все же не удовлетворяющим.

У меня были похожие проблемы при анализе профилей электрофореза белка. Я решил их, применив некоторые функции пакета msprocess R ко вторым производным профилей (см. Https://fr.wikipedia.org/wiki/D%C3%A9pouillement_d 'une_courbe # Position_et_hauteur_du_pic). Это было опубликовано здесь: http://onlinelibrary.wiley.com/doi/10.1111/1755-0998.12389/abstract;jsessionid=8EE0B64238728C0979FF71C576884771.f02t03

Я понятия не имею, может ли подобное решение работать на вас. Удачи

Вот библиотека на Python, которую я использовал ранее, пытаясь оценить периодичность путем нахождения пиков в функции автокорреляции.

Он использует разности первого порядка / дискретные производные для обнаружения пиков и поддерживает настройку по пороговым параметрам и параметрам минимального расстояния (между последовательными пиками). Можно также улучшить разрешение пика, используя гауссову оценку плотности и интерполяцию (см. Ссылку).

Он работал довольно хорошо для меня без особых настроек, даже для шумных данных. Попробуйте.

Я хотел бы предложить решение с использованием changepointпакета. В приведенном ниже упрощенном примере делается попытка идентифицировать пики, определенные здесь как точки изменения, путем просмотра одного канала из доступных данных.

пример

Источник данных

# Libs
library(seewave)
library(tuneR)

# Download
tmpWav <- tempfile(fileext = ".wav")
download.file(url = "https://www.dropbox.com/s/koqyfeaqge8t9iw/test.wav?dl=0",
              destfile = tmpWav)

# Read
w <- readWave(filename = tmpWav)

Подготовка данных

# Libs
require(changepoint)

# Create time series data for one channel as an example
leftTS <- ts(data = w@left)

## Preview
plot.ts(leftTS)

Диаграмма, сгенерированная посредством plot.tsзвонка:

Анализ изменений

changepointПакет предоставляет ряд опции для идентификации изменения / пиков в данных. Приведенный ниже код предоставляет только простой пример поиска 3 пиков с помощью метода BinSeg :

# BinSeg method (example)
leftTSpelt <- cpt.var(data = leftTS, method = "BinSeg", penalty = "BIC", Q = 3)
## Preview
plot(leftTSpelt, cpt.width = 3)

Полученный график: Также возможно получить значения:

cpts(leftTSpelt)
[1]  89582 165572 181053

Примечания стороны

Приведенный пример в основном касается иллюстрации того, как анализ точек изменения может быть применен к предоставленным данным; следует соблюдать осторожность в отношении параметров, передаваемых в cp.varфункцию. Подробное описание пакета и доступных функций приведено в следующей статье:

Killick, Rebecca and Eckley, Idris (2014) точка изменения: пакет R для анализа точек изменения. Журнал статистического программного обеспечения, 58 (3). С. 1-19.

ecp

ecpСтоит отметить еще один пакет R. ecpОблегчает предприятие непараметрический многомерный анализ точки изменения, которые могут быть полезны , если хотелось бы , чтобы идентифицировать точки изменения , происходящие по нескольким каналам.