Можно ли выполнять кластеризацию временных рядов на основе формы кривой?

У меня есть данные о продажах для ряда торговых точек, и я хочу классифицировать их в зависимости от формы их кривых с течением времени. Данные выглядят примерно так (но, очевидно, не случайны и содержат некоторые пропущенные данные):

n.quarters <- 100
n.stores <- 20
if (exists("test.data")){
  rm(test.data)
}
for (i in 1:n.stores){
  interval <- runif(1, 1, 200)
  new.df <- data.frame(              
    var0 = interval + c(0, cumsum(runif(49, -5, 5))),
    date = seq.Date(as.Date("1990-03-30"), by="3 month", length.out=n.quarters),
    store = rep(paste("Store", i, sep=""), n.quarters))
  if (exists("test.data")){
    test.data <- rbind(test.data, new.df)    
  } else {
    test.data <- new.df
  }
}
test.data$store <- factor(test.data$store)

Я хотел бы знать, как я могу кластеризовать на основе формы кривых в R. Я рассмотрел следующий подход:

1. Создайте новый столбец путем линейного преобразования var0 каждого магазина в значение от 0,0 до 1,0 для всего временного ряда.
2. Сгруппируйте эти преобразованные кривые, используя kmlпакет в R.

У меня есть два вопроса:

1. Это разумный исследовательский подход?
2. Как я могу преобразовать мои данные в продольный формат данных, который kmlбудет понятен? Любые фрагменты R будут высоко оценены!

Несколько ссылок для анализа продольных данных обсуждались в ссылке, предоставленной @Jeromy, поэтому я бы посоветовал вам внимательно прочитать их, особенно те, которые касаются функционального анализа данных. Попробуйте поискать в Google «Функциональная кластеризация продольных данных» или набор инструментов PACE Matlab, который конкретно посвящен кластеризации нерегулярных выборок на основе моделей (Пенг и Мюллер, Кластеризация на основе расстояний редко наблюдаемых случайных процессов, с приложениями для онлайн-аукционов , Анналы прикладной статистики 2008 2: 1056). Я могу представить, что может быть хорошая статистическая структура для финансовых временных рядов, но я не знаю об этом.

kmlПакет в основном зависит от к-средств, работающих (по умолчанию) на евклидовых расстояний между измерений , наблюдаемых на лиц. То, что называется траекторией, является просто серией наблюдаемых значений для отдельных , и$t$$n$$i$$y_i=(y_{i1},y_{i2},\dots,y_{it})$$d(y_i,y_j)=\sqrt{t^{-1}\sum_{k=1}^t(y_{ik}-y_{jk})^2}$, Недостающие данные обрабатываются с помощью небольшой модификации предыдущей меры расстояния (корректировка Гауэра), связанной с схемой вменения, подобной ближайшему соседу (для вычисления критерия Калинского). Поскольку я не представляю, как будут выглядеть ваши реальные данные, я не могу сказать, сработает ли это. По крайней мере, он работает с продольными кривыми роста, «полиномиальной» формой, но я сомневаюсь, что это позволит вам обнаруживать очень специфические закономерности (например, локальные минимумы / максимумы в определенные моменты времени с различными точками времени между кластерами, путем перевода для пример). Если вы заинтересованы в кластеризации возможно смещенных кривых, то вам обязательно нужно искать другие решения; Функциональная кластеризация и выравнивание , от Sangalli et al., И ссылки в них могут обеспечить хорошую отправную точку.

Ниже я покажу вам некоторый код, который может помочь поэкспериментировать с ним (мое начальное значение обычно устанавливается на 101, если вы хотите воспроизвести результаты). В основном, для использования kmlвам просто нужно построить clusterizLongDataобъект ( idномер для первого столбца и измерений в следующих столбцах).$t$

library(lattice)
xyplot(var0 ~ date, data=test.data, groups=store, type=c("l","g"))

tw <- reshape(test.data, timevar="date", idvar="store", direction="wide")
parallel(tw[,-1], horizontal.axis=F, 
         scales=list(x=list(rot=45, 
                            at=seq(1,ncol(tw)-1,by=2), 
                            labels=substr(names(tw[,-1])[seq(1,ncol(tw)-1,by=2)],6,100), 
                            cex=.5)))

library(kml)
names(tw) <- c("id", paste("t", 1:(ncol(tw)-1)))
tw.cld <- as.cld(tw)
cld.res <- kml(tw.cld,nbRedrawing=5)
plot(tw.cld)

Следующие два рисунка представляют собой необработанные смоделированные данные и пятикластерное решение (согласно критерию Калинского, также используемому в пакете fpc ). Я не показываю уменьшенную версию .

Альтернативный подход был опубликован регулярным участником stats.se в Ване, Сяочже, Кейт Смит и Робе Хиндмане.

«Кластеризация на основе признаков для данных временных рядов». Data Mining and Knowledge Discovery 13, нет. 3 (2006): 335–364 .

Они пишут:

В данной статье предлагается метод кластеризации временных рядов на основе их структурных характеристик. В отличие от других альтернатив, этот метод не группирует значения точек с использованием метрики расстояния, а скорее кластеризует на основе глобальных признаков, извлеченных из временных рядов. Показатели характеристик получены из каждого отдельного ряда и могут быть использованы в произвольных алгоритмах кластеризации, включая алгоритм нейронной сети без контроля, самоорганизующуюся карту или алгоритм иерархической кластеризации. Глобальные показатели, описывающие временные ряды, получают путем применения статистических операций, которые наилучшим образом отражают основные характеристики: тренд, сезонность, периодичность, последовательная корреляция, асимметрия, эксцесс, хаос, нелинейность и самоподобие. Поскольку метод кластеров с использованием извлеченных глобальных мер, это уменьшает размерность временного ряда и намного менее чувствительно к отсутствующим или шумным данным. Мы также предоставляем механизм поиска, чтобы найти лучший выбор из набора функций, который должен использоваться в качестве входных данных кластеризации.

R-код доступен в блоге Роба .

Вы можете посмотреть на работу Имонна Кеога (UC Riverside) по кластеризации временных рядов. Его сайт имеет много ресурсов. Я думаю, что он предоставляет примеры кода Matlab, так что вам придется перевести это на R.