Вычислительно эффективная оценка многомерного режима

Короткая версия: Какой наиболее эффективный в вычислительном отношении метод оценки режима многомерного набора данных, взятого из непрерывного распределения?

Длинная версия: у меня есть набор данных, который мне нужен для оценки режима. Режим не совпадает со средним или медианой. Пример показан ниже, это 2D-пример, но решение ND было бы лучше:

В настоящее время мой метод

1. Рассчитать оценку плотности ядра на сетке, равную требуемому разрешению режима
2. Ищите наибольшую рассчитанную точку

Очевидно, что при этом вычисляется KDE по многим неправдоподобным точкам, что особенно плохо, если имеется много точек данных больших размеров или я ожидаю хорошего разрешения в режиме.

Альтернативой может быть использование имитации отжига, генетического алгоритма и т. Д., Чтобы найти глобальный пик в KDE.

Вопрос в том, есть ли более разумный способ выполнения этого расчета?

Метод, который бы соответствовал всем требованиям того, что вы хотите сделать, - это алгоритм среднего смещения . По существу, средний сдвиг зависит от перемещения вдоль направления градиента, который оценивается не-параметрический с «тенью», данного ядром . То есть, если плотность оценивается с помощью , то оценивается с помощью . Детали оценки градиента плотности ядра описаны в этой статье , в которой также случайно появился алгоритм среднего сдвига. K f ( x ) K ∇ f ( x ) K $K'$$K$$f(x)$$K$$\nabla f(x)$$K'$

Очень подробное изложение алгоритма также приведено в этой записи блога .

Если ваш основной интерес - это двумерные задачи, я бы сказал, что оценка плотности ядра - хороший выбор, поскольку она обладает хорошими асимптотическими свойствами (обратите внимание, что я не говорю, что она лучшая). Смотри например

Parzen E. (1962). Об оценке функции и моды плотности вероятности . Анналы математической статистики 33: 1065–1076.

де Вальпин, П. (2004). Пространственные вероятности состояния Монте-Карло путем взвешенной апостериорной оценки плотности ядра . Журнал Американской статистической ассоциации 99: 523-536.

Для более высоких измерений (4+) этот метод действительно медленный из-за известной трудности в оценке матрицы оптимальной полосы пропускания, см .

Теперь проблема с командой ksв пакете KDEсостоит в том, что, как вы упомянули, она оценивает плотность в конкретной сетке, что может быть очень ограничивающим. Эта проблема может быть решена, если вы используете пакет KDEдля оценки матрицы пропускной способности, например Hscv, реализуете оценщик плотности ядра и затем оптимизируете эту функцию с помощью команды optim. Это показано ниже с использованием смоделированных данных и гауссова ядра в R.

rm(list=ls())

# Required packages
library(mvtnorm)
library(ks)

# simulated data
set.seed(1)
dat = rmvnorm(1000,c(0,0),diag(2))

# Bandwidth matrix
H.scv=Hlscv(dat)

# [Implementation of the KDE](http://en.wikipedia.org/wiki/Kernel_density_estimation)
H.eig = eigen(H.scv)
H.sqrt = H.eig$vectors %*% diag(sqrt(H.eig$values)) %*% solve(H.eig$vectors)
H = solve(H.sqrt)
dH = det(H.scv)

Gkde = function(par){
return( -log(mean(dmvnorm(t(H%*%t(par-dat)),rep(0,2),diag(2),log=FALSE)/sqrt(dH))))
}

# Optimisation
Max = optim(c(0,0),Gkde)$par
Max

Оценки с ограниченной формой, как правило, быстрее, например

Cule, ML, Samworth, RJ и Stewart, MI (2010). Оценка максимального правдоподобия многомерной лог-вогнутой плотности . Журнал Королевского статистического общества B 72: 545–600.

Но они слишком пики для этой цели.

$4$

Другие методы, которые вы можете рассмотреть с помощью: подгонка многомерной конечной смеси нормалей (или других гибких распределений) или

Abraham, C., Biau, G. и Cadre, B. (2003). Простая оценка режима многомерной плотности . Канадский журнал статистики 31: 23–34.

Надеюсь, это поможет.

Недавно мы опубликовали статью, в которой предлагается быстрая оценка согласованного режима.

П.С. Рузанкин и А.В. Логачев (2019). Оценка быстрого режима в многомерном пространстве. Статистика и вероятностные письма

$O(dn)$$d$$n$

Я бы также предложил новые оценки минимальной дисперсионной моды из моей недавней статьи

П.С. Рузанкин (2020). Класс непараметрических модовых оценок. Коммуникации в статистике - моделирование и вычисления

$O(dn^2)$$n$${\mathbb R}^d$