Условия сходимости М-оценки к истинному среднему

10

Приведенные примеры из гауссовского распределения и M-оценки, , какие свойства на достаточны, чтобы гарантировать в вероятности? Является ли строго выпуклым и достаточно увеличивающимся? $X_1,...,X_n \sim N(\mu,\sigma)$ $\mu_m = \underset{a}{\operatorname{argmin}} \sum\rho(|X_i-a|)$ $\rho$ $\mu_m \rightarrow \mu$ $\rho$

estimation

— гусеница
источник

Поскольку вы можете взять а затем - это среднее значение выборки, это означает, что оно может быть даже не строго выпуклым, а строго возрастающим да, поэтому ... Я бы назвал либо строго выпуклым, либо строго возрастающим, оба Кажется, достаточно, хотя еще предстоит доказать это. Интуитивно строгая выпуклость обеспечивает уникальный глобальный минимум, для строгого увеличения имеет значение предположение о гауссовости.

ρ (x) = x

$\rho(x) = x$

μ_{m}

$\mu_m$

— Дмитрий Челов

1

Здесь может помочь статья Асимптотика минимизаторов выпуклых процессов Хьорта и Полларда, хотя она не специализируется на гауссовых распределениях и рассматривает более общий вид функции контраста, а именно , хотя их обозначение . В дополнение к выпуклости в , они требуют расширения в вокруг , в определенном смысле это связано с распределением данных. Таким образом, не так просто, как просто сказать выпуклым или возрастающим, но, возможно, если вы ограничите теорему гауссовыми распределениями и $\rho(x,a)$ $g(y,t)$ $g$ $t$ $g$ $t$ $\theta_0$ $\rho$ $g$ чтобы иметь указанную вами форму, вы можете получить более аккуратный набор условий. Я напишу их теорему здесь для полноты, немного перефразировав:

Предположим, у нас есть

$Y,Y_{1},Y_{2},\ldots$ из распределения $F$
Интересующий параметр $\theta_{0}=\theta(F)\in\cal{R}^{p}$
$\theta_{0}\in\arg\min_{t\in\cal{R}^{p}}\mathbb{E} g(Y,t)$ , где выпукло по . $g(y,t)$ $t$
У нас есть «слабое расширение» в вокруг : для со средним нулем по и для положительно определенной матрицы . $g(y,t)$ $t$ $\theta_{0}$ $g (y, θ_{0} + t) - g (y, θ_{0}) = D (y)^{T} t + R (y, t),$ $g(y,\theta_{0}+t)-g(y,\theta_{0})=D(y)^{T}t+R(y,t),$ $D(y)$ $F$ $E R (Y, t) = \frac{1}{2} t^{T} J t + o ({| t |}^{2}), as t \to 0$ $\mathbb{E} R(Y,t)=\frac{1}{2}t^{T}Jt+o(\left|t\right|^{2}),\mbox{ as }t\to0$ $J$
$\mbox{Var}[ R(Y,t) ]=o(\left|t\right|^{2})$ как . $t\to0$
$D(Y)$ имеет конечную ковариационную матрицу . $K=\int D(y)D(y)^{T}\, dF(y)$

ТОГДА любой оценщик является -согласованным для и асимптотически нормальным с $\hat{\theta}_{n}\in\arg\min_{\theta\in\cal{R}^{p}}\sum_{i=1}^{n}g(Y_{i},t)$ $\sqrt{n}$ $\theta_{0}$

\sqrt{n} ({\hat{θ}}_{n} - θ_{0}) \overset{d}{\to} N_{p} (0, J^{- 1} K J^{- 1}) .

$\sqrt{n}\left(\hat{\theta}_{n}-\theta_{0}\right)\stackrel{d}{\rightarrow}\mathcal{N}_{p}(0,J^{-1} K J^{-1}).$

— DavidR
источник

0

Это не будет ответом, так как это уменьшит вашу проблему до другой, но я думаю, что это может быть полезно. Ваш вопрос в основном о согласованности М-оценки. Итак, сначала мы можем посмотреть на общие результаты. Вот результат из книги Ван дер Ваарта (теорема 5.7, стр. 45):

Теорема. Пусть - случайные функции и - фиксированная функция от такая, что для каждого $M_n$ $M$ $\theta$ $\varepsilon>0$

sup_{θ \in Θ} | M_{n} (θ) - M (θ) | \overset{P}{\to} 0,

$\sup_{\theta\in\Theta}|M_n(\theta)-M(\theta)|\xrightarrow{P}0,$

sup_{θ : d (θ, θ_{0}) \geq ε} M (θ) < M (θ_{0}) .

$\sup_{\theta:d(\theta,\theta_0)\ge\varepsilon} M(\theta)<M(\theta_0).$

Тогда любая последовательность оценок с сходится по вероятности к $\hat\theta_n$ $M_n(\hat\theta_n)\ge M_n(\theta_0)-o_P(1)$ $\theta_0$

В вашем случае , и $\theta_0=\mu$ $M(\theta)=E\rho(|X-\theta|)$ $M_n(\theta)=\frac{1}{n}\sum \rho(|X_i-\theta|)$

Ключевым условием здесь является равномерная сходимость. На странице 46 ван дер Ваарт говорит

что для средних, что в вашем случае, это условие эквивалентно набору функций ( в вашем случае), являющихся Гливенко -Кантели . Один простой набор достаточных условий состоит в том, чтобы было компактным, чтобы функции были непрерывными для каждого , и чтобы> в них доминировала интегрируемая функция. $\{m_\theta, \theta\in\Theta\}$ $m_\theta=\rho(|x-\theta|)$ $\Theta$ $\theta\to m_\theta(x)$ $x$

В Вулдридже этот результат сформулирован как теорема, называемая равномерным слабым законом больших чисел, стр. 347 (первое издание), теорема 12.1. Это только добавляет измеримые требования к тому, что утверждает Ван дер Ваарт.

В вашем случае вы можете безопасно выбрать для некоторого , поэтому вам нужно показать, что существует функция такая, что $\Theta=[\mu-C,\mu+C]$ $C$ $b$

| ρ (| x - θ |) | \leq b (x)

$|\rho(|x-\theta|)|\le b(x)$

для всех , таких что . Здесь может помочь теория выпуклых функций, так как вы можете $\theta\in\Theta$ $Eb(X)<\infty$

b (x) = sup_{θ \in Θ} | ρ (| x - θ |) | .

$b(x)=\sup_{\theta\in\Theta}|\rho(|x-\theta|)|.$

Если эта функция обладает хорошими свойствами, тогда вам пора.

— mpiktas
источник