Зачем нам нужна оценка, чтобы быть последовательной?

Я думаю, я уже понял математическое определение непротиворечивой оценки. Поправьте меня если я ошибаюсь:

$W_n$ - непротиворечивая оценка для if \ forall \ epsilon> 0$\theta$$\forall \epsilon>0$

Где $\Theta$ - Параметрическое Пространство. Но я хочу понять, что оценка должна быть последовательной. Почему оценка, которая не соответствует, плоха? Не могли бы вы привести несколько примеров?

Я принимаю симуляции в R или Python.

Если оценка не согласована, она не будет сходиться к истинному значению вероятности . Другими словами, всегда существует вероятность того, что ваш оценщик и истинное значение будут иметь различие, независимо от того, сколько точек данных у вас есть. Это на самом деле плохо, потому что даже если собрать огромное количество данных, ваша оценка будет всегда иметь положительную вероятность быть некоторые $\epsilon>0$ отличается от истинного значения. Практически, вы можете рассматривать эту ситуацию так, как будто вы используете оценщик такого количества, что даже обследование всего населения вместо небольшой выборки не поможет вам.

Рассмотрим $n = 10\,000$ наблюдений из стандартного распределения Коши, которое совпадает с t-распределением Стьюдента с 1 степенью свободы. Хвосты этого распределения достаточно тяжелые, что не имеет значения; распределение сосредоточено в его медиане$\eta = 0.$

Последовательность выборки означает $A_j = \frac 1j \sum_{i=1}^j X_i$не согласуется для центра распределения Коши. Грубо говоря, трудность состоит в том, что очень экстремальные наблюдения$X_i$(положительные или отрицательные) происходят с достаточной регулярностью, так что у$A_j$нет шансовсходиться к$\eta = 0.$($A_j$не просто медленно сходятся, они не не сходятся. Распределение$A_j$снова стандартно по Коши [доказательство].)

Напротив, на любом одном этапе непрерывного процесса выборки около половины наблюдений $X_i$ будут лежать по обе стороны от $\eta,$ так что последовательность $H_j$ выборочных медиан действительно сходится к $\eta.$

Это отсутствие сходимости $A_j$ и сходимости $H_j$ иллюстрируется следующим моделированием.

set.seed(2019)  # for reproducibility
n = 10000;  x = rt(n, 1);  j = 1:n
a = cumsum(x)/j
h = numeric(n)
for (i in 1:n) {
  h[i] = median(x[1:i])  } 
par(mfrow=c(1,2))
 plot(j,a, type="l", ylim=c(-5,5), lwd=2,
    main="Trace of Sample Mean")
  abline(h=0, col="green2")
  k = j[abs(x)>1000] 
  abline(v=k, col="red", lty="dotted")
 plot(j,h, type="l", ylim=c(-5,5), lwd=2,
     main="Trace of Sample Median")
  abline(h=0, col="green2") 
par(mfrow=c(1,1))

Вот список шагов, на которых $|X_i| > 1000.$ Вы можете увидеть влияние некоторых из этих экстремальных наблюдений на скользящие средние на графике слева (у вертикальных красных пунктирных линий).

k = j[abs(x)>1000]
rbind(k, round(x[k]))
   [,1] [,2] [,3]  [,4] [,5]  [,6]   [,7]  [,8]
k   291  898 1293  1602 2547  5472   6079  9158
  -5440 2502 5421 -2231 1635 -2644 -10194 -3137

Согласованность важного в оценке: при выборке из популяции Коши среднее значение выборки из $n = 10\,000$ наблюдений не лучше для оценки центра$\eta$ чем одно наблюдение. Напротив, согласованная медиана выборки сходится к$\eta,$ поэтому более крупные выборки дают лучшие оценки.

Действительно простой пример того, почему важно думать о согласованности, которая, я думаю, не привлекает достаточного внимания, - это упрощенная модель.

В качестве теоретического примера, предположим, что вы хотите подогнать модель линейной регрессии к некоторым данным, в которой истинные эффекты были на самом деле нелинейными. Тогда ваши прогнозы не могут быть последовательными для истинного среднего значения для всех комбинаций ковариат, в то время как более гибкие могут это сделать. Другими словами, упрощенная модель будет иметь недостатки, которые нельзя преодолеть, используя больше данных.

@BruceET уже дал отличный технический ответ, но я хотел бы добавить пункт о толковании всего этого, хотя.

Одним из фундаментальных понятий в статистике является то, что с увеличением размера нашей выборки мы можем сделать более точные выводы о нашем основном распределении. Вы можете думать об этом как о том, что взятие большого количества выборок устраняет случайный джиттер в данных, поэтому мы получаем лучшее представление о базовой структуре.

$(X_i)_{i\in\mathbb{N}} \ $$\mathbb{E}[X_1] < \infty$

Теперь требовать, чтобы оценщик был непротиворечивым, означает, что он также следует этому правилу: поскольку его работа заключается в оценке неизвестного параметра, мы хотели бы, чтобы он сходился к этому параметру (читай: оцените этот параметр произвольно хорошо) в качестве нашей выборки размер стремится к бесконечности.

Уравнение

$W_n$$\theta$

$[\theta - \varepsilon, \theta + \varepsilon]$$\theta$