В чем разница между непротиворечивой оценкой и объективной оценкой?

125

Я действительно удивлен, что никто, кажется, не спросил это уже ...

При обсуждении оценщиков часто используются два термина: «последовательный» и «беспристрастный». Мой вопрос прост: какая разница?

Точные технические определения этих терминов довольно сложны, и сложно понять, что они означают . Я могу представить себе хорошую оценку и плохую оценку, но мне трудно понять, как любой оценщик может удовлетворить одно условие, а не другое.

unbiased-estimator estimators consistency

— MathematicalOrchid
источник

Вы смотрели на самую первую фигуру в статье Википедии о последовательных оценках , которая конкретно объясняет это различие?

— whuber

Я читал статьи как для последовательности, так и для предвзятости, но до сих пор не совсем понимаю различие. (На рисунке вы обратитесь к требованиям , что оценка является состоятельной , но предвзято, но не объясняет , почему .)

— MathematicalOrchid

С какой частью объяснения вам нужна помощь? Подпись указывает на то, что каждая из оценок в последовательности смещена, и это также объясняет, почему последовательность является последовательной. Вам нужно объяснение того, как смещение в этих оценках видно из рисунка?

— whuber

+1 Поток комментариев, следующий за одним из этих ответов, очень полезен как тем, что он раскрывает по предмету, так и интересным примером того, как интернет-сообщество может работать для выявления и исправления неправильных представлений.

— whuber

Связано: stats.stackexchange.com/questions/173152/…

— kjetil b halvorsen

Ответы:

126

Чтобы определить два термина, не используя слишком много технического языка:

Оценщик непротиворечив, если при увеличении размера выборки оценки (производимые оценщиком) «сходятся» к истинному значению оцениваемого параметра. Чтобы быть немного более точным - согласованность означает, что с увеличением размера выборки распределение выборки оценки становится все более концентрированным при истинном значении параметра.
Оценщик является беспристрастным, если в среднем достигает истинного значения параметра. Таким образом, среднее значение выборочного распределения оценки равно истинному значению параметра.
Два не эквивалентны: Объективность - это утверждение об ожидаемом значении выборочного распределения оценки. Согласованность - это утверждение о том, «где происходит распределение выборки оценки» по мере увеличения размера выборки.

Конечно, одно условие может быть выполнено, а другое - нет. Я приведу два примера. Для обоих примеров рассмотрим образец из популяции . $X_1, ..., X_n$ $N(\mu, \sigma^2)$

Беспристрастный, но не последовательный: предположим, вы оцениваете . Тогда является несмещенной оценкой так как . Но не согласован, так как его распределение не становится более концентрированным вокруг с увеличением размера выборки - это всегда ! $\mu$ $X_1$ $\mu$ $E(X_1) = \mu$ $X_1$ $\mu$ $N(\mu, \sigma^2)$
Последовательно, но не беспристрастно. Предположим, вы оцениваете . Оценка максимального правдоподобия: где образец среднего. Фактом является то, что , которое можно получить, используя приведенную здесь информацию . Поэтому смещен для любого конечного размера выборки. Мы также можем легко вывести, что Из этих фактов мы можем неофициально увидеть, что распределение $\sigma^2$
${\hat{σ}}^{2} = \frac{1}{n} \sum_{i = 1}^{n} (X_{i} - \bar{X})^{2}$ $\hat{\sigma}^2 = \frac{1}{n} \sum_{i=1}^{n} (X_i - \overline{X})^2$ $\overline{X}$ $E ({\hat{σ}}^{2}) = \frac{n - 1}{n} σ^{2}$ $E(\hat{\sigma}^2) = \frac{n-1}{n} \sigma^2$ $\hat{\sigma}^2$ $\hat{\sigma}^2$ $v a r ({\hat{σ}}^{2}) = \frac{2 σ^{4} (n - 1)}{n^{2}}$ ${\rm var}(\hat{\sigma}^2) = \frac{ 2\sigma^4(n-1)}{n^2}$ $\hat{\sigma}^2$ становится все более и более сконцентрированным в мере увеличения размера выборки, поскольку среднее значение сходится к а дисперсия сходится к . ( Примечание: это является доказательством последовательности, используя тот же аргумент, который использовался в ответе здесь ) $\sigma^2$ $\sigma^2$ $0$

— макрос
источник

(+1) Хотя не все MLE согласованы: общий результат состоит в том, что в последовательности MLE существует непротиворечивая подпоследовательность. Для надлежащей согласованности требуется несколько дополнительных требований, например, идентифицируемость. Примеры MLE, которые не являются согласованными, встречаются в определенных моделях ошибок в переменных (где «максимум» оказывается седловой точкой).

— MånsT

Хорошо, EIV MLE, которые я упомянул, возможно, не являются хорошими примерами, так как функция правдоподобия не ограничена и максимум не существует. Это хороший пример того, как подход ML может потерпеть неудачу :) Мне жаль, что я не могу дать соответствующую ссылку прямо сейчас - я в отпуске.

— MånsT

Спасибо @ MånsT. Необходимые условия были изложены в ссылке, но это не было ясно из формулировки.

— Макро

Просто примечание: в этом случае пространство параметров, конечно, не является компактным, в отличие от условий в этой ссылке, и логарифмическая вероятность не вогнута по отношению к . Заявленный результат согласованности, конечно же, остается в силе.

σ^{2}

$\sigma^2$

— кардинал

Вы правы, @cardinal, я удалю эту ссылку. Понятно, что и но я не хочу уходить от отметьте это, превратив это в упражнение по проверке согласованности .

E ({\hat{σ}}^{2}) \to σ^{2}

$E(\hat{\sigma}^2) \rightarrow \sigma^2$

v a r ({\hat{σ}}^{2}) \to 0

${\rm var}(\hat{\sigma}^2) \rightarrow 0$

{\hat{σ}}^{2}

$\hat{\sigma}^2$

— Макро

Согласованность оценки означает, что по мере увеличения размера выборки оценка становится все ближе и ближе к истинному значению параметра. Беспристрастность - это свойство конечной выборки, на которое не влияет увеличение размера выборки. Оценка является несмещенной, если ее ожидаемое значение равно истинному значению параметра. Это будет верно для всех размеров выборки и является точным, тогда как согласованность асимптотическая и только приблизительно равна и не точна.

Сказать, что оценщик является беспристрастным, означает, что если вы взяли много выборок размера и вычислили оценку каждый раз, то среднее значение всех этих оценок будет близко к истинному значению параметра и будет приближаться по мере того, как количество раз вы делаете это, увеличивается , Среднее значение выборки является как последовательным, так и объективным. Выборочная оценка стандартного отклонения является предвзятой, но последовательной. $n$

Обновите после комментариев в комментариях @cardinal и @Macro: как описано ниже, есть, по-видимому, патологические случаи, когда дисперсия не должна идти до 0, чтобы оценка была строго согласованной, а смещение даже не должно идти 0 тоже нет.

— Майкл Черник
источник

@MichaelChernick +1 за ваш ответ, но, что касается вашего комментария, дисперсия непротиворечивой оценки не обязательно идет в . Например, если является выборкой из , , то является (сильной) последовательной оценкой , но , для всех .

0

$0$

(X_{1}, . . ., X_{n})

$(X_1,...,X_n)$

Normal (μ, 1)

$\mbox{Normal}(\mu,1)$

μ \neq 0

$\mu\neq 0$

1 / \bar{X}

$1/{\bar X}$

1 / μ

$1/\mu$

var (1 / \bar{X}) = \infty

$\mbox{var}(1/{\bar X})=\infty$

n

$n$

@Procrastinator: (+2) Смещение также не должно уменьшаться до нуля, даже если существует среднее значение для каждого

n

$n$

— кардинала

Майкл, тело твоего ответа довольно хорошее; Я думаю, что путаница была внесена вашим первым комментарием, который приводит к двум утверждениям, которые являются явно ложными и потенциальными путаницами. (Действительно, многие студенты уходят от вводного курса по статистике выпускников именно из-за этих неправильных представлений из-за плохой разграничения между различными способами сближения и их значением. Ваш последний комментарий можно было бы принять за суровую сторону.)

— кардинал

К сожалению, первые два предложения в вашем первом комментарии и весь второй комментарий являются ложными. Но, боюсь, бесполезно пытаться убедить вас в этих фактах.

— кардинал

Вот заведомо абсурдный, но простой пример. Идея состоит в том, чтобы проиллюстрировать , что именно может пойти не так и почему. Это действительно имеет практическое применение. Пример : рассмотрим типичную модель iid с конечным вторым моментом. Пусть где не зависит от и каждый с вероятностью и равен нулю в противном случае, причем произвольно. Тогда объективен, имеет дисперсию , ограниченную снизу на и

{\hat{θ}}_{n} = {\bar{X}}_{n} + Z_{n}

$\hat\theta_n = \bar X_n + Z_n$

Z_{n}

$Z_n$

{\bar{X}}_{n}

$\bar X_n$

Z_{n} = \pm a n

$Z_n = \pm a n$

1 / n^{2}

$1/n^2$

a > 0

$a > 0$

{\hat{θ}}_{n}

$\hat\theta_n$

a^{2}

$a^2$

{\hat{θ}}_{n} \to μ

$\hat\theta_n \to \mu$ почти наверняка (это сильно соответствует). Я оставляю в качестве упражнения дело о предвзятости.

— кардинал

-5

Согласованность: очень хорошо объяснено ранее [с увеличением размера выборки оценки (производимые оценщиком) «сходятся» к истинному значению оцениваемого параметра]

Беспристрастность: он удовлетворяет предположениям 1-5 MLR, известным как теорема Гаусса-Маркова

линейность,
случайная выборка
ожидание нулевой условной средней ошибки
нет идеальной коллинеарности
гомоскедастичности

Тогда оценщик называется СИНИМ (лучший линейный несмещенный оценщик

— Николина Лангура
источник