Используется ли среднеквадратическая ошибка для оценки относительного превосходства одного оценщика над другим?

13

Предположим, у нас есть два оценщика и для некоторого параметра . Чтобы определить, какая оценка «лучше», мы смотрим на MSE (среднеквадратическая ошибка)? Другими словами, мы смотрим на где - это смещение оценки, а - дисперсия оценки? Какой MSE больше, тем хуже оценка? $\alpha_1$ $\alpha_2$ $x$

M S Е знак равно β^{2} + σ^{2}

$MSE = \beta^2+ \sigma^2$

β

$\beta$

σ^{2}

$\sigma^2$

estimation mse

— Damien
источник

10

Если два конкурирующих оценщики и & , или нет говорит, что является лучшей оценкой полностью зависит от вашего определения "Лучший". Например, если вы сравниваете непредвзятые оценки и «лучше» вы имеете в виду имеет меньшую дисперсию , то, да, это будет означать , что & лучше. $\hat \theta_1$ $\hat \theta_2$

M S Е ({\hat{θ}}_{1}) < M S Е ({\hat{θ}}_{2})

${\rm MSE}(\hat \theta_1) < {\rm MSE}(\hat \theta_2)$

{\hat{θ}}_{1}

$\hat \theta_1$

{\hat{θ}}_{1}

$\hat \theta_1$

M S E

$\rm MSE$ является популярным критерием из-за его связи с наименьшими квадратами и гауссовским логарифмическим правдоподобием, но, как и многие статистические критерии, следует избегать слепого использования

в качестве меры качества оценки, не обращая внимания на приложение.

M S E

$\rm MSE$

Существуют определенные ситуации, когда выбор оценщика для минимизации может быть не особенно разумным. На ум приходят два сценария: ${\rm MSE}$

Если в наборе данных есть очень большие выбросы, то они могут оказать сильное влияние на MSE, и, таким образом, такие выбросы могут оказать чрезмерное влияние на оценку, которая минимизирует MSE. В таких ситуациях тот факт, что оценщик минимизирует MSE, на самом деле мало о чем говорит, поскольку, если вы удалили выбросы, вы можете получить совершенно иную оценку. В этом смысле MSE не является «устойчивым» к выбросам. В контексте регрессии этот факт мотивировал М-оценщик Хьюбера (который я обсуждаю в этом ответе), который минимизирует другую функцию критерия (то есть смесь между квадратом и абсолютной ошибкой) при наличии длиннохвостых ошибок ,
Если вы оцениваете ограниченный параметр, сравнение s может быть неуместным, так как в этом случае он по-разному оценивается и недооценивается. Например, предположим, что вы оцениваете дисперсию . Затем, если вы сознательно недооцениваете величину, ваше может быть не более , тогда как переоценка может привести к которое значительно превышает , возможно, даже на неограниченную величину. $\rm MSE$ $\sigma^2$ $\rm MSE$ $\sigma^4$ $\rm MSE$ $\sigma^4$

Чтобы сделать эти недостатки более ясными, я приведу конкретный пример того, когда из-за этих проблем может не подходить для оценки качества оценки. $\rm MSE$

Предположим , у вас есть образец из распределения с степенями свободы, и мы пытаемся оценить дисперсию, которая равна . Рассмотрим два конкурирующих $X_1, ..., X_n$ $t$ $\nu>2$ $\nu/(\nu-2)$ и Очевидно

{\hat{θ}}_{1} : T час е U N б я a s е d s a м п L е v a р я a N с е

$\hat \theta_{1}: {\rm the \ unbiased \ sample \ variance}$

{\hat{θ}}_{2} знак равно 0, р е грамм a р d L е s s о е T час е d a T a

$\hat \theta_{2} = 0,{\rm \ regardless \ of \ the \ data}$

, и это фактчто

M S E ({\hat{θ}}_{2}) = \frac{ν^{2}}{(ν - 2)^{2}}

$\rm MSE(\hat \theta_{2}) = \frac{\nu^2}{(\nu-2)^2}$

который может быть получен с использованиемфакта, обсуждаемого в этой теме,исвойств

-распределения. Таким образом, наивный оценщик превосходит по показателямнезависимо от размера выборки всякий раз, когда, что довольно смущает. Это также превосходит, когда

M S E ({\hat{θ}}_{1}) = {\begin{cases} \infty & if ν \leq 4 \\ \frac{ν^{2}}{(ν - 2)^{2}} (\frac{2}{n - 1} + \frac{6}{n (ν - 4)}) & if ν > 4 . \end{cases}

${\rm MSE}(\hat \theta_{1}) = \begin{cases} \infty &\mbox{if } \nu \leq 4 \\ \frac{\nu^2}{(\nu-2)^2} \left( \frac{2}{n-1}+\frac{6}{n(\nu-4)} \right) & \mbox{if } \nu>4 . \end{cases}$

t

$t$ $\rm MSE$ $\nu < 4$

но это относится только к очень небольшим размерам выборки. Выше происходит изза длинный хвостатые природы

распределения с малыми степенями свободы, что делает

склонен к очень большим значениям и тому

штрафует сильно к завышению,то время как

не имеет эту проблему.

(\frac{2}{n - 1} + \frac{6}{n (ν - 4)}) > 1

$\left( \frac{2}{n-1}+\frac{6}{n(\nu-4)} \right) > 1$

t

$t$

{\hat{θ}}_{2}

$\hat \theta_{2}$

M S E

$\rm MSE$

{\hat{θ}}_{1}

$\hat \theta_1$

$\rm MSE$ $\rm MSE$ $\hat \theta$

S (\hat{θ}) = \frac{\hat{θ}}{ν / (ν - 2)} - 1 - \log (\frac{\hat{θ}}{ν / (ν - 2)})

$S(\hat \theta) = \frac{ \hat \theta}{\nu/(\nu-2)} - 1 - \log \left( \frac{ \hat \theta}{\nu/(\nu-2)} \right)$

$S(\hat \theta_1)=\infty$

— макрос
источник

(+1) Хорошая дискуссия. Чтобы быть справедливым, вероятно, следует указать, что аналогичные аргументы могут быть сделаны для и против других критериев (других функций потерь).

— MånsT

2

Обычно оценивают оценщиков, рассматривая их функции риска, которые отображают ожидаемые потери в зависимости от параметров. Здесь, фиксируя параметры, вы могли произвести вводящий в заблуждение анализ. В конце концов, это всегда тот случай, когда глупая (постоянная, игнорирующая данные) оценка может привести к очень низким ожидаемым потерям: просто установите его равным правильному параметру! Это заставляет меня задуматься о том, что симуляция действительно показала здесь.

— whuber

@whuber, я изменил этот ответ, чтобы привести пример аналитически, что делает его, возможно, более ясным. Я также предложил альтернативную функцию потерь, которая может быть более подходящей.

— Макро

+1 Гораздо лучше и очень интересно! Я думаю, что «сбивающий с толку» аспект может быть в глазах смотрящего. Любой, кто склонен придерживаться Байеса до

ν

$\nu$ этот результат должен быть отрезвляющим. Кроме того, для некоторых из нас выбор потери является основным и должен заменить большинство других соображений: ценности и цели вашего клиента определяют потери, и это помогает вам выбрать правильную процедуру оценки. Любить процедуру оценки, а затем предлагать потерю, чтобы заставить эту процедуру работать, является полезным упражнением, но, конечно, ее нельзя воспринимать как парадигму того, как решаются статистические проблемы!

— whuber

2

MSE соответствует риску (ожидаемой потере) для функции потери квадрата ошибки $L(\alpha_i) = (\alpha_i - \alpha)^2$ , Функция потери квадрата ошибки очень популярна, но только один из многих. Процедура, которую вы описываете, является правильной при квадратичной потере ошибок; вопрос в том, подходит ли это в вашей проблеме или нет.

— JMS
источник

2

Потому что функция $f(x) = x^2$ дифференцируемо, это облегчает поиск минимального MSE как с теоретической, так и с числовой точки зрения. Например, в обычных наименьших квадратах вы можете решить экспансию для подобранного наклона и пересечения. С числовой точки зрения у вас есть более эффективные решатели, когда у вас также есть производная.

По моему мнению, среднеквадратическая ошибка обычно перевешивает выбросы. Вот почему часто более надежно использовать среднюю абсолютную ошибку, т.е. использовать $f(x) = |x|$ как ваша функция ошибки. Однако, поскольку он недифференцируем, он затрудняет работу с решениями.

MSE, вероятно, является хорошим выбором, если условия ошибок обычно распространяются. Если они имеют более толстые хвосты, предпочтительнее более надежный выбор, такой как абсолютное значение.

— aprokopiw
источник

0

В Case & Berger Statistical Inference 2nd edition Page 332 говорится, что MSE в равной степени наказывает за переоценку и недооценку, что хорошо в случае местоположения. Однако в случае масштаба 0 является естественной нижней границей, поэтому задача оценки не является симметричной. Использование MSE в этом случае имеет тенденцию прощать недооценки.

Возможно, вы захотите проверить, какой оценщик удовлетворяет свойствам UMVUE, что означает использование нижней границы Крамера-Рао. Страница 341.

— Tu.2
источник