Являются ли противоречивые оценки когда-либо предпочтительными?

Согласованность, безусловно, является естественной и важной оценкой свойств, но существуют ли ситуации, когда может быть лучше использовать противоречивую оценку, а не последовательную?

Более конкретно, есть ли примеры противоречивой оценки, которая превосходит разумную непротиворечивую оценку для всех конечных (относительно некоторой подходящей функции потерь)? $n$

estimation consistency

— MånsT
источник

Существует интересный компромисс в производительности между согласованностью выбора модели и согласованностью параметров в задачах оценки с использованием лассо и его (многих!) Вариантов. Это подробно описано, например, в недавнем тексте Бюльмана и ван дер Гира.

— кардинал

Разве аргумент в моем, теперь удаленном, ответе все еще остается в силе? А именно: в небольших выборках лучше иметь объективную оценку с низкой дисперсией. Или можно показать, что непротиворечивая оценка всегда имеет меньшую дисперсию, чем любая другая объективная оценка?

— Боб Янсен

Возможно, @Bootvis! У вас есть пример противоречивой оценки с низким MSE?

— MånsT

@ Bootvis: Если вам случится взглянуть на обширные комментарии к ответу на недавний вопрос, спрашивающий о согласованности и непредвзятости, вы увидите, что непротиворечивая оценка может иметь произвольно дикое поведение как дисперсии, так и смещения (даже одновременно!) , Это должно удалить все сомнения относительно вашего комментария.

— кардинал

Я думал, что у меня есть одна из двух книг, но, видимо, я тоже ошибался в этом! Пример нигде не найти. @cardinal: звучит интересно, проверим

— Боб Янсен

Этот ответ описывает реальную проблему, когда в естественной согласованной оценке преобладает (превосходящая по всем возможным значениям параметров для всех размеров выборки) противоречивая оценка. Это мотивируется идеей, что согласованность лучше всего подходит для квадратичных потерь, поэтому использование потерь, сильно отклоняющихся от этого (таких как асимметричные потери), должно сделать согласованность практически бесполезной при оценке эффективности оценщиков.

Предположим, ваш клиент желает оценить среднее значение переменной (предполагается, что она имеет симметричное распределение) из выборки iid , но они не склонны к (а) его недооценке или (б) чрезмерно завышению Это. $(x_1, \ldots, x_n)$

Чтобы увидеть, как это может сработать, давайте примем простую функцию потерь, понимая, что на практике потери могут отличаться от этой количественно (но не качественно). Выберите единицы измерения, чтобы был наибольшим допустимым завышением, и установите потерю оценки когда истинное среднее значение равно равному когда $1$ $t$ $\mu$ $0$ и равному противном случае. $\mu \le t\le \mu+1$ $1$

Расчеты особенно просты для нормального семейства распределений со средним и дисперсией , тогда для выборочного среднего $\mu$ $\sigma^2 \gt 0$ имеет нормальноераспределение. Среднее значение выборки является последовательной оценкой, как это хорошо известно (и очевидно). Записьдля стандартного нормального КОР, ожидаемая потеря выборочного среднего равна $\bar{x}=\frac{1}{n}\sum_i x_i$ $(\mu, \sigma^2/n)$ $\mu$ $\Phi$ : $1/2 + \Phi(-\sqrt{n}/\sigma)$ $1/2$ происходит от 50% вероятности того, что выборочное среднее будет недооценить истинное среднее и возникает из-за вероятности переоценки истинного среднего значения более чем на. $\Phi(-\sqrt{n}/\sigma)$ $1$

потери

Ожидаемая потеря равна синей области под этим стандартным нормальным PDF. Красная область показывает ожидаемую потерю альтернативной оценки ниже. Они отличаются, заменяя сплошную синюю область между $\bar{x}$ ипо меньшей сплошной красной области между $-\sqrt{n}/(2\sigma)$ $0$ и $\sqrt{n}/(2\sigma)$ . Эта разница растет сростом. $\sqrt{n}/\sigma$ $n$

$\bar{x}+1/2$ $2\Phi(-\sqrt{n}/(2\sigma))$ $1/2$ $0$ $n$ $n$ $\mu+1/2 \ne \mu$

Функции потери

$\bar{x}$ $\bar{x}+1/2$ $n$ .

— Whuber
источник

L_{2}

$L_2$

L_{2}

$L_2$

@Macro Мышление несколько косвенное и не предназначено для строгости, но я считаю, что это естественно: квадратичная потеря подразумевает минимизацию дисперсии, которая (через Чебышева) приводит к сходимости по вероятности. Следовательно, эвристика для нахождения контрпримера должна быть сосредоточена на потерях, которые настолько далеки от квадратичных, что такие манипуляции оказываются безуспешными.

— whuber

1 / 2

$1/2$

0

$0$

n

$n$

@ Майкл Хорошо, спасибо, что объяснили это. В этом контексте при неквадратичной потере «преимущество» не выражается смещением. Кто-то может критиковать эту функцию потерь, но я не хочу полностью ее отвергать: она моделирует ситуации, когда, например, данные представляют собой измерения изделия, изготовленного с определенными допусками, и это будет иметь катастрофические последствия (как в случае отказа уплотнительного кольца Shuttle). или банкротство бизнеса катастрофически) для истинного средства выйти за пределы этих допусков.

— whuber

(+1) Отличный ответ, @whuber! Мне особенно нравится, что это не кажется слишком патологическим - я могу вспомнить множество ситуаций, в которых этот тип потери был бы применим.

— MånsT