Как оценка, которая минимизирует взвешенную сумму квадратов смещения и дисперсии, вписывается в теорию принятия решений?

Хорошо, мое оригинальное сообщение не смогло получить ответ; Итак, позвольте мне поставить вопрос по-другому. Я начну с объяснения моего понимания оценки с точки зрения теории решения. У меня нет формального обучения, и меня не удивит, если мое мышление каким-то образом ошибочно.

Предположим , у нас есть некоторая функция потерь $L(\theta,\hat\theta(x))$ . Ожидаемая потеря является (частым) риском:

$$R(\theta,\hat\theta(x))=\int L(\theta,\hat\theta(x))\mathcal{L}(\theta,\hat\theta(x))dx,$$

где является вероятность; и риск Байеса является ожидаемым частым риском:$\mathcal{L}(\theta,\hat\theta(x))$

$$r(\theta,\hat\theta(x))=\int\int R(\theta,\hat\theta(x))\pi (\theta)dxd\theta,$$

где является нашим предшественником.$\pi (\theta)$

В общем, мы находим & thetas ( х ) , что минимизирует г , и все это работает хорошо; кроме того , теорема Фубини применяется , и мы можем изменить порядок интегрирования так , что любой θ ( х ) , что сводит к минимуму г$\hat\theta(x)$$r$$\hat\theta(x)$$r$ не зависит от всех остальных. Таким образом, принцип правдоподобия не нарушается, и мы можем чувствовать себя хорошо, будучи байесовскими и так далее.

Например, если знакомый квадрат ошибки, потери наш частотный риск среднеквадратичной ошибки или сумму квадратов ошибки и дисперсии и нашей Риск байесовского риска - это ожидаемая сумма квадратов смещения и дисперсии с учетом наших предыдущих, то есть апостериорных ожидаемых потерь.$L(\theta,\hat\theta(x))=(\theta- \hat\theta(x))^2,$

Это пока кажется мне разумным (хотя я могу быть совершенно неправым); но, в любом случае, для меня некоторые вещи имеют куда меньшее значение. Например, предположим , что вместо минимизации суммы одинаково взвешенной квадратичной ошибки и дисперсии, я хочу минимизировать неравномерным взвешенную сумму - то есть, я хочу & thetas ( х ) , которые минимизируют:$\hat\theta(x)$

$$(\mathbb{E}[\hat\theta(x)]-\theta)^2+k\mathbb{E}[(\hat\theta(x)-\mathbb{E}[\hat\theta(x)])^2],$$

где - некоторая положительная вещественная постоянная (отличная от 1).$k$

Обычно я называю такую ​​сумму «целевой функцией», хотя, возможно, я неправильно использую этот термин. Мой вопрос не о том , как найти решение - находя & thetas ( х ) , которые минимизируют эту целевую функцию выполнимо численно - скорее, мой вопрос имеет два аспекта:$\hat\theta(x)$

1. Может ли такая целевая функция вписаться в парадигму теории решений? Если нет, есть ли другая структура, в которую он вписывается? Если да, то как? Похоже , что соответствующая функция потерь была бы функция & , θ ( х ) , и E [ θ ( х ) ] , что - из - за ожидания - это (я думаю) не правильный.$\theta$$\hat\theta(x)$$\mathbb{E}[\hat\theta(x)]$

2. Такая целевая функция нарушает принцип правдоподобия , поскольку любая данная оценка θ ( х J ) зависит от всех других оценок θ ( х я ≠ J ) (даже гипотетических). Тем не менее, бывают случаи, когда обмен на увеличение дисперсии ошибок для уменьшения смещения желателен. Учитывая такую ​​цель, есть ли способ концептуализировать проблему так, чтобы она соответствовала принципу вероятности?$\hat\theta(x_{j})$$\hat\theta(x_{i\neq j})$

Я предполагаю, что мне не удалось понять некоторые фундаментальные понятия о теории принятия решений / оценке / оптимизации. Заранее благодарен за любые ответы и, пожалуйста, предположите, что я ничего не знаю, поскольку у меня нет обучения в этой области или математике в целом. Кроме того, любые предлагаемые ссылки (для наивного читателя) приветствуются.

Это довольно интересный и новый вопрос! На формальном уровне, с использованием функции риски частотной означает использование (например) функции потерь определяется как L ( θ , θ ) = (

$$(\mathbb{E}_\theta[\hat\theta(X)]-\theta)^2+k\mathbb{E}_\theta[(\hat\theta(X)-\mathbb{E}[\hat\theta(X)])^2],$$ , так как нет никаких оснований запретить ожиданиякак Е θ [ θ ( Х ) ] появляться в функция потерь. Точто они зависят от целого распределения thetas ; ( X ) является функциейкоторая может показаться странным, но в целом распределение устанавливается как функция $$L(\theta,\hat{\theta})=(\mathbb{E}_\theta[\hat\theta(X)]-\theta)^2+k(\hat\theta-\mathbb{E}_\theta[\hat\theta(X)])^2$$ $\mathbb{E}_\theta[\hat\theta(X)]$$\hat{\theta}(X)$ и в результате потери, таким образомявляется функцией & thetas , & thetas и распределение & thetas ; ( X ) .$\theta$$\theta$$\hat{\theta}$$\hat{\theta}(X)$

$L(\theta,\delta)$$\theta$$\delta$$\Theta$$\delta$$x$$X$$X$$\theta$, не может быть рассмотрено. То, что оно может нарушать принцип правдоподобия, не имеет прямого отношения к теории принятия решений и не препятствует формальному выводу оценки Байеса.