Линейная регрессия: есть ли ненормальное распределение, дающее идентичность OLS и MLE?

13

Этот вопрос вдохновлен долгим обсуждением в комментариях здесь: Как линейная регрессия использует нормальное распределение?

В обычной модели линейной регрессии для простоты здесь написано только с одним предиктором:

Y_{i} = β_{0} + β_{1} x_{i} + ϵ_{i}

$Y_i = \beta_0 + \beta_1 x_i + \epsilon_i$ где

x_{i}

$x_i$ - известные константы, а

ϵ_{i}

$\epsilon_i$ - члены с независимой ошибкой с нулевым средним. Если дополнительно допустить нормальное распределение ошибок, то обычные оценки наименьших квадратов и оценки максимального правдоподобия

β_{0}, β_{1}

$\beta_0, \beta_1$ идентичны.

Поэтому мой простой вопрос: существует ли какое-либо другое распределение для членов ошибки, такое, что mle совпадает с обычным оценщиком наименьших квадратов? Одно следствие легко показать, другое нет.

— Къетил б Халворсен
источник

1

(+1) Это должно быть распределение с центром вокруг нуля, и, казалось бы, было бы полезно, если бы оно было симметричным. Некоторые кандидаты, которые приходят на ум, такие как t- или распределение Лапласа, похоже, не справляются с задачей, поскольку MLE, даже в случае единственного постоянного, недоступен в закрытой форме или задан медианой соответственно.

— Кристоф Ханк,

см. также stats.stackexchange.com/questions/99014/… кажется, что найти так много всего

— Кристоф Ханк,

Я уверен, что ответ - нет. Однако может быть трудно написать строгое доказательство.

— Гордон Смит

11

При оценке максимального правдоподобия мы рассчитываем

{\hat{β}}_{M L} : \sum \frac{\partial \ln f (ϵ_{i})}{\partial β} = 0 ⟹ \sum \frac{f^{'} (ϵ_{i})}{f (ϵ_{i})} x_{i} = 0

$\hat \beta_{ML}: \sum \frac {\partial \ln f(\epsilon_i)}{\partial \beta} = \mathbf 0 \implies \sum \frac {f'(\epsilon_i)}{f(\epsilon_i)}\mathbf x_i = \mathbf 0$

последнее соотношение с учетом линейной структуры уравнения регрессии.

Для сравнения, оценка МНК удовлетворяет

\sum ϵ_{i} x_{i} = 0

$\sum \epsilon_i\mathbf x_i = \mathbf 0$

Чтобы получить идентичные алгебраические выражения для коэффициентов наклона, нам нужно иметь плотность для члена ошибки, такую, чтобы

\frac{f^{'} (ϵ_{i})}{f (ϵ_{i})} = \pm c ϵ_{i} ⟹ f^{'} (ϵ_{i}) = \pm c ϵ_{i} f (ϵ_{i})

$\frac {f'(\epsilon_i)}{f(\epsilon_i)} = \pm \;c\epsilon_i \implies f'(\epsilon_i)= \pm \;c\epsilon_if(\epsilon_i)$

Это дифференциальные уравнения вида которых есть решения $y' = \pm\; xy$

\int \frac{1}{y} d y = \pm \int x d x ⟹ \ln y = \pm \frac{1}{2} x^{2}

$\int \frac 1 {y}dy = \pm \int x dx\implies \ln y = \pm\;\frac 12 x^2$

⟹ y = f (ϵ) = \exp {\pm \frac{1}{2} c ϵ^{2}}

$\implies y = f(\epsilon) = \exp\left \{\pm\;\frac 12 c\epsilon^2\right\}$

Любая функция, которая имеет это ядро и интегрируется в единицу по соответствующей области, сделает MLE и OLS для коэффициентов наклона идентичными. А именно мы ищем

g (x) = A \exp {\pm \frac{1}{2} c x^{2}} : \int_{a}^{b} g (x) d x = 1

$g(x)= A\exp\left \{\pm\;\frac 12 cx^2\right\} : \int_a^b g(x)dx =1$

Существует ли такой который не является нормальной плотностью (или полунормальной, или производной функции ошибки)? $g$

Конечно. Но еще одна вещь, которую нужно учитывать, заключается в следующем: если использовать показатель плюс в показателе степени и симметричную опору, например, около нуля, получится плотность, которая имеет уникальный минимум в середине, и два локальных максимума при Границы поддержки.

— Алекос Пападопулос
источник

Отличный ответ (+1), но если в функции использовать знак плюс, это даже плотность? Тогда оказалось бы, что функция имеет бесконечный интеграл и поэтому не может быть нормализована к функции плотности. Если это так, у нас остается только нормальное распределение.

— Восстановите Монику

1

@Ben Спасибо. Кажется, что вы неявно предполагаете, что диапазон случайной величины будет плюс / минус бесконечность. Но мы можем определить rv для диапазона в ограниченном интервале, и в этом случае мы можем очень хорошо использовать знак плюс. Вот почему в своих выражениях я использовал как пределы интеграции

.

(a, b)

$(a,b)$

— Алекос Пападопулос

Это правда - я предполагал это.

— Восстановить Монику

5

\arg_{β_{0}, β_{1}} min \sum_{i = 1}^{n} (y_{i} - β_{0} - β_{1} x_{i})^{2}

$\arg_{\beta_0,\beta_1}\min\sum_{i=1}^n (y_i-\beta_0-\beta_1x_i)^2$

f (y | x, β_{0}, β_{1})

$f(y|x,\beta_0,\beta_1)$

\arg_{β_{0}, β_{1}} min \sum_{i = 1}^{n} \log {f (y_{i} | x_{i}, β_{0}, β_{1})} = \arg_{β_{0}, β_{1}} min \sum_{i = 1}^{n} (y_{i} - β_{0} - β_{1} x_{i})^{2}

$\arg_{\beta_0,\beta_1}\min\sum_{i=1}^n \log\{f(y_i|x_i,\beta_0,\beta_1)\}=\arg_{\beta_0,\beta_1}\min\sum_{i=1}^n (y_i-\beta_0-\beta_1x_i)^2$

f (y | x, β_{0}, β_{1}) = f_{0} (y | x) \exp {- ω (y_{i} - β_{0} - β_{1} x_{i})^{2}}

$f(y|x,\beta_0,\beta_1)=f_0(y|x)\exp\{-\omega(y_i-\beta_0-\beta_1x_i)^2\}$ are acceptable since the factor

f_{0} (y | x)

$f_0(y|x)$ does not depend on the parameter

(β_{0}, β_{1})

$(\beta_0,\beta_1)$ . There is therefore an infinity of such distributions.

Another setting where both estimators coincide is when the data comes from a spherically symmetric distribution, namely when the (vector) data $\mathbf{y}$ has conditional density

h (| | y - X β | |)

$h(||\mathbf{y}-\mathbf{X}\beta||)$ with

h (\cdot)

$h(\cdot)$ a decreasing function. (In this case the OLS is still available although the assumption of the independence of the

ϵ_{i}

$\epsilon_i$ 's only holds in the Normal case.)

— Xi'an
источник

1

This does not look correct to me. If you use a different spherically symmetric distribution, wouldn't that lead to minimisation of a different function of the norm than the square (thus not being least-squares estimation)?

— Reinstate Monica

1

I didn't know about this question until @Xi'an just updated with an answer. There is a more generic solution. Exponential family distributions with some parameters fixed yield to Bregman divergences. For such distributions mean is the minimizer. OLS minimizer is also the mean. Therefore for all such distributions they should coincide when the linear functional is linked to the mean parameter.

http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.75.6958&rep=rep1&type=pdf

— Cagdas Ozgenc
источник