Линейная регрессия с ошибками Лапласа

Рассмотрим модель линейной регрессии: где , то есть Распределение Лапласа со средним значением и параметром масштаба являются взаимно независимыми. Рассмотрим оценку максимального правдоподобия неизвестного параметра : из которого \ hat {\ boldsymbol \ beta} _ {\ mathrm {ML}} = {\ arg \ min} _ {\ boldsymbol \ beta \ in \ mathbb R ^ m} \ sum _ {i = 1} ^ n | \ mathbf x_i \ cdot \ boldsymbol \ beta - y_i | ε i ∼ L ( 0 , b ) 0 b β - log p ( y ∣ X , β , b ) = n log ( 2 b ) +

$$y_i = \mathbf x_i \cdot \boldsymbol \beta + \varepsilon _i, \, i=1,\ldots ,n,$$ $\varepsilon _i \sim \mathcal L(0, b)$$0$$b$$\boldsymbol \beta$ $$-\log p(\mathbf y \mid \mathbf X, \boldsymbol \beta, b) = n\log (2b) + \frac 1b\sum _{i=1}^n |\mathbf x_i \cdot \boldsymbol \beta - y_i|$$ $$\hat{\boldsymbol \beta}_{\mathrm {ML}} = {\arg\min }_{\boldsymbol \beta \in \mathbb R^m} \sum _{i=1}^n |\mathbf x_i \cdot \boldsymbol \beta - y_i|$$

Как найти распределение невязок $\mathbf y - \mathbf X\hat{\boldsymbol \beta}_{\mathrm {ML}}$ в этой модели?

Предполагается, что остатки (фактически называемые ошибками) распределяются случайным образом с двойным экспоненциальным распределением (распределение Лапласа). Если вы подходите к этим точкам x и y, сделайте это численно. Сначала вы рассчитываете beta-hat_ML для этих точек в целом, используя формулу, которую вы разместили выше. Это определит линию через точки. Затем вычтите значение y каждой точки из значения y линии при этом значении x. Это остаток для этой точки. Остатки всех точек можно использовать для построения гистограммы, которая даст вам распределение остатков.

На нем есть хорошая математическая статья Янга (2014) .

--Lee