Как распределение термина ошибки влияет на распределение ответа?

Поэтому, когда я предполагаю, что члены ошибки обычно распределяются в виде линейной регрессии, что это означает для переменной отклика, $y$ ?

Может быть, я ухожу, но я думаю, что нас должно интересовать , именно так я читаю ОП. В самом простом случае линейной регрессии, если ваша модель y = X β + ϵ, то единственным стохастическим компонентом в вашей модели является член ошибки. Как таковой, он определяет выборочное распределение y . Если ϵ ∼ N ( 0 , σ 2 I ), то y | X , β ∼ N ( X β $f(y|\beta, X)$$y=X\beta + \epsilon$$y$$\epsilon\sim N(0, \sigma^2I)$ . Однако то, что говорит @Aniko, верно и для f ( y ) (незначительно над X , β ). Таким образом, вопрос стоит немного расплывчато.$y|X, \beta\sim N(X\beta, \sigma^2I)$$f(y)$$X, \beta$

Короткий ответ заключается в том, что вы не можете сделать вывод о распределении , потому что это зависит от распределения x , а также от силы и формы отношений. Более формально, у у вас будет «смесь нормалей», которая на практике может быть чем угодно.$y$$x$$y$

Вот два крайних примера, иллюстрирующих это:

1. Предположим, что существует только два возможных значения , 0 an 1 и y = 10 x + N ( 0 , 1 ) . Тогда у будет иметь строго бимодальное распределение с неровностями в 0 и 10.$x$$y = 10x + N(0,1)$$y$
2. Теперь предположим, что такое же соотношение, но пусть будет равномерно распределен в интервале 0-1 с большим количеством значений. Тогда у будет почти равномерно распределен по интервалу 0-10 (с некоторыми полунормальными хвостами по краям).$x$$y$

Фактически, поскольку любое распределение может быть сколь угодно хорошо аппроксимировано смесью нормалей, вы можете получить любое распределение для .$y$

Мы придумали термин ошибки, наложив фиктивную модель на реальные данные; Распределение ошибки не влияет на распределение ответа.

Мы часто предполагаем, что ошибка распределена нормально, и, таким образом, пытаемся построить модель так, чтобы наши расчетные остатки были нормально распределены. Это может быть сложно для некоторых распределений . В этих случаях, я полагаю, вы могли бы сказать, что распределение ответа влияет на срок ошибки.$y$

Если вы записали ответ в виде где m - это «модель» (прогноз для y ), а e - «ошибки», то это можно переставить так, чтобы указать y - m = e . Таким образом, назначение распределения для ошибок - это то же самое, что указание на то, что ваша модель неполна. Другими словами, это показывает, в какой степени вы не знаете, почему наблюдаемый отклик был значением, которым он был на самом деле, а не тем, что предсказывала модель. Если бы вы знали, что ваша модель идеальна, вы бы присваивали ошибкам распределение вероятностей со всей его массой на нуле. Назначение N

$$\bf{y}=m+e$$ $\bf{m}$$\bf{y}$$\bf{e}$$\bf{y}-m=e$ основном говорит, что ошибки малы в единицах σ . Идея состоит в том, что модельные предсказания имеют тенденцию быть «неправильными» в одинаковых количествах для разных наблюдений и «примерно правильными» по шкале σ . В отличие от этого, альтернативным назначением является C a u c h y ( 0 , γ ), которое говорит о том, что большинство ошибок являются небольшими, но некоторые ошибки довольно велики - модель имеет случайный «промах» или «шокер» в терминах прогнозирования ответа.$N(0,\sigma^{2})$$\sigma$$\sigma$$Cauchy(0,\gamma)$

В некотором смысле распределение ошибок более тесно связано с моделью, чем с ответом. Это видно из неидентифицируемости вышеприведенного уравнения, поскольку если и e неизвестны, то добавление произвольного вектора к m и вычитание его из e приводит к тому же значению y , y = m + e = ( m + b ) + ( e - b ) = m ′ + e $\bf{m}$$\bf{e}$$\bf{m}$$\bf{e}$$\bf{y}$$\bf{y}=m+e=(m+b)+(e-b)=m'+e'$, Присвоение распределения ошибок и модельного уравнения в основном говорит, какие произвольные векторы более вероятны, чем другие.