Когда использовать распределение Стьюдента или Нормального в линейной регрессии?

10

Я смотрю на некоторые проблемы, а в некоторых, чтобы проверить коэффициенты, иногда я вижу людей, использующих распределение Стьюдента, а иногда я вижу Нормальное распределение. Какое правило?

regression distributions hypothesis-testing

— Лео
источник

3

Это не ответ, но обратите внимание, что

-распределение приближается к нормальному распределению, когда параметр степеней свободы

увеличивается. В прошлом

заметных отличий не было, особенно в большинстве систем проверки гипотез. Предельное поведение «сверху» в том смысле, что если

и

, то

является стохастический больше , чем

,

t

$t$

ν

$\nu$

ν \geq 30

$\nu \geq 30$

T \sim t_{ν}

$T \sim t_{\nu}$

Z \sim N (0, 1)

$Z \sim \mathcal{N}(0,1)$

| T |

$|T|$

| Z |

$|Z|$

— кардинал

15

Нормальное распределение - это большое выборочное распределение во многих значимых статистических задачах, которые включают в себя некоторую версию центральной предельной теоремы: у вас есть (приблизительно) независимые фрагменты информации, которые добавляются для получения ответа. Если оценки параметров асимптотически нормальны, их функции также будут асимптотически нормальными (в обычных случаях).

С другой стороны, студенческий распределение происходит при более жестких условиях н.о.р. нормальных ошибок регрессии. Если вы можете купить это предположение, вы можете купить распределение, используемое для проверки гипотезы в линейной регрессии. Использование этого распределения обеспечивает более широкие доверительные интервалы, чем использование нормального распределения. Смысл этого в том, что в небольших выборках вам необходимо оценить меру неопределенности, среднеквадратичную ошибку регрессии или стандартное отклонение невязок, . (В больших выборках у вас есть столько информации, сколько вы знаете, поэтому распределение вырождается в нормальное распределение.) $t$ $t$ $\sigma$ $t$

Есть несколько случаев линейной регрессии, даже с конечными выборками, когда распределение Стьюдента не может быть оправдано. Они связаны с нарушениями условий второго порядка по ошибкам регрессии; а именно, что они (1) постоянная дисперсия и (2) независимы. Если эти предположения нарушаются, и вы исправляете свои стандартные ошибки, используя оценку Eicker / White для гетероскедастических, но независимых остатков; или оценка Ньюи-Уэста для последовательно коррелированных ошибок или кластерных стандартных ошибокдля кластерно-коррелированных данных невозможно найти разумное обоснование для распределения учеников. Однако, используя подходящую версию аргумента асимптотической нормальности (трингулярные массивы и т. Д.), Вы можете обосновать нормальное приближение (хотя вы должны иметь в виду, что ваши доверительные интервалы, скорее всего, будут слишком узкими).

— Stask
источник

1

(+1) Мне нравится, что в начале третьего абзаца подразумевается, что линейная регрессия выполняется с бесконечными (не «конечными») выборками!

— whuber

@whuber: :) В моих книгах, если это нормально, он должен полагаться на CLT или что-то асимптотическое. В противном случае это имеет такой же смысл, как этот .

— StasK

6

Мне нравится представление t-распределения Стьюдента в виде смеси нормального распределения и гамма-распределения:

S T U d е N T (Икс | μ, σ^{2}, ν) знак равно \int_{0}^{\infty} N о р м a L (Икс | μ, \frac{σ^{2}}{ρ}) г a м м a (ρ | \frac{ν}{2}, \frac{ν}{2}) d ρ

$Student(x|\mu,\sigma^2,\nu)=\int_{0}^{\infty}Normal\left(x|\mu,\frac{\sigma^2}{\rho}\right)Gamma\left(\rho|\frac{\nu}{2},\frac{\nu}{2}\right)d\rho$

Обратите внимание, что среднее значение гамма-распределения равно и дисперсия этого распределения равна $E[\rho|\nu]=1$ . Таким образом, мы можем рассматривать t-распределение как обобщающее предположение о постоянной дисперсии к «похожему» предположению о дисперсии. $V[\rho|\nu]=\frac{2}{\nu}$ $\nu$ основном контролирует, насколько схожим мы допускаем отклонения. Вы также рассматриваете это как «случайную взвешенную» регрессию, поскольку мы можем использовать вышеуказанный интеграл как представление «скрытой переменной» следующим образом:

y_{i} = μ_{i} + \frac{e_{i}}{\sqrt{ρ_{i}}}

$y_i=\mu_i+\frac{e_i}{\sqrt{\rho_i}}$

Где и $e_i\sim N(0,\sigma^2)$ $\rho_i\sim Gamma\left(\frac{\nu}{2},\frac{\nu}{2}\right)$ $Gamma\left(\frac{\nu}{2},\frac{\nu}{2}\right)\sim \frac{1}{\nu}\chi^2_\nu$

$y_i-\mu_i$ $\sigma^2$ $\rho_i$ $\sigma^2$ $\rho_i$ $\rho_i$ $\mu_i=x_i^T\beta$ $\rho_i$ $\rho_i$

\hat{β} = (\sum_{i} ρ_{i} x_{i} x_{i}^{T})^{- 1} (\sum_{i} ρ_{i} x_{i} y_{i})

$\hat{\beta}=(\sum_i\rho_ix_ix_i^T)^{-1}(\sum_i\rho_ix_iy_i)$

$\rho_i$ $\rho_i$ . Следовательно, этому наблюдению будет уделяться больше внимания в регрессии. Это соответствует тому, что можно было бы интуитивно сделать с выбросом или хорошей точкой данных.

Обратите внимание, что не существует «правила» для решения этих вопросов, хотя мой и другие ответы на этот вопрос могут быть полезны для нахождения некоторых тестов, которые вы можете выполнить по конечному пути дисперсии (студент t - бесконечная дисперсия для степеней свободы, меньших или равных до двух).

— probabilityislogic
источник

+1: это выглядит правильно, но я не думаю, что вы должны говорить о смеси нормального и гамма-распределения, а скорее о нормальном гамма-нормальном составном распределении и мотивировать эту конструкцию, говоря, что нормальное гамма-распределение является сопряженный до нормального распределения (параметризованный по среднему и точности).

— Нил Дж

Да, точка зрения о смеси - хотя я не могу придумать неуклюжий способ исправить это прямо сейчас. Обратите внимание, что эта форма не является уникальной для сопряженных распределений - например, если мы заменим гамма-pdf инвертированным экспоненциальным pdf, мы получим распределение Лапласа. Это приводит к «наименьшим абсолютным отклонениям» вместо наименьших квадратов как форме робастизации нормального распределения. Другие дистрибутивы привели бы к другим «робустификациям» - возможно, не так аналитически, как у студентов.

— вероятностная

\frac{X}{\sqrt{(U / ν)}}

${\frac {X}{\sqrt {(U/\nu )}}}$

— Карл