Почему в тесте хи-квадрат в качестве дисперсии используется ожидаемое число?

В тестировании , какова основа для использования квадратного корня из ожидаемых значений как стандартных отклонений (то есть ожидаемых значений как дисперсий) каждого из нормальных распределений? Единственное, что я мог найти, обсуждая это вообще, это http://www.physics.csbsju.edu/stats/chi-square.html , и в нем просто упоминаются распределения Пуассона. $\chi^2$

В качестве простой иллюстрации моей путаницы: что если бы мы тестировали, существенно ли отличаются два процесса: один генерирует 500 As и 500 Bs с очень малой дисперсией, а другой генерирует 550 As и 450 Bs с очень маленькой дисперсией (редко генерируя 551 как и 449 Bs)? Разве разница здесь не является просто ожидаемой величиной?

(Я не статистика, поэтому действительно ищу ответ, доступный для неспециалиста.)

hypothesis-testing chi-squared

— Ян
источник

Это, вероятно, связано с тем, что дисперсия случайной величины

χ_{k}^{2}

$\chi^{2}_{k}$ равна

2 k

$2k$ а также с тем фактом, что статистику необходимо умножить на 2, чтобы получить правильное распределение (как в тесте отношения правдоподобия). Возможно, кто-то знает об этом более формально.

— Макрос

Ответы:

Общая форма для многих тестовых статистик

$\frac{observed - expected}{standard error}$

В случае нормальной переменной стандартная ошибка основывается либо на известной дисперсии населения (z-stats), либо на оценке из выборки (t-stats). При использовании биномиальной переменной стандартная ошибка основана на пропорции (гипотетическая пропорция для тестов).

В таблице сопряженности можно считать, что число в каждой ячейке исходит из распределения Пуассона со средним значением, равным ожидаемому значению (ниже нуля). Дисперсия для распределения Пуассона равна среднему значению, поэтому мы используем ожидаемое значение и для расчета стандартной ошибки. Я видел статистику , которая использует наблюдаемое вместо этого, но он имеет менее теоретическое обоснование и не сходится, а к $\chi^2$ распределения.

— Грег Сноу
источник

Я застреваю в связи с Пуассоном / пониманием, почему каждая клетка может рассматриваться как происходящая от Пуассона. Я знаю среднее значение / дисперсию Пуассона, и я знаю, что они представляют количество событий с указанным уровнем. Я также знаю, что распределения хи-квадрат представляют собой сумму квадратов стандартных (дисперсия 1) нормалей. Я просто пытаюсь обернуть голову вокруг обоснования повторного использования ожидаемого значения в качестве предположения о «разбросе» каждой из нормалей. Это просто для того, чтобы все соответствовало распределению хи-квадрат / "стандартизировал" нормали?

— Ян

Есть пара вопросов, распределение Пуассона является общим для подсчетов, когда вещи довольно независимы. Вместо того, чтобы думать о таблице как о фиксированной сумме, и вы распределяете значения между ячейками таблицы, подумайте только об одной ячейке таблицы, и вы ждете фиксированное количество времени, чтобы увидеть, сколько ответов попадет в эту ячейку. Это соответствует общей идее Пуассона. Для больших средних вы можете аппроксимировать Пуассона с нормальным распределением, поэтому тестовая статистика имеет смысл как нормальное приближение к Пуассону, а затем преобразовать в

χ^{2}

$\chi^2$

— Грег Сноу

(+1) Предположим, что числа клеток

были независимыми пуассоновскими случайными величинами со средним значением

. Тогда, конечно,

X_{i}, \dots, X_{k}

$X_i,\ldots,X_k$

n π_{i}

$n\pi_i$

по распределению. Но проблема в том, что

являетсяпараметром,а не фактическим наблюдаемым количеством. Суммарные наблюдаемые значения составляют

. ХотяSLLN почти наверняка

еще предстоит проделать дополнительную работу, чтобы превратить эвристику в нечто работоспособное.

\sum_{i = 1}^{k} \frac{(X_{i} - n π_{i})^{2}}{n π_{i}} \to χ_{k}^{2}

$\sum_{i=1}^k \frac{(X_i - n\pi_i)^2}{n \pi_i} \to \chi_k^2$

n

$n$

N = \sum_{i = 1}^{k} X_{i} \sim P o i (n)

$N = \sum_{i=1}^k X_i \sim \mathrm{Poi}(n)$

N / n \to 1

$N/n \to 1$

— кардинал

В качестве простой иллюстрации моей путаницы: что если бы мы тестировали, существенно ли отличаются два процесса: один генерирует 500 As и 500 Bs с очень малой дисперсией, а другой генерирует 550 As и 450 Bs с очень малой дисперсией (редко генерируя 551 как и 449 Bs)? Разве разница здесь не является просто ожидаемой величиной?

— Ян

@ Ян: Похоже, ваши данные, которые вы не описали, не соответствуют модели, лежащей в основе статистики хи-квадрат. Стандартная модель является одной из полиномиальной выборки . Строго говоря, даже не (безусловная) выборка Пуассона покрыта, что и предполагает ответ Грега. Я делаю (возможно, тупую) ссылку на это в моем предыдущем комментарии.

— кардинал

Давайте рассмотрим простейший случай, чтобы попытаться обеспечить наибольшую интуицию. Пусть - выборка iid из дискретного распределения с исходами. Пусть - вероятности каждого конкретного результата. Нас интересует (асимптотическое) распределение хи-квадрат статистики $X_1, X_2, \ldots, X_n$ $k$ $\pi_1,\ldots,\pi_k$ Здесь - ожидаемое количество отсчетов го результата.

X^{2} = \sum_{i = 1}^{k} \frac{(S_{i} - n π_{i})^{2}}{n π_{i}} .

$X^2 = \sum_{i=1}^k \frac{(S_i - n \pi_i)^2}{n\pi_i} \> .$

n π_{i}

$n \pi_i$

i

$i$

Наводящий эвристический

Определить , так что где. $U_i = (S_i - n\pi_i) / \sqrt{n \pi_i}$ $X^2 = \sum_i U_i^2 = \newcommand{\U}{\mathbf{U}}\|\U\|^2_2$ $\U = (U_1,\ldots,U_k)$

Так как это , то в силу центральной предельной теоремы , $S_i$ $\mathrm{Bin}(n,\pi_i)$ Следовательно, мы также имеемчто, .

T_{i} = \frac{U_{i}}{\sqrt{1 - π_{i}}} = \frac{S_{i} - n π_{i}}{\sqrt{n π_{i} (1 - π_{i})}} \overset{d}{\to} N (0, 1),

$\newcommand{\convd}{\xrightarrow{d}}\newcommand{\N}{\mathcal{N}} T_i = \frac{U_i}{\sqrt{1-\pi_i}} = \frac{S_i - n \pi_i}{\sqrt{ n\pi_i(1-\pi_i)}} \convd \N(0, 1) \>,$

U_{i} \overset{d}{\to} N (0, 1 - π_{i})

$U_i \convd \N(0, 1-\pi_i)$

Теперь, если был (асимптотический) независимо (что они не являются), то мы можем утверждать , что был асимптотический распределен. Но обратите внимание, что является детерминированной функцией и поэтому переменные не могут быть независимыми. $T_i$ $\sum_i T_i^2$ $\chi_k^2$ $T_k$ $(T_1,\ldots,T_{k-1})$ $T_i$

Следовательно, мы должны как-то учитывать ковариацию между ними. Оказывается, что «правильный» способ сделать это - использовать вместо этого , и ковариация между компонентами также изменяет асимптотическое распределение с того, что мы могли бы считать до того, что фактически является а . $U_i$ $\U$ $\chi_{k}^2$ $\chi_{k-1}^2$

Некоторые подробности об этом следуют.

Более строгое лечение

Нетрудно проверить, что на самом деле $\newcommand{\Cov}{\mathrm{Cov}}\Cov(U_i, U_j) = - \sqrt{\pi_i \pi_j}$ for $i \neq j$ .

So, the covariance of $\U$ is

A = I - \sqrt{π} {\sqrt{π}}^{T},

$\newcommand{\sqpi}{\sqrt{\boldsymbol{\pi}}} \newcommand{\A}{\mathbf{A}} \A = \mathbf{I} - \sqpi \sqpi^T \>,$ where

\sqrt{π} = (\sqrt{π_{1}}, \dots, \sqrt{π_{k}})

$\sqpi = (\sqrt{\pi_1}, \ldots, \sqrt{\pi_k})$ . Note that

A

$\A$ is symmetric and idempotent, i.e.,

A = A^{2} = A^{T}

$\A = \A^2 = \A^T$ . So, in particular, if

Z = (Z_{1}, \dots, Z_{k})

$\newcommand{\Z}{\mathbf{Z}}\Z = (Z_1, \ldots, Z_k)$ has iid standard normal components, then

A Z \sim N (0, A)

$\A \Z \sim \N(0, \A)$ . (NB The multivariate normal distribution in this case is degenerate.)

Now, by the Multivariate Central Limit Theorem, the vector $\U$ has an asymptotic multivariate normal distribution with mean $0$ and covariance $\A$ .

So, $\U$ has the same asymptotic distribution as $\A \Z$ , hence, the same asymptotic distribution of $X^2 = \U^T \U$ is the same as the distribution of $\Z^T \A^T \A \Z = \Z^T \A \Z$ by the continuous mapping theorem.

But, $\A$ is symmetric and idempotent, so (a) it has orthogonal eigenvectors, (b) all of its eigenvalues are 0 or 1, and (c) the multiplicity of the eigenvalue of 1 is $\mathrm{rank}(\A)$ . This means that $\A$ can be decomposed as $\A = \mathbf{Q D Q}^T$ where $\mathbf{Q}$ is orthogonal and $\mathbf{D}$ is a diagonal matrix with $\mathrm{rank}(\A)$ ones on the diagonal and the remaining diagonal entries being zero.

Thus, $\Z^T \A \Z$ must be $\chi^2_{k-1}$ distributed since $\A$ has rank $k-1$ in our case.

Other connections

The chi-square statistic is also closely related to likelihood ratio statistics. Indeed, it is a Rao score statistic and can be viewed as a Taylor-series approximation of the likelihood ratio statistic.

References

This is my own development based on experience, but obviously influenced by classical texts. Good places to look to learn more are

G. A. F. Seber and A. J. Lee (2003), Linear Regression Analysis, 2nd ed., Wiley.
E. Lehmann and J. Romano (2005), Testing Statistical Hypotheses, 3rd ed., Springer. Section 14.3 in particular.
D. R. Cox and D. V. Hinkley (1979), Theoretical Statistics, Chapman and Hall.

— cardinal
источник

(+1) I think it is hard to find this proof in standard categorical data analysis texts like Agresti, A. (2002). Categorical Data Analysis. John-Wiley.

— suncoolsu

Thanks for the comment. I know there is some treatment of the chi-squared statistic in Agresti, but don't recall how far he takes it. He may just appeal to the asymptotic equivalence with the likelihood ratio statistic.

— cardinal

Я не знаю, найдете ли вы доказательство выше в каком-либо тексте. Я не видел использования полной (вырожденной) ковариационной матрицы и ее свойств в другом месте. Обычное лечение рассматривает (невырожденное) распределение первого

k - 1

$k-1$ coordinates and then uses the inverse covariance matrix (which has a nice form, but one which is not immediately obvious) and some (somewhat) tedious algebra to establish the result.

— cardinal

Your answer begins by defining a set of

X

$X$ 's but then defines the statistic in terms of

S

$S$ 's. Can you include something in the answer that indicates how the variables you define at the start and the variables in the statistic are related?

— Glen_b -Reinstate Monica