Коррекция смещения во взвешенной дисперсии

Для невзвешенной дисперсии существует дисперсия выборки с поправкой на смещение, когда среднее значение было оценено по тем же данным:

Var (Икс) знак равно \frac{1}{N} \underset{я}{Σ} ({Икс}_{я} - μ)^{2}

$\text{Var}(X):=\frac{1}{n}\sum_i(x_i - \mu)^2$

Var (Икс) знак равно \frac{1}{N - 1} \underset{я}{Σ} ({Икс}_{я} - Е [Икс])^{2}

$\text{Var}(X):=\frac{1}{n-1}\sum_i(x_i - E[X])^2$

Я смотрю на средневзвешенную и дисперсию и задаюсь вопросом, какова подходящая поправка смещения для взвешенной дисперсии. Использование:

означать (Икс) знак равно \frac{1}{\underset{я}{Σ} ω_{я}} \underset{я}{Σ} ω_{я} {Икс}_{я}

$\text{mean}(X):=\frac{1}{\sum_i \omega_i}\sum_i \omega_i x_i$

Я использую "наивную" не исправленную дисперсию:

Var (X) := \frac{1}{\sum_{i} ω_{i}} \sum_{i} ω_{i} (x_{i} - mean (X))^{2}

$\text{Var}(X):=\frac{1}{\sum_i \omega_i}\sum_i\omega_i(x_i - \text{mean}(X))^2$

Так что мне интересно, правильный ли способ исправления смещения

Var (X) := \frac{1}{\sum_{i} ω_{i} - 1} \sum_{i} ω_{i} (x_{i} - mean (X))^{2}

$\text{Var}(X):=\frac{1}{\sum_i \omega_i - 1}\sum_i\omega_i(x_i - \text{mean}(X))^2$

или B)

Var (Икс) знак равно \frac{N}{N - 1} \frac{1}{\underset{я}{Σ} ω_{я}} \underset{я}{Σ} ω_{я} ({Икс}_{я} - означать (Икс))^{2}

$\text{Var}(X):=\frac{n}{n-1}\frac{1}{\sum_i \omega_i}\sum_i\omega_i(x_i - \text{mean}(X))^2$

или C)

Var (Икс) знак равно \frac{\underset{я}{Σ} ω_{я}}{(\underset{я}{Σ} ω_{я})^{2} - \underset{я}{Σ} ω_{я}^{2}} \underset{я}{Σ} ω_{я} ({Икс}_{я} - означать (Икс))^{2}

$\text{Var}(X):=\frac{\sum_i \omega_i}{(\sum_i \omega_i)^2-\sum_i \omega_i^ 2}\sum_i\omega_i(x_i - \text{mean}(X))^2$

А) не имеет смысла для меня, когда веса небольшие. Значение нормализации может быть 0 или даже отрицательным. Но как насчет B) ( - количество наблюдений) - это правильный подход? У вас есть ссылка, которая показывает это? Я верю "Обновление среднего и дисперсионных оценок: улучшенный метод", DHD West, 1979 использует это. В-третьих, C) - моя интерпретация ответа на этот вопрос: /mathpro/22203/unbiased-estimate-of-the-variance-of-an-unnormalised-weighted-mean $n$

Для C) Я только что понял, что знаменатель очень похож на . Есть ли здесь какая-то общая связь? Я думаю, что это не совсем совпадает; и, очевидно, есть связь, которую мы пытаемся вычислить дисперсию ... $\text{Var}(\Omega)$

Все три из них, похоже, "выживают" при проверке установки всех . Так, какой я должен использовать, под каким помещением? '' Update: '' whuber предложил также выполнить проверку работоспособности с помощью и всех оставшихся крошечных. Это, кажется, исключает А и Б. $\omega_i=1$ $\omega_1=\omega_2=.5$ $\omega_i=\epsilon$

— Аноним-Мусс-Восстановить Монику
источник

Когда вы рассматриваете случаи, когда два самых больших веса равны, а все остальные становятся исчезающе малыми, оба (A) и (B) выпадают из раздора (потому что они не согласуются с известными результатами для ). (C) представляется приближением; Я подозреваю, что правильный фактор - намного более сложная функция весов.

n = 2

$n=2$

— whuber

@whuber ThePawn ниже предполагает, что это C. Есть ли у вас более подробные проблемы?

— Аноним-Мусс

Решение (А) работает, я реализовал его в прошлом и могу подтвердить из эмпирических тестов, что оно дает правильные результаты. Однако вы должны использовать только целочисленные значения для весов и> 0.

— gaborous

Благодарность! Это очень помогло мне встать на правильный путь, когда веса для экспоненциальной скользящей средней! Оказывается, что наивный способ вычисления дисперсии фактически переоценивает ее с постоянным коэффициентом 2, в дополнение к небольшой (1-1 / n) поправке, которая проявляется аналогично простому вычислению скользящего среднего. Это особенно сумасшедший особый случай!

— saolof

Ответы:

Я прошел математику и закончил с вариантом C:

В a р (Икс) знак равно \frac{(\underset{я}{Σ} ω_{я})^{2}}{(\underset{я}{Σ} ω_{я})^{2} - \underset{я}{Σ} ω_{я}^{2}} \bar{В}

$Var(X) = \frac{(\sum_i \omega_i)^2}{(\sum_i \omega_i)^2 - \sum_i \omega_i^2}\overline V$ где - не исправленная оценка дисперсии. Формула согласуется с невзвешенным случаем, когда все идентичны. Я детализирую доказательство ниже:

\bar{V}

$\overline V$

ω_{i}

$\omega_i$

Установив , мы получим $\lambda_i = \frac{\omega_i}{\sum_i \omega_i}$

\bar{В} знак равно \underset{я}{Σ} λ_{я} ({Икс}_{я} - \underset{J}{Σ} λ_{J} {Икс}_{J})^{2}

$\overline V = \sum_i \lambda_i (x_i - \sum_j \lambda_j x_j)^2$

Расширение внутреннего члена дает:

({Икс}_{я} - \underset{J}{Σ} λ_{J} {Икс}_{J})^{2} знак равно {Икс}_{я}^{2} + \underset{J, К}{Σ} λ_{J} λ_{К} {Икс}_{J} {Икс}_{К} - 2 \underset{J}{Σ} λ_{J} {Икс}_{я} {Икс}_{J}

$(x_i - \sum_j \lambda_j x_j)^2 = x_i^2 + \sum_{j, k} \lambda_j \lambda_k x_j x_k - 2 \sum_j \lambda_j x_i x_j$

Если мы возьмем ожидание, мы получим, что , член присутствует в каждом члене, он отменяется, и мы получить: $E[x_i x_j] = Var(X)1_{i = j} + E[X]^2$ $E[X]$

Е [\bar{В}] знак равно В a р (Икс) \underset{я}{Σ} λ_{я} (1 + \underset{J}{Σ} λ_{J}^{2} - 2 λ_{я})

$E[\overline V] = Var(X) \sum_i \lambda_i (1 + \sum_j \lambda_j^2- 2 \lambda_i )$ то есть Осталось подключить выражение относительно чтобы получить вариант C.

Е [\bar{В}] знак равно В a р (Икс) (1 - \underset{J}{Σ} λ_{J}^{2})

$E[\overline V] = Var(X) (1 - \sum_j \lambda_j^2)$

λ_{i}

$\lambda_i$

ω_{i}

$\omega_i$

— ThePawn
источник

Это вариант C выше, не так ли?

— Аноним-Мусс-Восстановить Монику

Упс, да, это вариант С.

— ThePawn

Я проверил это решение эмпирически, и оно НЕ работает ... Единственное, что делает, - это решение (A), которое я также реализовал в прошлом самостоятельно, но оно работает только с весами, являющимися целыми числами и> = 0

— габористическим

Это уравнение неверно согласно Википедии, Matlab, R и другим, которые реализуют это уравнение. Числитель здесь является квадратом, но он не должен, он должен быть таким же, как (С), предложенный ФП. См en.wikipedia.org/wiki/...

— gaborous

@rajatkhanduja Я говорил не о доказательстве, а об окончательном производном уравнении (верхний в этом ответе). Но на самом деле это правильно, числитель просто возводится в квадрат, потому что мы умножаем на V, таким образом, числитель оказывается в квадрате. В любом случае, эта оценка остается предвзятой, как я объясняю в своем ответе ниже, поскольку она основывается на весах типа «надежность».

— Габорист

И A, и C верны, но какой из них вы будете использовать, зависит от того, какие веса вы используете:

A требует, чтобы вы использовали веса типа «repeat» (целые числа, подсчитывающие количество вхождений для каждого наблюдения), и был беспристрастным .
C требует, чтобы вы использовали веса типа «надежность» (либо нормализованные веса, либо отклонения для каждого наблюдения), и это смещение . Это не может быть беспристрастным.

Причина, по которой С является необъективной, заключается в том, что если вы не используете веса типа «повтор», вы теряете возможность подсчитывать общее количество наблюдений (размер выборки) и, следовательно, не можете использовать поправочный коэффициент.

Для получения дополнительной информации, проверьте статью Wikipedia, которая была недавно обновлена: http://en.wikipedia.org/wiki/Weighted_arithmetic_mean#Weighted_sample_variance

— gaborous
источник