Как именно статистики согласились использовать (n-1) в качестве несмещенной оценки для дисперсии населения без моделирования?

67

Формула для вычисления дисперсии имеет в знаменателе: $(n-1)$

$s^2 = \frac{\sum_{i=1}^N (x_i - \bar{x})^2}{n-1}$

Я всегда задавался вопросом, почему. Тем не менее, чтение и просмотр нескольких хороших видеофильмов о том, «почему», кажется, является хорошей непредвзятой оценкой дисперсии населения. Тогда как недооценивает и переоценивает дисперсию населения. $(n-1)$ $n$ $(n-2)$

Что мне любопытно узнать, так это то, что в эпоху отсутствия компьютеров был сделан именно этот выбор? Есть ли фактическое математическое доказательство, доказывающее это, или это чисто эмпирические и статистики сделали МНОГИЕ расчеты вручную, чтобы придумать «лучшее объяснение» в то время?

Как статистики пришли к этой формуле в начале 19-го века с помощью компьютеров? Ручной или это больше, чем кажется на первый взгляд?

— кандидат наук
источник

13

Я предполагаю, что вы хотите сказать " без помощи компьютеров". Ответ - возможно, неудивительно - с использованием алгебры. Вывод довольно прост, и во многих местах студенты-статистики обычно выводят его как упражнение / изучают его как старшекурсников.

— Glen_b

Я думаю, что это дает довольно хорошее объяснение: en.wikipedia.org/wiki/Variance#Sample_variance

— Verena Haunschmid

5

Очень тесно связаны: почему стандартное отклонение выборки является смещенной оценкой

σ

$\sigma$

и интуитивным объяснением деления на при расчете sd?

n - 1

$n-1$ ,

— whuber

Я отредактировал вашу формулу, чтобы использовать и как в знаменателе для выборочной дисперсии (латинские символы), а не дисперсии населения (греческие символы).

s^{2}

$s^{2}$

\bar{x}

$\bar{x}$

n - 1

$n-1$

— Алексис

40

Коррекция называется коррекцией Бесселя и имеет математическое доказательство. Лично меня научили этому простому способу: используя вы исправляете смещение (см. Здесь ). $n-1$ $E[\frac{1}{n}\sum_1^n(x_i - \bar x)^2]$

Вы также можете объяснить коррекцию, основываясь на понятии степеней свободы, имитация строго не нужна.

— Mugen
источник

15

Доказательство альтернативы № 3 имеет красивое интуитивное объяснение, которое может понять даже непрофессионал. Основная идея заключается в том, что среднее значение выборки не совпадает со средним значением для населения. Ваши наблюдения, естественно, будут ближе к среднему значению выборки, чем к среднему значению для населения, и это в итоге приведет к недооценке тех терминов с членами. Это, вероятно, очевидно для большинства людей, но я никогда не задумывался о «интуиции» о том, почему смещенная выборочная дисперсия смещена до сих пор. Я узнал только формальные доказательства.

(x_{i} - μ)^{2}

$(x_i - \mu)^2$

(x_{i} - \bar{x})^{2}

$(x_i - \bar{x})^2$

— WetlabStudent

2

Существует также геометрический подход, который необходимо исправить с помощью n-1 (очень хорошо объяснено в «Савилле и Вуде: Статистические методы: Геометрический подход»). Короче говоря: выборка n может рассматриваться как n-мерное пространство данных. Точечные векторы выборки добавляют к наблюдаемому вектору, который можно разложить на модельный вектор с p-размерностью, соответствующей p-параметру, и вектором ошибки с np-размером. Соответствующее пифагорейское разбиение вектора ошибок имеет np-квадраты, среднее значение которых является мерой отклонения.

— Джордано

Я дам вам красивую ссылку, которая содержит краткое объяснение: en.wikipedia.org/wiki/Bias_of_an_estimator

— Кристина

Можете ли вы объяснить, почему в доказательстве (альтернатива 3) мы предполагаем, что как истинные, так и смещенные дисперсии вычисляются с использованием ? Проблема различных дисперсий возникает, когда у нас есть совокупность (с истинной дисперсией) и выборка (с смещенной дисперсией). Но если мы рассчитываем дисперсию для одних и тех же данных, а именно: , почему они должны различаться? Там мы думаем о как об истинной дисперсии, рассчитанной с использованием точно таких же значений , что и смещенной . Я не могу согласиться с этим доказательством. Пожалуйста, помогите, что мне не хватает?

n

$n$

x

$x$

x_{1}, x_{2}, . . ., x_{n}

$x_1, x_2, ... , x_n$

σ^{2}

$\sigma^2$

x

$x$

s_{biased}^{2}

$s_\text{biased}^2$

— Турхан Бадалов

56

Большинство доказательств, которые я видел, достаточно просты, поэтому Гауссу (как бы он это ни делал), вероятно, было довольно легко доказать.

Я искал вывод по CV, на который я мог бы связать вас (есть множество ссылок на доказательства вне сайта, включая хотя бы один в ответах здесь), но я не нашел здесь на CV в пару поисков, поэтому для полноты картины приведу простой. Учитывая его простоту, легко увидеть, как люди начнут использовать то, что обычно называют коррекцией Бесселя .

Это принимает качестве предполагаемого знания и предполагает, что первые несколько основных свойств дисперсии известны. $E(X^2)=\text{Var}(X) + E(X)^2$

\begin{array}{rcl} E [\sum_{i = 1}^{n} (x_{i} - \bar{x})^{2}] & = & E [\sum_{i = 1}^{n} x_{i}^{2} - 2 \bar{x} \sum_{i = 1}^{n} x_{i} + n {\bar{x}}^{2}] \\ = & E [\sum_{i = 1}^{n} x_{i}^{2} - n {\bar{x}}^{2}] \\ = & n E [x_{i}^{2}] - n E [{\bar{x}}^{2}] \\ = & n (μ^{2} + σ^{2}) - n (μ^{2} + σ^{2} / n) \\ = & (n - 1) σ^{2} \end{array}

$\begin{eqnarray} E[\sum_{i=1}^{n} (x_i-\bar x)^2] &=& E[\sum_{i=1}^{n} x_i^2-2\bar x\sum_{i=1}^{n} x_i+n\bar{x}^2]\\ &=& E[\sum_{i=1}^{n} x_i^2-n\bar{x}^2] \\ &=& n E[x_i^2]- n E[\bar{x}^2]\\ &=& n (\mu^2 + \sigma^2) - n(\mu^2+\sigma^2/n)\\ &=& (n-1) \sigma^2 \end{eqnarray}$

— Glen_b
источник

1

из какого свойства исчезает термин ?

- 2 \bar{x} \sum_{i = 1}^{n} x_{i}

$-2\bar{x}\sum_{i=1}^{n}x_i$

— Ciprian Tomoiagă

3

Это не исчезает. Вы заметили, что знак последнего срока изменился?

— Glen_b

1

(+1) Недавно я услышал отличное доказательство того, что лично я нахожу более интуитивным. Отклонение выборки с коэффициентом может быть повторно выражено как среднее всех квадратов разностей между всеми точками пар. Теперь обратите внимание, что пары, в которые входит одна и та же точка дважды, все равны нулю, и это смещает выражение. Представляется разумным исправить смещение, исключив все эти пары из двойной суммы и только усредняя по остальным. Это приводит к коррекции Бесселя.

1 / n

$1/n$

— говорит амеба, восстанови Монику

1

Нет, неважно, разобрался. , так что вы просто применяете ту же самую идентичность, которую вы упомянули выше, к обоим терминам в строке 3.

V [\bar{x}] = \frac{V [x]}{n}

$V[\bar{x}] = \frac{V[x]}{n}$

— тел.

1

Любой из вариантов iid имеет одинаковый второй момент. Мы переходим от разговора обо всех к простому обсуждению одного из них. Вы можете так же легко приняли (и некоторые люди) или или ... но я взял -м

x_{1}

$x_1$

x_{2}

$x_2$

x_{n}

$x_n$

i

$i$

— Glen_b

37

Согласно «Ватштайнскому миру математики», он был впервые доказан Гауссом в 1823 году. Ссылка - это том 4 Гаусса Верке, с которым можно ознакомиться по адресу https://archive.org/details/werkecarlf04gausrich . Соответствующие страницы, кажется, 47-49. Кажется, что Гаусс исследовал вопрос и выдвинул доказательство. Я не читаю латынь, но в тексте есть краткое изложение на немецком языке. Страницы 103-104 объясняют, что он сделал (Правка: я добавил грубый перевод):

Все знают, как умереть, так и умеют, так и умеют, и умеют, и так, и так, и так далее. als sie wirklich besitzen. [Но поскольку человек не имеет права рассматривать наиболее вероятные значения, как если бы они были фактическими значениями, можно легко убедить себя в том, что всегда нужно обнаружить, что наиболее вероятная ошибка и средняя ошибка слишком малы, и, следовательно, данные результаты обладают большей точностью, чем на самом деле.]

из которого может показаться, что хорошо известно, что выборочная дисперсия является предвзятой оценкой дисперсии населения. Далее в статье говорится, что разница между ними обычно игнорируется, потому что не важно, достаточно ли велик размер выборки. Тогда это говорит:

Шляпа для верблюдов Дахер Дезен Gegenstand eine besondere Untersuchung unterworfen, die zu einem sehr Merkwuerdigen hoechst einfachen Создайте шапку gefuehrt. Man braucht nemlich den nach dem angezeigten fahlerhaften Verfahren gefundenen mittleren Fehler, я знаю, что у него есть богатый взгляд на жизнь

$\sqrt{\frac{π - ρ}{π}}$ $\sqrt{\frac{\pi-\rho}{\pi}}$
zu multiplicieren, wo die Anzahl der beobachtungen (количество наблюдений) и nho die Anzahl der unbekannten groessen (число неизвестных) bedeutet. [Поэтому автор специально изучил этот объект, что привело к очень странному и чрезвычайно простому результату. А именно, нужно только умножить среднюю ошибку, найденную вышеупомянутым ошибочным процессом, на (данное выражение), чтобы заменить ее на правильную, где - число наблюдений, а - число неизвестных величин.] $\pi$ $\rho$ $\pi$ $\rho$

Так что, если это действительно первый случай, когда исправление было найдено, то кажется, что оно было найдено с помощью умного вычисления Гауссом, но люди уже знали, что требуется некоторая коррекция, так что, возможно, кто-то еще мог найти ее эмпирически до этого , Или, возможно, предыдущие авторы не хотели получить точный ответ, потому что они все равно работали с довольно большими наборами данных.

Резюме: руководство, но люди уже знали, что в знаменателе был не совсем прав. $n$

— Flounderer
источник

Если бы кто-то мог предоставить перевод на немецкий язык, это было бы неплохо. Я, например, не читаю по-немецки.

— Фахим Митха

2

Да, Google Translate не работает так хорошо из-за моих орфографических ошибок! Я добавлю в попытке перевода; это будет хороший способ практиковать мой немецкий.

— Камбала

14

Для меня одна часть интуиции заключается в том, что

\begin{matrix} The degree to which \\ X_{i} varies from \bar{X} \end{matrix} + \begin{matrix} The degree to which \\ \bar{X} varies from μ \end{matrix} = \begin{matrix} The degree to which \\ X_{i} varies from μ . \end{matrix}

$\begin{array}{c} \mbox{The degree to which}\\ X_{i}\mbox{ varies from }\bar{X} \end{array}+\begin{array}{c} \mbox{The degree to which}\\ \bar{X}\mbox{ varies from }\mu \end{array}=\begin{array}{c} \mbox{The degree to which }\\ X_{i}\mbox{ varies from }\mu. \end{array}$

Это,

E [{(X_{i} - \bar{X})}^{2}] + E [{(\bar{X} - μ)}^{2}] = E [{(X_{i} - μ)}^{2}] .

$\mathbf{E}\left[\left(X_{i}-\bar{X}\right)^{2}\right]+\mathbf{E}\left[\left(\bar{X}-\mu\right)^{2}\right]=\mathbf{E}\left[\left(X_{i}-\mu\right)^{2}\right].$

На самом деле для доказательства приведенного выше уравнения требуется немного алгебры (эта алгебра очень похожа на ответ @ Glen_b выше). Но предполагая, что это правда, мы можем изменить порядок, чтобы получить:

E [{(X_{i} - \bar{X})}^{2}] = \underset{σ^{2}}{\underset{⏟}{E [{(X_{i} - μ)}^{2}]}} - \underset{\frac{σ^{2}}{n}}{\underset{⏟}{E [{(\bar{X} - μ)}^{2}]}} = \frac{n - 1}{n} σ^{2} .

$\mathbf{E}\left[\left(X_{i}-\bar{X}\right)^{2}\right]=\underset{\sigma^{2}}{\underbrace{\mathbf{E}\left[\left(X_{i}-\mu\right)^{2}\right]}}-\underset{\frac{\sigma^{2}}{n}}{\underbrace{\mathbf{E}\left[\left(\bar{X}-\mu\right)^{2}\right]}}=\frac{n-1}{n}\sigma^2.$

Для меня другой частью интуиции является то, что использование вместо приводит к смещению. И это смещение точно равно . $\bar{X}$ $\mu$ $\mathbf{E}\left[\left(\bar{X}-\mu\right)^{2}\right]=\frac{\sigma^2}{n}$

— Кенни ЖЖ
источник

12

Большинство ответов уже подробно объяснили это, но кроме них есть одна простая иллюстрация, которая может оказаться полезной:

Предположим, вам дано, что и первые три числа: $n=4$

$8,4,6$ , _

Теперь четвертое число может быть любым, поскольку ограничений нет. Теперь рассмотрим ситуацию, когда вам дают и , тогда, если первые три числа: то четвертое число должно быть . $n=4$ $\bar x=6$ $8,4,6$ $6$

Это означает, что если вам известны значения и , то значение не имеет свободы. Таким образом, дает нам объективную оценку. $n-1$ $\bar x$ $nth$ $n-1$

— Сатвик Бхаттамишра
источник