Интуитивное объяснение деления на при расчете стандартного отклонения?

Сегодня в классе меня спросили, почему при расчете стандартного отклонения вы делите сумму квадратичной ошибки на а не на .$n-1$$n$

Я сказал, что не собираюсь отвечать на этот вопрос в классе (поскольку я не хотел вдаваться в объективные оценки), но позже я удивился - есть ли интуитивное объяснение этому ?!

Стандартное отклонение, рассчитанное с делителем представляет собой стандартное отклонение, рассчитанное по выборке как оценка стандартного отклонения популяции, из которой была выбрана выборка. Поскольку наблюдаемые значения в среднем падают ближе к среднему значению выборки, чем к среднему значению для популяции, стандартное отклонение, которое рассчитывается с использованием отклонений от среднего значения для выборки, недооценивает требуемое стандартное отклонение для популяции. Использование вместо в качестве делителя исправляет это, делая результат немного больше.n - 1 $n-1$$n-1$$n$

Обратите внимание, что коррекция имеет больший пропорциональный эффект, когда мало, чем когда оно большое, что мы и хотим, потому что, когда n больше, среднее значение выборки, вероятно, будет хорошей оценкой среднего значения по совокупности.$n$

Когда выборка представляет собой целую совокупность, мы используем стандартное отклонение с в качестве делителя, поскольку среднее значение по выборке является средним по совокупности.$n$

(В скобках отмечу, что ничто, начинающееся со слов «второй момент, окруженный известным, определенным средним значением», не удовлетворит просьбу спрашивающего дать интуитивное объяснение.)

Распространенным является то, что определение дисперсии (распределения) - это второй момент, повторяющийся вокруг известного, определенного среднего значения, тогда как оценщик использует оценочное среднее. Эта потеря степени свободы (учитывая среднее значение, вы можете воссоздать набор данных со знанием только значений данных) требует использования а не чтобы «скорректировать» результат.n - 1 $n-1$$n-1$$n$

Такое объяснение согласуется с оценочными отклонениями в анализе ANOVA и компонентами дисперсии. Это действительно просто особый случай.

Я думаю, что необходимость внести некоторую корректировку, которая раздувает дисперсию, может быть интуитивно понятна с помощью обоснованного аргумента, который не является просто фактическим маханием рукой. (Я помню , что студент , возможно, сделал такой аргумент в его 1908 документ о т-теста.) Почему корректировка дисперсии должна быть точно фактором труднее оправдать, особенно если учесть , что скорректированное SD не является объективной оценкой. (Это просто квадратный корень несмещенной оценки дисперсии. Будучи несмещенным, обычно не выдерживает нелинейного преобразования.) Таким образом, на самом деле, правильная корректировка SD для устранения ее смещения не является фактором$n/(n-1)$$\sqrt{n/(n-1)}$ вообще!

Некоторые вводные учебники даже не удосуживаются ввести скорректированный сд: они учат одной формуле (делим на ). Сначала я негативно отреагировал на это, когда преподавал из такой книги, но стал ценить мудрость: чтобы сосредоточиться на концепциях и приложениях, авторы отбрасывают все несущественные математические тонкости. Оказывается, ничего не пострадало и никто не введен в заблуждение.$n$

По определению, дисперсия рассчитывается путем взятия суммы квадратов разностей от среднего значения и деления на размер. У нас есть общая формула

μ$\sigma^2= \frac{\sum_{i}^{N}(X_i-\mu)^2}{N}$ где - среднее значение, а - численность населения.$\mu$$N$

Согласно этому определению, дисперсия образца (например, образца ) также должна быть рассчитана таким образом.$t$

¯ X$\sigma^2_t= \frac{\sum_{i}^{n}(X_i-\overline{X})^2}{n}$ где - это среднее значение, а - размер этой небольшой выборки. ,$\overline{X}$$n$

Однако под выборочной дисперсией мы подразумеваем оценку дисперсии совокупности . Как мы можем оценить только используя значения из образца?σ 2 σ $S^2$$\sigma^2$$\sigma^2$

Согласно формулам выше, случайная величина отклоняется от среднего значения выборки с дисперсией . Среднее значение выборки также отклоняется от с дисперсией поскольку среднее значение выборки получает разные значения от выборки к выборке и является случайной величиной со средним значением и дисперсией . (Можно легко доказать.)¯ X σ 2 t ¯ X μ σ $X$$\overline{X}$$\sigma^2_t$$\overline{X}$$\mu$ μσ$\frac{\sigma^2}{n}$$\mu$$\frac{\sigma^2}{n}$

Поэтому, примерно, должен отклоняться от с дисперсией, которая включает в себя две дисперсии, поэтому сложите эти два и получите . Решая это, мы получаем . Замена дает нашу оценку дисперсии населения:μ σ 2 = σ 2 t + σ $X$$\mu$ σ2=σ 2 t ×$\sigma^2=\sigma^2_t+\frac{\sigma^2}{n}$ σ 2 $\sigma^2=\sigma^2_t \times\frac{n}{n-1}$$\sigma^2_t$

$S^2= \frac{\sum_{i}^{n}(X_i-\overline{X})^2}{n-1}$ .

Можно также доказать, что верно.$E[S^2]=\sigma^2$

Это полная интуиция, но самый простой ответ заключается в том, что исправление сделано для того, чтобы стандартное отклонение выборки из одного элемента было неопределенным, а не 0.

Вы можете получить более глубокое понимание термина помощью геометрии, не только почему это не n, но почему он принимает именно эту форму, но вам может сначала понадобиться создать свою интуицию, чтобы справиться с n- мерной геометрией. Оттуда, однако, это небольшой шаг к более глубокому пониманию степеней свободы в линейных моделях (то есть модели df и остаточного df). Я думаю, что мало сомнений в том, что Фишер думал так. Вот книга, которая строит это постепенно:$n-1$$n$$n$

Савилль DJ, Вуд GR. Статистические методы: геометрический подход . 3-е издание. Нью-Йорк: Спрингер-Верлаг; 1991. 560 с. 9780387975177

(Да, 560 страниц. Я сказал постепенно.)

Оценка дисперсии населения смещена при применении к выборке населения. Чтобы скорректировать это смещение, необходимо разделить на n-1 вместо n. Можно математически показать, что оценка выборочной дисперсии несмещена, когда мы делим на n-1 вместо n. Формальное доказательство предоставлено здесь:

https://economictheoryblog.com/2012/06/28/latexlatexs2/

Изначально, я полагаю, именно математическая правильность привела к формуле. Однако, если кто-то хочет добавить интуицию к формуле, уже упомянутые предложения представляются разумными.

Во-первых, наблюдения выборки в среднем ближе к средней выборке, чем к средней популяции. Оценщик дисперсии использует среднее значение выборки и, как следствие, недооценивает истинную дисперсию совокупности. Деление на n-1 вместо n исправляет это смещение.

Кроме того, деление на n-1 делает дисперсию выборки из одного элемента неопределенной, а не нулевой.

Почему делим на а не на n ? Потому что это обычно и приводит к непредвзятой оценке дисперсии. Однако это приводит к смещенной (низкой) оценке стандартного отклонения, что можно увидеть, применяя неравенство Дженсена к вогнутой функции, квадратному корню.$n-1$$n$

Так что же такого хорошего в объективной оценке? Это не обязательно минимизирует среднеквадратичную ошибку. MLE для нормального распределения - это деление на а не на n - 1 . Научите своих учеников думать, а не извергать и бездумно применять устаревшие представления столетней давности.$n$$n-1$

$\alpha z^2 + 2\beta z + \gamma$$z = -\frac{\beta}{\alpha}$$n$$x_1, x_2, \ldots, x_n$

$$G(a) = \sum_{i=1}^n (x_i-a)^2 = \left(\sum_{i=1}^n x_i^2\right) -2a\left(\sum_{i=1}^n x_i\right) + na^2,$$ $\displaystyle a = \frac 1n \sum_{i=1}^n x_i =\bar{x}$

$x_i$$n$$\mu$$\sigma^2$$\mu$$\frac 1n \sum_{i=1}^n x_i = \bar{x}$$\sigma^2$$\frac 1n \sum_{i=1}^n (x_i-\mu)^2 = n^{-1}G(\mu)$$\mu$$G(\bar{x})$$G(\mu) \geq G(\bar{x})$$G(\mu)$$G(\mu)$$G(\bar{x})$$\frac{n}{n-1}$

$$G(\mu) \approx \frac{n}{n-1}G(\bar{x})\tag{1}$$ $\displaystyle n^{-1}G(\mu)= \frac 1n\sum_{i=1}^n(x_i-\mu)^2$$\displaystyle \frac{1}{n-1}G(\bar{x}) = \frac{1}{n-1}\sum_{i=1}^n (x_i-\bar{x})^2.$

$(1)$

$$\begin{align} G(\mu) &= \sum_{i=1}^n (x_i-\mu)^2\\ &= \sum_{i=1}^n (x_i-\bar{x} + \bar{x}-\mu)^2\\ &= \sum_{i=1}^n \left((x_i-\bar{x})^2 + (\bar{x}-\mu)^2 + 2(x_i-\bar{x})(\bar{x}-\mu)\right)\\ &= G(\bar{x}) + n(\bar{x}-\mu)^2 + (\bar{x}-\mu)\sum_{i=1}^n(x_i-\bar{x})\\ &= G(\bar{x}) + n(\bar{x}-\mu)^2 \tag{2} \end{align}$$ $\sum_{i=1}^n (x_i-\bar{x}) = n\bar{x}-n\bar{x} = 0$ $$\begin{align} n(\bar{x}-\mu)^2 &= n\frac{1}{n^2}\left(\sum_{i=1}^n(x_i-\mu)\right)^2\\ &= \frac 1n \sum_{i=1}^n(x_i-\mu)^2 + \frac 2n \sum_{i=1}^n\sum_{j=i+1}^n(x_i-\mu)(x_j-\mu)\\ &= \frac 1n G(\mu) + \frac 2n \sum_{i=1}^n\sum_{j=i+1}^n(x_i-\mu)(x_j-\mu)\tag{3} \end{align}$$ $x_i$$\mu$$\mu$$(x_i-\mu)(x_j-\mu)$$(3)$$\frac 1nG(\mu)$$(3)$$(2)$ $$G(\mu) \approx G(\bar{x}) + \frac 1nG(\mu) \Longrightarrow G(\mu) \approx \frac{n}{n-1}G(\bar{x})$$ $(1)$

$(x_i-x_j)^2/2$

$$s^2 = \frac{2}{n(n-1)}\sum_{i< j}\frac{(x_i-x_j)^2}{2} = \frac{1}{n-1}\sum_{i=1}^n(x_i-\bar{x})^2 .$$

$X$$Y$

$$V(X) = E\left(\frac{(X-Y)^2}{2}\right) = E((X-E(X))^2) .$$

Чтобы перейти от определения дисперсии случайных величин к определению дисперсии выборки, необходимо оценить ожидание с помощью среднего значения, которое может быть оправдано философским принципом типичности: выборка представляет собой типичное представление распределения. (Обратите внимание, что это связано, но не совпадает с оценкой по моментам.)

$N=1$$x$$\overline{m}=x$$1$

$$V=\frac{\sum_N (x_n - \overline{m} )^2}{N}$$

$$\overline{V}=\frac{(x-\overline{m})^2}{1} = 0\,.$$

$y$$x\neq y$$N-1=0$

$0$$d+1$$d$$d+1$

По предложению whuber этот ответ был скопирован с другого подобного вопроса .

Поправка Бесселя принята для исправления смещения при использовании выборочной дисперсии в качестве оценки истинной дисперсии. Смещение в нескорректированной статистике происходит потому, что среднее значение выборки ближе к середине наблюдений, чем истинное среднее, и поэтому квадратичные отклонения вокруг среднего значения выборки систематически занижают квадратичные отклонения вокруг истинного среднего значения.

$S_*^2$$n$

$$\begin{equation} \begin{aligned} S_*^2 &= \frac{1}{n} \sum_{i=1}^n (X_i - \bar{X})^2 \\[8pt] &= \frac{1}{n} \sum_{i=1}^n (X_i^2 - 2 \bar{X} X_i + \bar{X}^2) \\[8pt] &= \frac{1}{n} \Bigg( \sum_{i=1}^n X_i^2 - 2 \bar{X} \sum_{i=1}^n X_i + n \bar{X}^2 \Bigg) \\[8pt] &= \frac{1}{n} \Bigg( \sum_{i=1}^n X_i^2 - 2 n \bar{X}^2 + n \bar{X}^2 \Bigg) \\[8pt] &= \frac{1}{n} \Bigg( \sum_{i=1}^n X_i^2 - n \bar{X}^2 \Bigg) \\[8pt] &= \frac{1}{n} \sum_{i=1}^n X_i^2 - \bar{X}^2. \end{aligned} \end{equation}$$

Взятие ожиданий дает:

$$\begin{equation} \begin{aligned} \mathbb{E}(S_*^2) &= \frac{1}{n} \sum_{i=1}^n \mathbb{E}(X_i^2) - \mathbb{E} (\bar{X}^2) \\[8pt] &= \frac{1}{n} \sum_{i=1}^n (\mu^2 + \sigma^2) - (\mu^2 + \frac{\sigma^2}{n}) \\[8pt] &= (\mu^2 + \sigma^2) - (\mu^2 + \frac{\sigma^2}{n}) \\[8pt] &= \sigma^2 - \frac{\sigma^2}{n} \\[8pt] &= \frac{n-1}{n} \cdot \sigma^2 \\[8pt] \end{aligned} \end{equation}$$

$\sigma^2$$n-1$

Обычно использование «n» в знаменателе дает меньшие значения, чем дисперсия населения, что мы и хотим оценить. Особенно это происходит, если брать маленькие образцы. На языке статистики мы говорим, что выборочная дисперсия дает «смещенную» оценку дисперсии населения и должна быть «беспристрастной».

Если вы ищете интуитивное объяснение, вы должны позволить своим студентам увидеть причину для себя, фактически взяв образцы! Посмотрите, это точно ответит на ваш вопрос.

https://www.youtube.com/watch?v=xslIhnquFoE

$\bar{X} = \frac{1}{n}\sum_{i=1}^{n} X_i$$S^2 = \frac{1}{n-1}\sum_{i=1}^{n} (X_i - \bar{X})^2$$n - 1$

Чтобы ответить на этот вопрос, мы должны вернуться к определению объективной оценки. Беспристрастный оценщик - тот, ожидание которого стремится к истинному ожиданию. Среднее значение выборки является объективной оценкой. Чтобы понять почему:

$$E[\bar{X}] = \frac{1}{n}\sum_{i=1}^{n} E[X_i] = \frac{n}{n} \mu = \mu$$

Давайте посмотрим на ожидание выборочной дисперсии,

$$S^2 = \frac{1}{n-1} \sum_{i=1}^{n} (X_i^2) - n\bar{X}^2$$

$$E[S^2] = \frac{1}{n-1} \left( n E[(X_i^2)] - nE[\bar{X}^2] \right).$$

$\bar{X}$$E[\bar{X}^2]$$n-1$

$$E[S^2] = \frac{1}{n-1} \left( n (\mu^2 + \sigma^2) - n(\mu^2 + Var(\bar{X})) \right).$$ $$Var(\bar{X}) = Var(\frac{1}{n}\sum_{i=1}^{n} X_i) = \sum_{i=1}^{n} \frac{1}{n^2} Var(X_i) = \frac{\sigma^2}{n}$$

$$E[S^2] = \frac{1}{n-1} \left( n (\mu^2 + \sigma^2) - n(\mu^2 + \sigma^2/n) \right). = \frac{(n-1)\sigma^2}{n-1} = \sigma^2 \\ $$

$n$$n-1$$n-1$$S^2$

$\mu$$\sigma^2$$n$$\mu$

$$\sigma^2 \left(\frac{n+1}{n-1}\right),$$

$2n$

Обобщенное распределение T ученика имеет три параметра и использует все три ваши статистические данные. Если вы решите выбросить некоторую информацию, вы можете дополнительно приблизить свои данные, используя нормальное распределение с двумя параметрами, как описано в вашем вопросе.

С байесовской точки зрения вы можете себе представить, что неопределенность в гиперпараметрах модели (распределения по среднему и дисперсии) приводит к тому, что дисперсия апостериорного предиктивного значения больше, чем дисперсия популяции.

Боже мой, это становится все сложнее! Я думал, что простой ответ был ... если у вас есть все точки данных, которые вы можете использовать «n», но если у вас есть «выборка», то, предполагая, что это случайная выборка, вы получите больше точек выборки из стандартного отклонения чем снаружи (определение стандартного отклонения). Вам просто не хватает данных снаружи, чтобы гарантировать, что вы получите все необходимые данные в случайном порядке. N-1 помогает расширяться в сторону «реального» стандартного отклонения.