Разница между стандартной ошибкой и стандартным отклонением

Я изо всех сил пытаюсь понять разницу между стандартной ошибкой и стандартным отклонением. Чем они отличаются и почему нужно измерять стандартную ошибку?

Чтобы завершить ответ на вопрос, Ocram хорошо рассмотрел стандартную ошибку, но не сравнил ее со стандартным отклонением и не упомянул зависимость от размера выборки. В качестве частного случая для оценки рассмотрим выборку среднего. Стандартная ошибка для среднего значения - это где$\sigma \, / \, \sqrt{n}$$\sigma$стандартное отклонение населения. Таким образом, в этом примере мы ясно видим, как стандартная ошибка уменьшается с увеличением размера выборки. Стандартное отклонение чаще всего используется для обозначения отдельных наблюдений. Таким образом, стандартное отклонение описывает изменчивость отдельных наблюдений, в то время как стандартная ошибка показывает изменчивость оценки. Хорошие оценки непротиворечивы, что означает, что они сходятся к истинному значению параметра. Когда их стандартная ошибка уменьшается до 0 при увеличении размера выборки, оценки согласуются, что в большинстве случаев происходит потому, что стандартная ошибка становится равной 0, как мы явно видим со средним значением выборки.

Вот более практичный (а не математический) ответ:

• SD (стандартное отклонение) количественно определяет разброс - насколько значения отличаются друг от друга.
• SEM (стандартная ошибка среднего) дает количественную оценку того, насколько точно вы знаете истинное среднее значение популяции. Он учитывает как значение SD, так и размер выборки.
• И SD, и SEM находятся в одних и тех же единицах - единицах данных.
• SEM по определению всегда меньше SD.
• SEM становится меньше по мере увеличения ваших образцов. Это имеет смысл, поскольку среднее значение большой выборки, вероятно, будет ближе к истинному среднему значению популяции, чем среднее значение небольшой выборки. С огромной выборкой вы будете знать значение среднего значения с большой точностью, даже если данные очень разбросаны.
• SD не изменяется предсказуемо, поскольку вы получаете больше данных. SD, который вы вычисляете по выборке, является наилучшей из возможных оценок SD всей популяции. По мере того, как вы будете собирать больше данных, вы будете более точно оценивать SD населения. Но вы не можете предсказать, будет ли SD из большей выборки больше или меньше, чем SD из небольшой выборки. (Это упрощение, не совсем верно. См. Комментарии ниже.)

Обратите внимание, что стандартные ошибки могут быть вычислены практически для любого параметра, который вы вычисляете по данным, а не только по среднему значению. Фраза «стандартная ошибка» немного двусмысленна. Приведенные выше пункты относятся только к стандартной ошибке среднего.

(Из Руководства по статистике GraphPad, которое я написал.)

$\theta$$\mathbf{x} = \{x_1, \ldots, x_n \}$$\theta$$\hat{\theta}(\mathbf{x})$$\hat{\theta}(\mathbf{x})$$\mathbf{x}$$\tilde{\mathbf{x}}$$\hat{\theta}(\tilde{\mathbf{x}})$$\hat{\theta}(\mathbf{x})$$\hat{\theta}$$\hat{\theta}(\mathbf{x})$$\hat{\theta}$

(обратите внимание, что я сосредотачиваюсь на стандартной ошибке среднего значения, что, как я полагаю, задавал вопрос также, но вы можете генерировать стандартную ошибку для любой выборочной статистики)

Стандартная ошибка связана со стандартным отклонением, но это не одно и то же, и увеличение размера выборки не сближает их. Скорее, это делает их дальше друг от друга. Стандартное отклонение выборки становится ближе к стандартному отклонению популяции по мере увеличения размера выборки, но не стандартной ошибки.

Иногда терминология вокруг этого немного сложна.

Когда вы собираете выборку и вычисляете стандартное отклонение этой выборки, по мере увеличения размера выборки оценка стандартного отклонения становится все более и более точной. Судя по твоему вопросу, именно об этом ты и думал. Но также учтите, что среднее значение выборки, как правило, ближе к среднему значению для населения. Это важно для понимания стандартной ошибки.

Стандартная ошибка заключается в том, что произойдет, если вы получите несколько образцов заданного размера. Если вы берете выборку из 10, вы можете получить некоторую оценку среднего значения. Затем вы берете другую выборку из 10 и новую среднюю оценку, и так далее. Стандартное отклонение средних значений этих образцов является стандартной ошибкой. Учитывая, что вы задали свой вопрос, вы, вероятно, теперь можете видеть, что, если N велико, тогда стандартная ошибка меньше, поскольку средние значения выборок с меньшей вероятностью будут сильно отклоняться от истинного значения.

Для некоторых это звучит как-то чудесно, учитывая, что вы рассчитали это по одной выборке. Итак, что вы можете сделать - это загрузить стандартную ошибку с помощью симуляции, чтобы продемонстрировать взаимосвязь. В R это будет выглядеть так:

# the size of a sample
n <- 10
# set true mean and standard deviation values
m <- 50
s <- 100

# now generate lots and lots of samples with mean m and standard deviation s
# and get the means of those samples. Save them in y.
y <- replicate( 10000, mean( rnorm(n, m, s) ) )
# standard deviation of those means
sd(y)
# calcuation of theoretical standard error
s / sqrt(n)

Вы обнаружите, что эти две последние команды генерируют одно и то же число (приблизительно). Вы можете изменять значения n, m и s, и они всегда будут довольно близко друг к другу.