Почему увеличение размера выборки уменьшает дисперсию (выборку)?

Большая фотография:

Я пытаюсь понять, как увеличение размера выборки увеличивает мощность эксперимента. Слайды моего лектора объясняют это картиной из 2 нормальных распределений, одно для нулевой гипотезы и одно для альтернативной гипотезы и порога принятия решения c между ними. Они утверждают, что увеличение размера выборки приведет к снижению дисперсии и, следовательно, к более высокому эксцессу, уменьшению общей площади под кривыми и, следовательно, вероятности ошибки типа II.

Маленькая картинка:

Я не понимаю, как больший размер выборки уменьшит дисперсию.
Я предполагаю, что вы просто рассчитываете выборочную дисперсию и используете ее в качестве параметра в нормальном распределении.

Я пытался:

• Google , но большинство принятых ответов имеют 0 голосов или являются просто примерами
• мышление : по закону больших чисел каждое значение должно в конечном итоге стабилизироваться вокруг его вероятного значения в соответствии с нормальным распределением, которое мы предполагаем. И поэтому дисперсия должна сходиться к дисперсии нашего предполагаемого нормального распределения. Но какова дисперсия этого нормального распределения и является ли оно минимальным значением, т.е. можем ли мы быть уверены, что наша выборочная дисперсия уменьшится до этого значения?

Стандартные отклонения средних меньше стандартных отклонений отдельных наблюдений. [Здесь я буду предполагать независимые идентично распределенные наблюдения с конечной дисперсией населения; что-то подобное можно сказать, если вы расслабите первые два условия.]

Это является следствием того простого факта, что стандартное отклонение суммы двух случайных величин меньше, чем сумма стандартных отклонений (оно может быть равным только тогда, когда две переменные идеально коррелированы).

Фактически, когда вы имеете дело с некоррелированными случайными переменными, мы можем сказать что-то более конкретное: дисперсия суммы переменных - это сумма их дисперсий.

$n$

$n$

$\sigma_{\bar{X}}=\sigma/\sqrt{n}$

Таким образом, когда вы добавляете больше данных, вы получаете все более точные оценки групповых средних. Аналогичный эффект применяется в задачах регрессии.

Поскольку мы можем получить более точные оценки средних значений путем увеличения размера выборки, нам легче различать средние значения, которые находятся близко друг к другу - хотя распределения довольно сильно перекрываются, взяв большой размер выборки, мы все равно можем оценить их Население означает достаточно точно, чтобы сказать, что они не одинаковы.

Изменчивость, которая уменьшается при увеличении N, является изменчивостью среднего значения выборки, часто выражаемой как стандартная ошибка. Или, другими словами, достоверность среднего значения выборки возрастает.

Представьте, что вы проводите эксперимент, в котором вы собираете 3 мужчин и 3 женщин и измеряете их рост. Насколько вы уверены, что средние высоты каждой группы являются истинным средним для отдельных групп мужчин и женщин? Я должен думать, что ты не будешь очень уверен в этом. Вы можете легко собрать новые образцы 3 и найти новые средства в нескольких дюймах от первых. Многие из повторяющихся экспериментов, подобных этому, могут даже привести к тому, что женщины станут более высокими, чем мужчины, потому что средства будут сильно различаться. При низком N у вас нет особой уверенности в среднем по выборке, и она сильно варьируется по выборкам.

Теперь представьте 10 000 наблюдений в каждой группе. Будет довольно сложно найти новые образцы из 10000, которые имеют средства, которые сильно отличаются друг от друга. Они будут гораздо менее изменчивы, и вы будете более уверены в их точности.

$\sigma$$\sqrt n$

Вот небольшая симуляция в R, чтобы продемонстрировать связь между стандартной ошибкой и стандартным отклонением средних значений многих повторений первоначального эксперимента. В этом случае мы начнем со среднего значения населения 100 и стандартного отклонения 15.

mu <- 100
s <- 50
n <- 5
nsim <- 10000 # number of simulations
# theoretical standard error
s / sqrt(n)
# simulation of experiment and the standard deviations of their means
y <- replicate( nsim, mean( rnorm(n, mu, s) ) )
sd(y)

Обратите внимание, что окончательное стандартное отклонение близко к теоретической стандартной ошибке. Играя с переменной n здесь вы можете видеть, что мера изменчивости будет уменьшаться с увеличением n.

[Кроме того, куртоз на графиках действительно не меняется (при условии, что они являются нормальными распределениями). Понижение дисперсии не меняет эксцесс, но распределение будет выглядеть уже. Единственный способ визуально исследовать изменения эксцессов - поставить распределения в одном масштабе.]

Если вы хотите узнать, каков средний вес американских граждан, то в идеальном случае вы бы сразу попросили каждого гражданина встать на весы и собрать данные. Вы получите точный ответ. Это очень сложно, так что, возможно, вы могли бы заставить нескольких граждан шагнуть в масштабе, вычислить среднее значение и получить представление о том, каково среднее число населения. Будете ли вы ожидать, что выборочная средняя будет точно равна средней численности населения? Надеюсь нет.

Теперь, согласитесь ли вы, что если у вас будет все больше и больше людей, в какой-то момент мы станем ближе к населению? Мы должны, верно? В конце концов, большинство людей, которых мы можем получить, - это целое население, и это означает, что мы ищем. Это интуиция.

Это был идеализированный мысленный эксперимент. На самом деле, есть осложнения. Я дам тебе два.

• Представьте, что данные поступают из дистрибутива Коши . Вы можете увеличивать свою выборку бесконечно, но дисперсия не будет уменьшаться. Это распределение не имеет дисперсии населения. На самом деле, строго говоря, он также не имеет выборочного значения. Грустно. Удивительно, но это распределение вполне реально, оно всплывает кое-где в физике.
• Представьте, что вы решили продолжить работу по определению среднего веса американских граждан. Итак, вы берете свои весы и идете из дома в дом. Это займет у вас много много лет. К тому времени, когда вы соберете миллион наблюдений, некоторые граждане в вашем наборе данных сильно изменят свой вес, некоторые умрут и т. Д. Дело в том, что увеличение размера выборки в этом случае вам не поможет.

Я считаю, что закон больших чисел объясняет, почему дисперсия (стандартная ошибка) уменьшается при увеличении размера выборки. В статье Википедии об этом говорится:

Согласно закону, среднее значение результатов, полученных в ходе большого числа испытаний, должно быть близко к ожидаемому значению, и будет стремиться стать ближе к нему по мере выполнения большего количества испытаний.

В терминах центральной предельной теоремы:

При отборе одной случайной выборки, чем больше выборка, тем ближе среднее значение выборки будет к среднему значению для популяции (в приведенной выше цитате «число испытаний» следует рассматривать как «размер выборки», поэтому каждое «испытание» является наблюдением). ). Поэтому при рисовании бесконечного числа случайных выборок дисперсия распределения выборки будет тем меньше, чем больше размер каждой выборки.

Другими словами, форма колокола будет более узкой, когда каждая выборка большая, а не маленькая, потому что таким образом каждое среднее значение выборки будет ближе к центру колокола.

По мере увеличения размера выборки дисперсия выборки (вариация между наблюдениями) увеличивается, но дисперсия среднего значения выборки (стандартная ошибка) уменьшается и, следовательно, увеличивается точность.