Стандартное отклонение бин-наблюдений

У меня есть набор данных наблюдений за образцами, которые хранятся в виде отсчетов в пределах диапазона. например:

min/max  count
40/44    1
45/49    2
50/54    3
55/59    4
70/74    1

Теперь найти среднюю оценку из этого довольно просто. Просто используйте среднее значение (или медиану) каждого бина диапазона в качестве наблюдения и счетчик в качестве веса и найдите средневзвешенное значение:

{\bar{x}}^{*} = \frac{1}{\sum_{i = 1}^{N} w_{i}} \sum_{i = 1}^{N} w_{i} x_{i}

$\bar{x}^* = \frac{1}{\sum_{i=1}^N w_i} \sum_{i=1}^N w_ix_i$

Для моего теста это дает мне 53,82.

Мой вопрос сейчас заключается в том, как правильно найти стандартное отклонение (или дисперсию)?

В процессе поиска я нашел несколько ответов, но я не уверен, что, если таковые имеются, действительно подходит для моего набора данных. Мне удалось найти следующую формулу как по другому вопросу здесь, так и по случайному документу NIST .

s^{2 *} = \frac{\sum_{i = 1}^{N} w_{i} (x_{i} - {\bar{x}}^{*})^{2}}{\frac{(M - 1)}{M} \sum_{i = 1}^{N} w_{i}}

$s^{2*} = \frac{ \sum_{i=1}^N w_i (x_i - \bar{x}^*)^2 }{ \frac{(M-1)}{M} \sum_{i=1}^N w_i }$

Что дает стандартное отклонение 8,35 для моего теста. Тем не менее, статья в Википедии о взвешенных средних дает обе формулы:

s^{2 *} = \frac{\sum_{i = 1}^{N} w_{i}}{(\sum_{i = 1}^{N} w_{i})^{2} - \sum_{i = 1}^{N} w_{i}^{2}} \sum_{i = 1}^{N} w_{i} (x_{i} - {\bar{x}}^{*})^{2}

$s^{2*} = \frac{ \sum_{i=1}^N w_i}{(\sum_{i=1}^N w_i)^2 - \sum_{i=1}^N w_i^2} \sum_{i=1}^N w_i(x_i-\bar{x}^*)^2$

а также

s^{2 *} = \frac{1}{(\sum_{i = 1}^{N} w_{i}) - 1} \sum_{i = 1}^{N} w_{i} (x_{i} - {\bar{x}}^{*})^{2}

$s^{2*} = \frac{1}{(\sum_{i=1}^N w_i) - 1} \sum_{i=1}^N w_i(x_i-\bar{x}^*)^2$

Которые дают стандартные отклонения 8,66 и 7,83, соответственно, для моего теста.

Обновить

Спасибо @whuber, который предложил заглянуть в Исправления Шеппарда, и ваши полезные комментарии, связанные с ними. К сожалению, мне трудно понять, какие ресурсы я могу найти по этому поводу (и я не могу найти хороших примеров). Напомним, однако, что я понимаю, что следующее является предвзятой оценкой дисперсии:

s^{2 *} = \frac{1}{\sum_{i = 1}^{N} w_{i}} \sum_{i = 1}^{N} w_{i} (x_{i} - {\bar{x}}^{*})^{2}

$s^{2*} = \frac{1}{\sum_{i=1}^N w_i} \sum_{i=1}^N w_i(x_i-\bar{x}^*)^2$

Я также понимаю, что большинство стандартных поправок на смещение относятся к прямым случайным выборкам нормального распределения. Поэтому я вижу две потенциальные проблемы для меня:

Это случайные сэмплы (я уверен, что именно здесь появляются поправки Шеппарда).
Неизвестно, предназначены ли данные для нормального распределения (поэтому я предполагаю, что нет, что, я уверен, делает недействительными исправления Шеппарда).

Итак, мой обновленный вопрос: Каков подходящий метод для обработки смещения, налагаемого «простой» формулой взвешенного стандартного отклонения / дисперсии для ненормального распределения? В частности, в отношении связанных данных.

Примечание: я использую следующие термины:

$s^{2*}$ - взвешенная дисперсия
$N$ - количество наблюдений. (т.е. количество бинов)
$M$ - число ненулевых весов. (т.е. количество бинов с количеством)
$w_i$ являются весами (то есть счет)
$x_i$ - наблюдения. (т.е. мусорное ведро означает)
$\bar{x}^*$ - взвешенное среднее.

variance standard-deviation weighted-sampling

— chezy525
источник

Google "исправления Шеппарда" для стандартных решений этой проблемы.

— whuber

@whuber, я боюсь, что мой google-foo подводит меня ... Я не нахожу много о том, как использовать исправления Шеппарда. Насколько я могу судить, это исправление для бинарного характера данных, и в моем тестовом примере будет использоваться как

, где

- размер бункеров (в моем тестовом случае 4). Это верно? В любом случае, то, что я обнаружил, похоже, не помогает мне с вычислением

s^{2 *} - \frac{c^{2}}{12}

$s^{2*} - \frac{c^2}{12}$

c

$c$

s^{2 *}

$s^{2*}$

— chezy525

Второй удар в моем поиске Google дает явную формулу (уравнение 9).

— whuber

@ whuber, это было пару месяцев, и я попытался прочитать документ, который вы связали пару раз. Я думаю, что я все еще что-то упускаю, но самое лучшее, что я придумал, это то, что последнее уравнение, которое я перечислил, является правильным как объективная оценка. Это правильно?

— chezy525

Исправления Шеппарда не предполагают нормальности.

— Glen_b

В этом ответе представлены два решения: поправки Шеппарда и оценка максимального правдоподобия. Оба близко согласны с оценкой стандартного отклонения: для первого и для второго (при корректировке, чтобы быть сопоставимым с обычным «несмещенным» оценщиком). $7.70$ $7.69$

Исправления Шеппарда

«Поправки Шеппарда» - это формулы, которые корректируют моменты, вычисленные по двоичным данным (например, таким)

предполагается, что данные регулируются распределением, поддерживаемым на конечном интервале $[a,b]$
этот интервал делится последовательно на равные ячейки с общей шириной которая относительно мала (ни одна ячейка не содержит большую долю всех данных) $h$
распределение имеет непрерывную функцию плотности.

Они получены из формулы суммы Эйлера-Маклаурина, которая аппроксимирует интегралы в терминах линейных комбинаций значений подынтегрального выражения в равномерно распределенных точках и, следовательно, в целом применима (а не только к нормальным распределениям).

Хотя, строго говоря, нормальное распределение не поддерживается на конечном интервале, в очень близком приближении это так. По существу, вся его вероятность содержится в семи стандартных отклонениях от среднего. Поэтому поправки Шеппарда применимы к данным, предположительно поступающим из нормального распределения.

Первые два исправления Шеппарда

Используйте среднее значение данных в двоичном виде для среднего значения данных (т. Е. Коррекция среднего значения не требуется).
Вычитание из дисперсии Binned данных для получения (приблизительно) дисперсии данных. $h^2/12$

Где взялось? Это равно дисперсии равномерной переменной, распределенной по интервалу длины . Таким образом, интуитивно понятно, что поправка Шеппарда для второго момента предполагает, что биннинг данных - эффективная замена их на среднюю точку каждого бина - добавляет примерно равномерно распределенное значение в диапазоне от до , откуда он надувается. дисперсия по . $h^2/12$ $h$ $-h/2$ $h/2$ $h^2/12$

Давайте сделаем расчеты. Я использую, Rчтобы проиллюстрировать их, начиная с указания количества и корзин:

counts <- c(1,2,3,4,1)
bin.lower <- c(40, 45, 50, 55, 70)
bin.upper <- c(45, 50, 55, 60, 75)

Правильная формула для использования при подсчете исходит из репликации ширины бина на суммы, заданные подсчетами; то есть, данные в двоичном виде эквивалентны

42.5, 47.5, 47.5, 52.5, 52.5, 57.5, 57.5, 57.5, 57.5, 72.5

$x$ $k$ $kx^2$

bin.mid <- (bin.upper + bin.lower)/2
n <- sum(counts)
mu <- sum(bin.mid * counts) / n
sigma2 <- (sum(bin.mid^2 * counts) - n * mu^2) / (n-1)

mu $1195/22 \approx 54.32$ sigma2 $675/11 \approx 61.36$ $7.83$ $h=5$ $h^2/12 = 25/12 \approx 2.08$ $\sqrt{675/11 - 5^2/12} \approx 7.70$

Оценки максимального правдоподобия

$F_\theta$ $\theta$ $(x_0, x_1]$ $k$ $F_\theta$

\log \prod_{i = 1}^{k} (F_{θ} (x_{1}) - F_{θ} (x_{0})) = k \log (F_{θ} (x_{1}) - F_{θ} (x_{0}))

$\log \prod_{i=1}^k \left(F_\theta(x_1) - F_\theta(x_0)\right) = k\log\left(F_\theta(x_1) - F_\theta(x_0)\right)$

(см. MLE / Вероятность логнормально распределенного интервала ).

$\Lambda(\theta)$ $\hat\theta$ $-\Lambda(\theta)$ $\theta$ R

sigma <- sqrt(sigma2) # Crude starting estimate for the SD
likelihood.log <- function(theta, counts, bin.lower, bin.upper) {
  mu <- theta[1]; sigma <- theta[2]
  -sum(sapply(1:length(counts), function(i) {
    counts[i] * 
      log(pnorm(bin.upper[i], mu, sigma) - pnorm(bin.lower[i], mu, sigma))
  }))
}
coefficients <- optim(c(mu, sigma), function(theta) 
  likelihood.log(theta, counts, bin.lower, bin.upper))$par

$(\hat\mu, \hat\sigma) = (54.32, 7.33)$

$\sigma$ $n/(n-1)$ $\sigma$ $\sqrt{n/(n-1)} \hat\sigma = \sqrt{11/10}\times 7.33 = 7.69$ $7.70$

Проверка предположений

Чтобы визуализировать эти результаты, мы можем построить подгоночную нормальную плотность по гистограмме:

hist(unlist(mapply(function(x,y) rep(x,y), bin.mid, counts)),
     breaks = breaks, xlab="Values", main="Data and Normal Fit")
curve(dnorm(x, coefficients[1], coefficients[2]), 
      from=min(bin.lower), to=max(bin.upper), 
      add=TRUE, col="Blue", lwd=2)

фигура

$11$

$\chi^2$ $\chi^2$ R

breaks <- sort(unique(c(bin.lower, bin.upper)))
fit <- mapply(function(l, u) exp(-likelihood.log(coefficients, 1, l, u)),
              c(-Inf, breaks), c(breaks, Inf))
observed <- sapply(breaks[-length(breaks)], function(x) sum((counts)[bin.lower <= x])) -
  sapply(breaks[-1], function(x) sum((counts)[bin.upper < x]))
chisq.test(c(0, observed, 0), p=fit, simulate.p.value=TRUE)

Выход

Chi-squared test for given probabilities with simulated p-value (based on 2000 replicates)

data:  c(0, observed, 0) 
X-squared = 7.9581, df = NA, p-value = 0.2449

$0.245$

— Whuber
источник