Вычисление стандартной ошибки в средневзвешенной оценке

Предположим , что $w_1,w_2,\ldots,w_n$ и каждый обращается н.о.р. из некоторых распределений с независимо от . В строго положительны. Вы наблюдаете все , но не ; скорее вы наблюдаете . Я заинтересован в оценке из этой информации. Очевидно, что оценщик является беспристрастным и может быть вычислен с учетом имеющейся информации. $x_1,x_2,...,x_n$ $w_i$ $x_i$ $w_i$ $w_i$ $x_i$ $\sum_i x_i w_i$ $\operatorname{E}\left[x\right]$

\bar{x} = \frac{\sum_{i} w_{i} x_{i}}{\sum_{i} w_{i}}

$\bar{x} = \frac{\sum_i w_i x_i}{\sum_i w_i}$

Как я могу вычислить стандартную ошибку этого оценщика? Для где принимает только значения 0 и 1, я наивно пытался выполнить основном игнорируя изменчивость в , но обнаружил, что это плохо работает для размеров выборки меньше, чем около 250. (И это, вероятно, зависит от дисперсии .) Кажется, что, возможно, у меня недостаточно информации, чтобы вычислить «лучшую» стандартную ошибку. $x_i$

s e \approx \frac{\sqrt{\bar{x} (1 - \bar{x}) \sum_{i} w_{i}^{2}}}{\sum_{i} w_{i}},

$se \approx \frac{\sqrt{\bar{x}(1-\bar{x})\sum_i w_i^2}}{\sum_i w_i},$

w_{i}

$w_i$

w_{i}

$w_i$

standard-error weighted-mean

— shabbychef
источник

Ответы:

Я столкнулся с той же проблемой недавно. Вот что я нашел:

В отличие от простой случайной выборки с равными весами, нет общепринятого определения стандартной ошибки взвешенного среднего. В наши дни было бы просто сделать начальную загрузку и получить эмпирическое распределение среднего значения, и исходя из этой оценки стандартная ошибка.

Что если кто-то хочет использовать формулу для этой оценки?

Основная ссылка - это работа Дональда Ф. Гатца и Лютера Смита, где 3 оценки на основе формул сравниваются с результатами начальной загрузки. Наилучшее приближение к результату начальной загрузки получено из Кокрана (1977):

$(SEM_w)^2={\dfrac{n}{(n-1)(\sum {P_i})^2}}[\sum (P_i X_i-\bar{P}\bar{X}_w)^2-2 \bar{X}_w \sum (P_i-\bar{P})(P_i X_i-\bar{P}\bar{X}_w)+\bar{X}^2_w \sum (P_i-\bar{P})^2]$

Ниже приведен соответствующий код R, полученный из этого потока R listserve .

weighted.var.se <- function(x, w, na.rm=FALSE)
#  Computes the variance of a weighted mean following Cochran 1977 definition
{
  if (na.rm) { w <- w[i <- !is.na(x)]; x <- x[i] }
  n = length(w)
  xWbar = weighted.mean(x,w,na.rm=na.rm)
  wbar = mean(w)
  out = n/((n-1)*sum(w)^2)*(sum((w*x-wbar*xWbar)^2)-2*xWbar*sum((w-wbar)*(w*x-wbar*xWbar))+xWbar^2*sum((w-wbar)^2))
  return(out)
}

Надеюсь это поможет!

— Минг К
источник

Это довольно круто, но для моей проблемы я даже не наблюдаю

, скорее, я наблюдаю сумму

. Мой вопрос очень странный, потому что он связан с некоторой информационной асимметрией (третья сторона сообщает о сумме и пытается скрыть некоторую информацию).

P_{i} X_{i}

$P_iX_i$

\sum_{i} P_{i} X_{i}

$\sum_i P_iX_i$

— Шаббычеф

Черт возьми, извини, я не до конца понял вопрос, который ты поставил. Предположу , мы кипятим вашу проблему вплоть до простейшего случая , когда все

являюсь Бернулли RV. Тогда вы по существу наблюдаете сумму случайного подмножества

RV. Я думаю, что здесь не так много информации для оценки. Итак, что вы в итоге сделали для своей первоначальной проблемы?

w_{i}

$w_i$

n

$n$

— Ming K

@ Ming-ChihKao эта формула Кохрана интересна, но если вы построите доверительный интервал из этого, когда данные не являются нормальными, нет ли правильной последовательной интерпретации? Как бы вы справились с ненормальными средневзвешенными доверительными интервалами? Взвешенные квантили?

— user3022875

Я думаю, что есть ошибка с функцией. Если вы замените w=rep(1, length(x)), то weighted.var.se(rnorm(50), rep(1, 50))о 0.014. Я думаю, что формула отсутствует sum(w^2)в числителе, так как, когда P=1дисперсия 1/(n*(n-1)) * sum((x-xbar)^2). Я не могу проверить процитированную статью, поскольку она находится за платным доступом, но я думаю, что это исправление. Как ни странно, решение Википедии (другое) становится вырожденным, когда все веса равны: en.wikipedia.org/wiki/… .

— Макс Кандокия

Они могут работать лучше вообще: analyticalgroup.com/download/WEIGHTED_MEAN.pdf

— Макс Candocia

Дисперсия вашей оценки с учетом равна $w_i$ Поскольку ваша оценка несмещена для любого, дисперсия ее условного среднего равна нулю. Следовательно, дисперсия вашей оценки

\frac{\sum w_{i}^{2} V a r (X)}{(\sum w_{i})^{2}} = V a r (X) \frac{\sum w_{i}^{2}}{(\sum w_{i})^{2}} .

$\frac{\sum w_i^2 Var(X)}{(\sum w_i)^2} = Var(X) \frac{\sum w_i^2 }{(\sum w_i)^2}.$

w_{i}

$w_i$

Со всеми наблюдаемыми данными это было бы легко оценить эмпирически. Но, учитывая только меру местоположениянаблюдаемого

, а не их распространение, я не понимаю, как можно будет получить оценку

, не делая довольно серьезных предположений.

V a r (X) E (\frac{\sum w_{i}^{2}}{(\sum w_{i})^{2}})

$Var(X) \mathbb{E}\left(\frac{\sum w_i^2 }{(\sum w_i)^2}\right)$

X_{i}

$X_i$

V a r (X)

$Var(X)$

— гость
источник

x_{i}

$x_i$

x

$x$

\bar{x} (1 - \bar{x})

$\bar{x}(1-\bar{x})$