Какова дисперсия этой оценки

Я хочу оценить среднее значение функции f, т. где и - независимые случайные величины. У меня есть образцы f, но не iid: есть образцы для и для каждого есть выборки из :

E_{X, Y} [f (X, Y)]

$E_{X,Y}[f(X,Y)]$

X

$X$

Y

$Y$

Y_{1}, Y_{2}, \dots Y_{n}

$Y_1,Y_2,\dots Y_n$

Y_{i}

$Y_i$

n_{i}

$n_i$

X

$X$

X_{i, 1}, X_{i, 2}, \dots, X_{i, n_{i}}

$X_{i,1},X_{i,2},\dots, X_{i,n_i}$

Таким образом, у меня есть выборки $f(X_{1,1},Y_1) \dots f(X_{1,n_1},Y_1 ) \dots f(X_{i,j},Y_i) \dots f(X_{n,n_n},Y_n)$

Чтобы оценить среднее значение, я вычисляю Очевидно, так что является объективной оценкой. Теперь мне интересно, что такое , то есть дисперсия оценки.

μ = \sum_{i = 1}^{n} 1 / n * \sum_{j = 1}^{n_{i}} \frac{f (X_{i, j}, Y_{i})}{n_{i}}

$\mu=\sum_{i=1}^n 1/n * \sum_{j=1}^{n_i}\frac{ f(X_{i,j},Y_i)}{n_i}$

E_{X, Y} [μ] = E_{X, Y} [f (X, Y)]

$E_{X,Y}[\mu]=E_{X,Y}[f(X,Y)]$

μ

$\mu$

V a r (μ)

$Var(\mu)$

Изменить 2: это правильная разница? It кажется, работает в пределе, то есть, если n = 1 и все дисперсия просто становится дисперсией средних. И если формула становится стандартной формулой для дисперсии оценок. Это правильно? Как я могу доказать, что это так?

V a r (μ) = \frac{V a r_{Y} (μ_{i})}{n} + \sum_{i = 1}^{n} \frac{V a r_{X} (f (X, Y_{i})))}{n_{i} * n^{2}}

$Var(\mu)=\frac{Var_Y(\mu_i)}{n}+\sum_{i=1}^n \frac{Var_X(f(X,Y_i)))}{n_i*n^2}$

n_{i} = \infty

$n_i=\infty$

n_{i} = 1

$n_i=1$

Редактировать (игнорировать это):

Поэтому я думаю, что добился определенного прогресса: давайте сначала определим что является объективной оценкой . $\mu_i=\sum_{j=1}^{n_i}\frac{ f(X_{i,j},Y_i)}{n_i}$ $E_X[f(X,Y_i)]$

Используя стандартную формулу для дисперсии, мы можем написать:

В a р (μ) знак равно 1 / N^{2} Σ_{L знак равно 1}^{N} Σ_{К знак равно 1}^{N} С о v (μ_{L}, μ_{К})

$Var(\mu)=1/n^2 \sum_{l=1}^n \sum_{k=1}^n Cov(\mu_l,\mu_k)$ Это можно упростить до и поскольку s нарисованы независимо, мы можем еще больше упростить это до И для ковариации:

1 / N^{2} (Σ_{я знак равно 1}^{N} В a р (μ_{L}) + 1 / N^{2} Σ_{L знак равно 1}^{N} Σ_{К знак равно L + 1}^{N} 2 * С о v (μ_{L}, μ_{К}))

$1/n^2( \sum_{i=1}^n Var(\mu_l)+ 1/n^2\sum_{l=1}^n \sum_{k=l+1}^n 2*Cov(\mu_l,\mu_k))$

X_{i j}

$X_{ij}$

1 / N^{2} (Σ_{я знак равно 1}^{N} 1 / N_{я} В a р (е ({Икс}_{я, J}, Y_{я})) + 1 / N^{2} Σ_{L знак равно 1}^{N} Σ_{К знак равно L + 1}^{N} 2 * С о v (μ_{L}, μ_{К}))

$1/n^2( \sum_{i=1}^n 1/n_i Var(f(X_{i,j},Y_i))+1/n^2 \sum_{l=1}^n \sum_{k=l+1}^n 2*Cov(\mu_l,\mu_k))$

\begin{aligned} С о v (μ_{L}, μ_{К}) & знак равно С о v (Σ_{J знак равно 1}^{N_{L}} \frac{е ({Икс}_{J, L}, Y_{L})}{N_{L}}, Σ_{J знак равно 1}^{N_{К}} \frac{е ({Икс}_{J, К}, Y_{К})}{N_{К}}) \\ знак равно \frac{1}{(N_{К} * N_{L})} * С о v (Σ_{J знак равно 1}^{N_{L}} е ({Икс}_{J, L}, Y_{L}), Σ_{J знак равно 1}^{N_{К}} е ({Икс}_{J, К}, Y_{К})) \\ знак равно \frac{1}{(N_{К} * N_{L})} * Σ_{J знак равно 1}^{N_{L}} Σ_{J знак равно 1}^{N_{К}} С о v (е (Икс, Y_{L}), е (Икс, Y_{К})) \\ знак равно \frac{N_{К} * N_{L}}{(N_{К} * N_{L})} С о v (е ({Икс}_{я, L}, Y_{L}), е ({Икс}_{я, К}, Y_{К})) \\ знак равно С о v (е (Икс, Y_{L}), е (Икс, Y_{К})) \end{aligned}

$\begin{align} Cov(\mu_l,\mu_k)&=Cov(\sum_{j=1}^{n_l} \frac{f(X_{j,l},Y_l)}{n_{l}},\sum_{j=1}^{n_k} \frac{f(X_{j,k},Y_k)}{n_{k}})\\ &=\frac{1}{(n_k*n_l)}*Cov(\sum_{j=1}^{n_l} f(X_{j,l},Y_l),\sum_{j=1}^{n_k} f(X_{j,k},Y_k))\\ &=\frac{1}{(n_k*n_l)}*\sum_{j=1}^{n_l}\sum_{j=1}^{n_k}Cov( f(X,Y_l), f(X,Y_k))\\ &=\frac{n_k*n_l}{(n_k*n_l)}Cov( f(X_{i,l},Y_l), f(X_{i,k},Y_k))\\ &=Cov( f(X,Y_l), f(X,Y_k)) \end{align}$ Таким образом это обратно, мы получим меня есть несколько вопросов сейчас:

1 / N^{2} (Σ_{я знак равно 1}^{N} 1 / N_{я} В a р (е (Икс, Y_{я})) + 1 / N^{2} Σ_{L знак равно 1}^{N} Σ_{К знак равно L + 1}^{N} 2 * С о v (е (Икс, Y_{L}), е (Икс, Y_{К})))

$1/n^2( \sum_{i=1}^n 1/n_i Var(f(X,Y_i))+1/n^2 \sum_{l=1}^n \sum_{k=l+1}^n 2*Cov(f(X,Y_l),f(X,Y_k)))$

Является ли приведенный выше расчет правильным?
Как я могу оценить из данных образцов? $Cov(f(X,Y_l),f(X,Y_k)))$
Сходится ли дисперсия к 0, если я позволю n перейти в бесконечность?

variance unbiased-estimator estimators

— Бенедикт Бюнц
источник

Q1: нет, это не совсем правильно. Вы опускаете подписки в строке 3 вашего окончательного вывода ковариации. Это скрывает тот факт, что два RV, помеченные «X», на самом деле не зависят друг от друга: у одного был индекс а у другого a . Во всем этом блоке равенств единственные ненулевые члены должны быть, когда , потому что функции независимых входов независимы. (Я полагаю, что вы можете сказать, что не зависит от даже если это не следует, строго говоря, из парных требований независимости между всеми и ). $\ell$ $k$ $k=\ell$ $X_{12}, Y_1$ $X_{22}, Y_2$ $X$ $Y$

Q2: сверху этот термин отличен от нуля только тогда, когда , и в этом случае он сводится к . Результат после суммы - . $k=\ell$ $Cov(f(X_{jk}, Y_k), f(X_{jk}, Y_k)) = Var(f(X_{jk}, Y_k))$ $Cov(\mu_k, \mu_k) = \frac{1}{n_k} Var(f(X_{jk}, Y_k))$

Q3: Да: после этих модификаций у вас будет только линейное число слагаемых в самой последней сумме, поэтому выиграет квадратичный слагаемый.

— eric_kernfeld
источник

Ответ на вопрос «Сходится ли дисперсия к 0, если я позволю n перейти в бесконечность?» Да".

— eric_kernfeld