Какова интуиция, лежащая в основе определения полноты в статистике как невозможности сформировать из нее несмещенную оценку

21

В классической статистике есть определение, что статистика $T$ набора данных определена как полная для параметра которого невозможно сформировать несмещенную оценку из нее нетривиально. То есть, единственный способ иметь для всех , чтобы иметь быть почти наверняка. $y_1, \ldots, y_n$ $\theta$ $0$ $E h(T (y )) = 0$ $\theta$ $h$ $0$

Есть ли за этим интуиция? Похоже, это довольно механический способ определения этого, я знаю, что об этом уже спрашивали, но мне было интересно, если бы была очень простая для понимания интуиция, которая позволила бы начинающим студентам легче переваривать материал.

— user1398057
источник

2

Это очень хороший вопрос, мне пришлось самому в него вникнуть. Оказывается, причина того, что это такое механическое определение и не кажется интуитивно значимым для обычного практикующего, такого как я, состоит в том, что оно в основном используется для доказательства фундаментального вклада в математическую статистику. В частности, мой короткий поиск показал, что для выполнения теоремы Лемана-Шеффе и теоремы Басу требуется полнота статистики. Это вклад середины 1950-х годов. Я не могу предложить вам интуитивно понятное объяснение - но если вы действительно хотите его создать, может быть, доказательство ассоциируется

— Иеремия К

18

Я постараюсь добавить к другому ответу. Во-первых, полнота - это техническое условие, которое в основном оправдывается теоремами, в которых оно используется. Итак, давайте начнем с некоторых связанных понятий и теорем, где они происходят.

Пусть $X=(X_1,X_2,\dotsc,X_n)$ представляет вектор данных iid, который мы моделируем как имеющий распределение $f(x;\theta), \theta \in \Theta$ где параметр $\theta$ управляющий данными, неизвестен. $T=T(X)$ является достаточным , если условное распределение $X \mid T$ не зависит от параметра & $\theta$ . $V=V(X)$ являетсявспомогательным,если распределение $V$ не зависит от $\theta$ (в пределах семейства $f(x;\theta)$ ). $U=U(X)$ являетсянесмещенной оценкой нуля,если его ожидание равно нулю, независимо от $\theta$ . $S=S(X)$ -полная статистика,если любой несмещенный оценщик нуля, основанный на $S$ , тождественно равен нулю, то есть если $\DeclareMathOperator{\E}{\mathbb{E}} \E g(S)=0 (\text{for all $\theta$})$ тогда $g(S)=0$ ae (для всех $\theta$ ).

Теперь предположим, что у вас есть две разные несмещенные оценки $\theta$ основанные на достаточной статистике $T$ , $g_1(T), g_2(T)$ . То есть в символах

E g_{1} (T) = θ, E g_{2} (T) = θ

$\E g_1(T)=\theta ,\\ \E g_2(T)=\theta$ и

P (g_{1} (T) \neq g_{2} (T)) > 0

$\DeclareMathOperator{\P}{\mathbb{P}} \P(g_1(T) \not= g_2(T) ) > 0$ (для всех

θ

$\theta$ ). Тогда

g_{1} (T) - g_{2} (T)

$g_1(T)-g_2(T)$ является несмещенной оценкой нуля, которая не тождественно равна нулю, доказывая, что

T

$T$ не является полным. Таким образом, полнота достаточной статистики

T

$T$ дает нам то, что существует только одна единственная несмещенная оценка

θ

$\theta$ на основании

T

$T$ . Это уже очень близко к теореме Лемана – Шеффе.

Давайте посмотрим на некоторые примеры. Предположим, что $X_1, \dotsc, X_n$ теперь одинаковы на интервале $(\theta, \theta+1)$ . Мы можем показать, что ( $X_{(1)} < X_{(2)} < \dotsm < X_{(n)}$ - статистика порядка) пара $(X_{(1)}, X_{(n)})$ достаточна, но не полна, потому что разница $X_{(n)}-X_{(1)}$ является вспомогательным, мы можем вычислить его ожидание, пусть оно будет $c$ (которое является функциейтолькоот $n$ ), и тогда $X_{(n)}-X_{(1)} -c$ будет несмещенной оценкой нуля который не тождественно равен нулю. Таким образом, наша достаточная статистика в этом случае не является полной и достаточной. И мы можем видеть, что это значит: существуют функции достаточной статистики, которые не информативны относительно $\theta$ (в контексте модели). Это не может произойти с полной достаточной статистикой; это в некотором смысле максимально информативно, поскольку никакие его функции неинформативны. С другой стороны, если есть некоторая функция минимально достаточной статистики, которая имеет нулевое ожидание, которое можно рассматривать как шумовой член , слагаемые возмущения / шума в моделях имеют нулевое ожидание. Таким образом, мы могли бы сказать, что неполная достаточная статистика содержит некоторый шум .

Look again at the range $R=X_{(n)}-X_{(1)}$ in this example. Since its distribution does not depend on $\theta$ , it doesn't by itself alone contain any information about $\theta$ . But, together with the sufficient statistic, it does! How? Look at the case where $R=1$ is observed.Then, in the context of our (known to be true) model, we have perfect knowledge of $\theta$ ! Namely, we can say with certainty that $\theta = X_{(1)}$ . You can check that any other value for $\theta$ then leads to either $X_{(1)}$ or $X_{(n)}$ being an impossible observation, under the assumed model. On the other hand, if we observe $R=0.1$ , then the range of possible values for $\theta$ is rather large (exercise ...).

In this sense, the ancillary statistic $R$ does contain some information about the precision with which we can estimate $\theta$ based on this data and model. In this example, and others, the ancillary statistic $R$ "takes over the role of the sample size". Usually, confidence intervals and such needs the sample size $n$ , but in this example, we can make a conditional confidence interval this is computed using only $R$ , not $n$ (exercise.) This was an idea of Fisher, that inference should be conditional on some ancillary statistic.

Теперь теорема Басу: если $T$ вполне достаточно, то он не зависит от какой-либо вспомогательной статистики. То есть вывод, основанный на полной достаточной статистике, проще, поскольку нам не нужно рассматривать условный вывод. Обусловливание статистикой, которая не зависит от $T$ , конечно, ничего не меняет.

Тогда, последний пример, чтобы дать больше интуиции. Измените наш пример равномерного распределения на равномерное распределение на интервале $(\theta_1, \theta_2)$ (с $\theta_1<\theta_2$ ). В этом случае статистика $(X_{(1)}, X_{(n)})$ является полной и достаточной. Что изменилось? Мы можем видеть, что полнота действительно свойство модели. In the former case, we had a restricted parameter space. This restriction destroyed completeness by introducing relationships on the order statistics. By removing this restriction we got completeness! So, in a sense, lack of completeness means that the parameter space is not big enough, and by enlarging it we can hope to restore completeness (and thus, easier inference).

Some other examples where lack of completeness is caused by restrictions on the parameter space,

see my answer to: What kind of information is Fisher information?
Let $X_1, \dotsc, X_n$ be iid $\mathcal{Cauchy}(\theta,\sigma)$ (a location-scale model). Then the order statistics in sufficient but not complete. But now enlarge this model to a fully nonparametric model, still iid but from some completely unspecified distribution $F$ . Then the order statistics is sufficient and complete.
For exponential families with canonical parameter space (that is, as large as possible) the minimal sufficient statistic is also complete. But in many cases, introducing restrictions on the parameter space, as with curved exponential families, destroys completeness.

A very relevant paper is An Interpretation of Completeness and Basu's Theorem.

— kjetil b halvorsen
источник

7

Some intuition may be available from the theory of best (minimum variance) unbiased estimators.

If $E_\theta W=\tau(\theta)$ then $W$ is a best unbiased estimator of $\tau(\theta)$ iff $W$ is uncorrelated with all unbiased estimators of zero.

Proof: Let $W$ be an unbiased estimator uncorrelated with all unbiased estimators of zero. Let $W'$ be another estimator such that $E_\theta W'=E_\theta W=\tau(\theta)$ . Write $W'=W+(W'-W)$ . By assumption, $Var_\theta W'=Var_\theta W+Var_\theta (W'-W)$ . Hence, for any $W'$ , $Var_\theta W'\geq Var_\theta W$ .

Now assume that $W$ is a best unbiased estimator. Let there be some other estimator $U$ with $E_\theta U=0$ . $\phi_a:=W+aU$ is also unbiased for $\tau(\theta)$ . We have

V a r_{θ} ϕ_{a} := V a r_{θ} W + 2 a C o v_{θ} (W, U) + a^{2} V a r_{θ} U .

$Var_\theta \phi_a:=Var_\theta W+2aCov_\theta(W,U)+a^2Var_\theta U.$ If there were a

θ_{0} \in Θ

$\theta_0\in\Theta$ such that

C o v_{θ_{0}} (W, U) < 0

$Cov_{\theta_0}(W,U)<0$ , we would obtain

V a r_{θ} ϕ_{a} < V a r_{θ} W

$Var_\theta \phi_a<Var_\theta W$ for

a \in (0, - 2 C o v_{θ_{0}} (W, U) / V a r_{θ_{0}} U)

$a\in(0,-2Cov_{\theta_0}(W,U)/Var_{\theta_0} U)$ .

W

$W$ could then not be the best unbiased estimator. QED

Intuitively, the result says that if an estimator is optimal, it must not be possible to improve it by just adding some noise to it, in the sense of combining it with an estimator that is just zero on average (being an unbiased estimator of zero).

Unfortunately, it is difficult to characterize all unbiased estimators of zero. The situation becomes much simpler if zero itself is the only unbiased estimator of zero, as any statistic $W$ satisfies $Cov_\theta(W,0)=0$ . Completeness describes such a situation.

— Christoph Hanck
источник