Является ли выборка в некотором смысле «наилучшей» оценкой распределения?

По (слабому / сильному) закону больших чисел, учитывая некоторые точки выборки iid распределения, их выборка означает сходится к среднему значению распределения как по вероятности, так и как размер выборки уходит в бесконечность. $\{x_i \in \mathbb{R}^n, i=1,\ldots,N\}$ $f^*(\{x_i, i=1,\ldots,N\}):=\frac{1}{N} \sum_{i=1}^N x_i$ $N$

Когда размер выборки $N$ фиксирован, мне интересно, является ли оценка LLN $f^*$ оценкой в некотором смысле лучшей? Например,

его ожидание - это среднее значение распределения, поэтому оно является объективной оценкой. Его дисперсия $\frac{\sigma^2}{N}$ где $\sigma^2$ - дисперсия распределения. Но это УМВУ?
есть ли какая-нибудь функция $l_0: \mathbb{R}^n \times \mathbb{R}^n \rightarrow [0,\infty)$ такая, что $f^*(\{x_i, i=1,\ldots,N\})$ решить проблему минимизации:
$е^{*} ({{Икс}_{я}, я знак равно 1, ..., N}) знак равно {argmin}_{U \in р^{N}} Σ_{я знак равно 1}^{N} L_{0} ({Икс}_{я}, U) ?$ $f^*(\{x_i, i=1,\ldots,N\}) = \operatorname{argmin}_{u \in \mathbb{R}^n} \quad \sum_{i=1}^N l_0(x_i, u)?$
Другими словами, $f^*$ является наилучшей функцией контраста $l_0$ в рамках минимальной контрастности (см. Раздел 2.1 «Базовые эвристики оценки» в « Математической статистике: основные идеи и избранные темы, том 1 » Бикла и Доксума).

Например, если известно, что распределение ограничено из семейства гауссовых распределений, то среднее значение выборки будет оценкой MLE среднего распределения, а MLE относится к минимальному контрастному каркасу, а его функция контрастности $l_0$ минус логарифмическая вероятность функция.
есть ли некоторая функция такая, что решает проблему минимизации: для любого распределения из в некотором семействе распределений? $l: \mathbb{R}^n \times F \rightarrow [0,\infty)$ $f^*$
$е^{*} знак равно {argmin}_{е} Е_{н.о.р. {{Икс}_{я}, я знак равно 1, ..., N} каждый с распределением п} L (е ({{Икс}_{я}, я знак равно 1, ..., N}), п) ?$ $f^* = \operatorname{argmin}_{f} \quad \operatorname{E}_{\text{iid }\{x_i, i=1,\ldots,N\} \text{ each with distribution }P } \quad l(f(\{x_i, i=1,\ldots,N\}), P)?$ $P$ $x_i$ $F$
Другими словами, является лучшим по отношению к некоторой потерянной функции и некоторому семейству распределений в теоретической структуре решения (см. Раздел 1.3 «Теоретическая структура решения» в « Математической статистике: основные идеи и отдельные темы, том 1 »). Bickle и Doksum). $f^*$ $l$ $F$

Обратите внимание, что выше приведены три разные интерпретации для «наилучшей» оценки, которую я знаю до сих пор. Если вы знаете о других возможных интерпретациях, которые могут относиться к оценщику LLN, пожалуйста, не стесняйтесь упомянуть об этом.

estimation expected-value law-of-large-numbers

— Тим
источник

Другой способ охарактеризовать оценщик: пожалуйста, прочитайте о согласованном оценщике здесь . Среднее значение образца соответствует LLN.

— Рохит Банга

Выборочное среднее имеет много хороших и интересных свойств, но иногда они не являются лучшими, которые можно иметь в конкретной ситуации. Одним из примеров являются случаи, когда поддержка распределения зависит от значения параметра. Рассмотрим , тогда - объективная оценка среднее значение распределения но это не UMVUE, например, несмещенные оценки, основанные на статистике наибольшего порядка будут иметь меньшую дисперсию, чем среднее значение выборки.

X_{1}, X_{2}, \dots, X_{n} \sim U (0, θ)

$X_1, X_2, \ldots, X_n \sim \mathcal{U}(0,\theta)$

\frac{1}{n} \sum_{i = 1}^{n} X_{i}

$\frac{1}{n} \sum_{i=1}^{n} X_i$

θ

$\theta$

\frac{n + 1}{n} X_{(n)}

$\frac{n+1}{n}X_{(n)}$

— VitalStatistix

Спасибо! Но как вычисляется его дисперсия?

— Тим

PDF с , наибольшая статистика по порядку определяется как , поэтому дисперсия несмещенной оценки будет иметь вид , т. е. дисперсия имеет порядок , по сравнению с дисперсией выборочного среднего, порядка .

Y = X_{(n)}

$Y=X_{(n)}$

f (y) = \frac{n y^{n - 1}}{θ^{n}}; y \in (0, θ)

$f(y)= \frac{ny^{n-1}}{{\theta}^n} ; y\in (0,\theta)$

\frac{n}{n + 1} Y

$\frac{n}{n+1}Y$

V a r (\frac{n}{n + 1} Y) = \frac{1}{n (n + 2)} θ^{2}

$Var(\frac{n}{n+1}Y)=\frac{1}{n(n+2)}\theta^2$

\frac{1}{n^{2}}

$\frac{1}{n^2}$

\frac{1}{n}

$\frac{1}{n}$

— VitalStatistix

@VitalStatistix, я что-то здесь упускаю? Если переменные равны их среднее значение по выборке имеет ожидание , поэтому не хотите ли вы умножить на 2, чтобы получить несмещенную оценку ?

[0, θ]

$[0, \theta]$

θ / 2

$\theta/2$

θ

$\theta$

— NRH

Ответ на ваш второй вопрос - да: выборочное среднее значение - это минимальная оценка контрастности, когда ваша функция равна , когда x и u являются действительными числами, или , когда x и u равны векторы столбцов. Это следует из теории наименьших квадратов или дифференциального исчисления. $l_0$ $(x-u)^2$ $(x-u)'(x-u)$

Минимальная оценка контрастности при определенных технических условиях является как последовательной, так и асимптотически нормальной. Для выборочного среднего это уже следует из LLN и центральной предельной теоремы. Я не знаю, что минимальные оценки контрастности "оптимальны" в любом случае. Что приятно в оценках минимального контраста, так это то, что многие надежные оценки (например, медиана, оценки Хубера, выборочные квантили) попадают в это семейство, и мы можем сделать вывод, что они согласованы и асимптотически нормальны, просто применяя общую теорему для оценок минимального контраста, поэтому Пока мы проверяем некоторые технические условия (хотя часто это гораздо сложнее, чем кажется).

Одним из понятий оптимальности, которое вы не упоминаете в своем вопросе, является эффективность, которая, грубо говоря, касается того, насколько большой выборки вам нужно получить оценку определенного качества. См. Http://en.wikipedia.org/wiki/Efficiency_(statistics)#Asymptotic_efficiency для сравнения эффективности среднего значения и медианы (среднее значение более эффективно, но медиана более устойчива к выбросам).

Что касается третьего вопроса, без каких-либо ограничений на набор функций f, по которым вы находите argmin, я не думаю, что выборочное среднее будет оптимальным. Для любого распределения P вы можете установить f как постоянную, которая игнорирует и минимизирует потери для конкретного P. Среднее значение выборки не может справиться с этим. $x_i$

Минимаксная оптимальность является более слабым условием, чем заданное вами: вместо того, чтобы спрашивать, чтобы была лучшей функцией для любого в классе, вы можете попросить, чтобы имела лучшую производительность в худшем случае. То есть, между аргументом argmin и ожиданием, поместите в . Байесовский оптимальность другой подход: поставить априорное распределение на , и взять на себя ожидание над , а также пробы из . $f^*$ $P$ $f^*$ $\max_{P\in F}$ $P\in F$ $P$ $P$

— DavidR
источник

Спасибо! Есть ли хорошие ссылки на свойства оценки минимального контраста, такие как непротиворечивые и асимптотически нормальные, а также примеры, такие как медиана, оценки Хубера, квантили образцов?

— Тим

В разделе 5.2.2 книги Bickel & Doksum, которую вы цитируете, есть теорема о непротиворечивости оценок минимального контраста. В разделе 5.4.2 обсуждается асимптотическая нормальность. Другой источник, который я рекомендую и который обсуждает другие оценщики, о которых я упоминаю, это книга Асимптотической статистики Ван дер Ваарта . Глава 5 посвящена М-оценщикам, так его называют минимальными оценщиками контраста.

— DavidR

Спасибо! Является ли норма в вашем первом абзаце произвольной для или это должна быть норма ?

R^{n}

$\mathbb{R}^n$

l_{2}

$l_2$

— Тим

Я имею в виду стандартную евклидову норму - для ясности я изменил ее на векторную запись.

— DavidR

DavidR, спасибо! (1) Что касается части 3 в моем посте, мне интересно, может ли выборочное среднее, то есть LLN-оценка, вписаться в теоретическую основу решения для некоторой функции потерь ? (2) У меня сложилось впечатление, что все оценки, такие как MLE и метод оценки наименьших квадратов, соответствуют минимальной контрастной структуре, но не теоретической структуре решения. Так разве теоретическая основа решения не используется для построения оценщиков, а только для их оценки?

l

$l$

— Тим