Улучшение минимальной оценки

Предположим , что у меня есть положительные параметры для оценки и их соответствующие непредвзятые оценки , полученные с помощью оценок , то есть , и так далее.$n$$\mu_1,\mu_2,...,\mu_n$$n$$\hat{\mu_1},\hat{\mu_2},...,\hat{\mu_n}$$\mathrm E[\hat{\mu_1}]=\mu_1$$\mathrm E[\hat{\mu_2}]=\mu_2$

Я хотел бы оценить используя оценки. Очевидно, что наивный оценщик смещен ниже как $\mathrm{min}(\mu_1,\mu_2,...,\mu_n)$$\mathrm{min}(\hat{\mu_1},\hat{\mu_2},...,\hat{\mu_n})$

$$\mathrm E[\mathrm{min}(\hat{\mu_1},\hat{\mu_2},...,\hat{\mu_n})]\leq \mathrm{min}(\mu_1,\mu_2,...,\mu_n)$$

Предположим, что у меня также есть ковариационная матрица соответствующих оценщиков . Можно ли получить несмещенную (или менее предвзятую) оценку минимума, используя данные оценки и ковариационную матрицу?$\mathrm{Cov}(\hat{\mu_1},\hat{\mu_2},...,\hat{\mu_n}) = \Sigma$

У меня нет четкого ответа о существовании объективной оценки. Тем не менее, с точки зрения ошибки оценки, оценка является сложной проблемой в общем.$\min(\mu_1, \dots, \mu_n)$

Например, пусть и . Пусть будет целевым значением, а является оценкой . Если мы используем «наивный» оценщик где , тогда ошибка оценки ограничена сверху до постоянного. (Обратите внимание, что ошибка оценки для каждого равна ). Конечно, если$Y_1, \dots, Y_N \sim N(\mu, \sigma^2I)$$\mu = (\mu_1, \dots, \mu_n)$$\theta = \min_i \mu_i$$\hat{\theta}$$\theta$$\hat{\theta} = \min_i(\bar{Y}_i)$$\bar{Y_i} = \frac{1}{N}\sum_{j=1}^N Y_{i,j}$$L_2$

$$\mathbb{E}[\hat{\theta} - \theta]^2 \lessapprox \frac{\sigma^2\log n}{N}$$ $\mu_i$$\frac{\sigma^2}{N}$$\mu_i$Они находятся далеко друг от друга, и очень мала, ошибка оценки должна быть уменьшена до . Тем не менее, в худшем случае, нет оценки работает лучше, чем наивный оценщик. Вы можете точно показать, что где инфимум принимает все возможные оценки на основе выборки а супремум принимает все возможные конфигурации .$\sigma$$\frac{\sigma^2}{N}$$\theta$ $$\inf_{\hat{\theta}} \sup_{\mu_1, \dots,\mu_n} \mathbb{E}[\hat{\theta} - \theta]^2 \gtrapprox \frac{\sigma^2\log n}{N}$$ $\theta$$Y_1,\dots, Y_N$$\mu_i$

Поэтому наивный оценщик минимаксно оптимален с точностью до константы, и в этом смысле нет лучшей оценки .$\theta$

РЕДАКТИРОВАТЬ: Следующий ответ отвечает на другой вопрос, чем тот, который был задан - он оформлен так, как будто считается случайным, но не работает, когда считается фиксированным, что, вероятно, и имел в виду OP. Если исправлено, у меня нет лучшего ответа, чем$\mu$$\mu$$\mu$$\min(\hat\mu_1,...,\hat\mu_n)$

---

Если мы рассматриваем только оценки для среднего значения и ковариации, мы можем рассматривать как одну выборку из многомерного нормального распределения. Простой способ получить оценку минимума состоит в том, чтобы затем извлечь большое количество выборок из , вычислить минимум каждой выборки и затем взять среднее из этих минимумов.$(\mu_1, ..., \mu_n)$$MVN(\hat{\mu}, \Sigma)$

Описанную выше процедуру и ее ограничения можно понять в байесовских терминах - взяв обозначение из Википедии о MVN , если - известная ковариантность оценок, и у нас есть одно наблюдение, совместное апостериорное распределение - где и возникают из предшествующего, где перед наблюдением любых данных мы берем предшествующий ). Так как вы, вероятно, не хотите ставить априоры на , мы можем принять предел как , что приведет к плоскому предшествующему, а задний станет$\Sigma$$\mu \sim MVN(\frac{\hat{\mu} + m \lambda_0}{1 + m}, \frac{1}{n+m} \Sigma)$$\lambda_0$$m$$\mu \sim MVN(\lambda_0, m^{-1} \Sigma$$\mu$$m \rightarrow 0$$\mu \sim MVN(\hat{\mu}, \Sigma)$, Тем не менее, принимая во внимание фиксированный предшествующий уровень, мы неявно делаем предположение, что элементы сильно отличаются (если все действительные числа одинаково вероятны, получение одинаковых значений маловероятно).$\mu$

А быстрое моделирование показывает , что оценка этой процедуры несколько завышенной , когда элементы отличаются много и недооценивает , когда элементы подобны. Можно утверждать, что без каких-либо предварительных знаний это правильное поведение. Если вы готовы указать хотя бы некоторую предварительную информацию (например, ), результаты могут стать немного лучше для вашего варианта использования.$min(\mu)$$\mu$$min(\mu)$$m = 0.1$

Если вы готовы взять на себя большую структуру, вы можете выбрать лучший дистрибутив, чем нормальный многовариантный. Также может иметь смысл использовать Stan или другой сэмплер MCMC, чтобы в первую очередь соответствовать оценкам . Это даст вам набор выборок которые отражают неопределенность в самих оценщиках, включая их ковариационную структуру (возможно, более богатую, чем может предоставить MVN). Еще раз вы можете вычислить минимум для каждой выборки, чтобы получить апостериорное распределение по минимумам, и взять среднее значение этого распределения, если вам нужна точечная оценка.$\mu$$(\mu_1, ..., \mu_n)$