Какова связь между оценщиком и оценкой?

21

estimation terminology estimators

— амеба говорит восстановить монику
источник

5

«В статистике оценщик - это правило для расчета оценки заданной величины на основе наблюдаемых данных: таким образом, правило и его результат (оценка) различаются». (Первая строка статьи в Википедии en.wikipedia.org/wiki/Estimator ).

— whuber

+1 Я поддерживаю этот вопрос (несмотря на наличие четко сформулированного ответа на очевидной странице Википедии), потому что первоначальные попытки ответить на него здесь указали на некоторые тонкости.

— whuber

@whuber, могу ли я сказать, что оценки параметров модели являются оценкой?

— авокадо

2

@loganecolss Оценщик - это математическая функция. Это отличается от значения (оценки), которое оно может получить для любого набора данных. Один из способов оценить разницу - это отметить, что определенные наборы данных будут давать одинаковые оценки , скажем, наклона в линейной регрессии с использованием разных оценок (таких как, например, Максимальное правдоподобие или Итеративно переоцененные наименьшие квадраты). Без отличия оценок от оценок, использованных для получения этих оценок, мы не смогли бы понять, что вообще говорит это утверждение.

— whuber

@whuber, даже с одним определенным набором данных

, разные оценщики также могут давать разные оценки, не так ли?

D

$D$

— авокадо

13

Э. Л. Леманн в своей классической теории оценки точек отвечает на этот вопрос на стр. 1-2.

Наблюдения теперь постулируются как значения, взятые случайными переменными, которые, как предполагается, следуют совместному распределению вероятности , принадлежащему некоторому известному классу ... $P$

... давайте теперь специализируемся на точечной оценке ... предположим, что является вещественнозначной функцией, определенной [для оговоренного класса распределений], и что мы хотели бы узнать значение [при любом фактическом распределении в эффект, ]. К сожалению, и, следовательно, неизвестны. Однако данные могут использоваться для получения оценки , значения, которое, как можно надеяться, будет близко к . $g$ $g$ $\theta$ $\theta$ $g(\theta)$ $g(\theta)$ $g(\theta)$

На словах: оценщик - это определенная математическая процедура, которая выдает число ( оценку ) для любого возможного набора данных, который может дать конкретная проблема. Это число предназначено для представления некоторого определенного числового свойства ( ) процесса генерации данных; мы могли бы назвать это «оценкой». $g(\theta)$

Сама оценка не является случайной величиной: это просто математическая функция. Однако оценка, которую он производит, основана на данных, которые сами моделируются как случайные величины. Это делает оценку (которая считается зависимой от данных) случайной величиной, и конкретная оценка для определенного набора данных становится реализацией этой случайной величины.

В одной (обычной) обычной методике наименьших квадратов данные состоят из упорядоченных пар . была определена экспериментатором (они могут быть количества лекарственного средства , вводимого, например). Предполагается, что каждый (например, ответ на лекарство) исходит из распределения вероятностей, которое является нормальным, но с неизвестным средним значением и общей дисперсией $(x_i, y_i)$ $x_i$ $y_i$ $\mu_i$ $\sigma^2$ . Кроме того, предполагается, что средства связаны с посредством формулы $x_i$ . Эти три параметра - , и определяют базовое распределение для любого значения . Поэтомулюбоесвойство этого распределения можно рассматривать как функцию от . Примерами таких свойств являются пересечение , наклон , значение $\mu_i = \beta_0 + \beta_1 x_i$ $\sigma$ $\beta_0$ $\beta_1$ $y_i$ $x_i$ $(\sigma, \beta_0, \beta_1)$ $\beta_0$ $\beta_1$ , или даже среднее значение при значении, которое (согласно этой формулировке) должно быть. $\cos(\sigma + \beta_0^2 - \beta_1)$ $x=2$ $\beta_0 + 2 \beta_1$

В этом контексте OLS не являющийся примером оценщик был бы процедурой, позволяющей угадать значение если был установлен равным 2. Это не оценка, поскольку это значение является случайным (каким-то образом полностью отделенным от случайность данных): это не (определенное числовое) свойство распределения, даже если оно связано с этим распределением. (Как мы только что видели, ожидание $y$ $x$ $y$ от для $y$ , равными , может быть оценен.) $x=2$ $\beta_0 + 2 \beta_1$

В формулировке Лемана почти любая формула может быть оценкой практически любого свойства. Не существует внутренней математической связи между оценщиком и оценкой. Тем не менее, мы можем заранее оценить вероятность того, что оценщик будет достаточно близок к количеству, которое он намеревается оценить. Способы сделать это и как их использовать, являются предметом теории оценки.

— Whuber
источник

1

(+1) Очень точный и подробный ответ.

— хл

2

Разве сама функция случайной величины не является также случайной величиной?

— Jsk

@jsk Я думаю , что различие , которое я пытался сделать здесь могут быть уточнены с учетом состава функций

Первая функция - это случайная величина

; второй (назовем его

) называется здесь оценщиком , а композиция двух

представляет собой «оценку» или «процедуру оценки», которая, как вы правильно сказали, является случайной переменная.

Ω \to R^{n} \to R .

$\Omega\to\mathbb{R}^n\to\mathbb{R}.$

X

$X$

t

$t$

t \circ X : Ω \to R

$t\circ X:\Omega\to\mathbb{R}$

— whuber

1

@whuber В своем посте вы говорите: «Сам оценщик не является случайной величиной». Я попытался отредактировать ваш пост, чтобы прояснить вопрос, с которым вы и я, кажется, согласны, но, похоже, кто-то отклонил мое изменение. Возможно, они предпочли бы ваше редактирование!

— Jsk

Давайте продолжим эту дискуссию в чате .

— whuber

7

Вкратце: оценщик - это функция, а оценка - это значение, которое суммирует наблюдаемую выборку.

Оценка является функцией , которая отображает случайную выборку для оценки параметра:

Заметимчто блок оценки изпслучайных величинявляется случайной величиной . Например, оценка является выборочное среднее:

\hat{Θ} = t (X_{1}, X_{2}, . . ., X_{n})

$\hat{\Theta}=t(X_1,X_2,...,X_n)$

X_{1}, X_{2}, . . ., X_{n}

$X_1,X_2,...,X_n$

\hat{Θ}

$\hat{\Theta}$

оценка

является результатом применения функции оценивани к нижнему регистру наблюдаемой выборки

:

\bar{X} = \frac{1}{n} \sum_{n = 1}^{n} X_{i}

$\overline{X}=\frac{1}{n}\sum_{n=1}^nX_i$

\hat{θ}

$\hat{\theta}$

x_{1}, x_{2}, . . ., x_{n}

$x_1,x_2,...,x_n$

\hat{θ} = t (x_{1}, x_{2}, . . ., x_{n})

$\hat{\theta}=t(x_1,x_2,...,x_n)$

x_{1}, x_{2}, . . ., x_{n}

$x_1,x_2,...,x_n$

\hat{μ} = \bar{x} = \frac{1}{n} \sum_{n = 1}^{n} x_{i}

$\hat{\mu}=\overline{x}=\frac{1}{n}\sum_{n=1}^nx_i$

— почетный гражданин
источник

оценка - это RV, а оценка - постоянная?

— Партибан Раджендран

Разве ваш вывод не противоречит @ whuber? Здесь вы говорите, что оценщик RV, но Whuber говорит иначе.

— Партибан Раджендран

Да, я не согласен с утверждением @ whuber «Сам по себе оценщик не случайная величина: это просто математическая функция». Функция случайной величины также является случайной величиной. onlinecourses.science.psu.edu/stat414/node/128

— Фримен

3

Может быть полезно проиллюстрировать ответ whuber в контексте модели линейной регрессии. Допустим, у вас есть некоторые двумерные данные, и вы используете Обыкновенные наименьшие квадраты для создания следующей модели:

Y = 6X + 1

На этом этапе вы можете принять любое значение X, вставить его в модель и предсказать результат, Y. В этом смысле вы можете рассматривать отдельные компоненты общей формы модели ( mX + B ) как оценщики . Образцы данных (которые вы предположительно включили в общую модель для расчета конкретных значений для m и B выше) предоставили основу, на которой вы могли бы получить оценки для m и B соответственно.

В соответствии с точками @ whuber в нашей теме ниже, какими бы ни были значения Y, для которых вы генерируете определенный набор оценок, в контексте линейной регрессии рассматриваются как прогнозируемые значения.

(отредактировано - несколько раз - чтобы отразить комментарии ниже)

— ashaw
источник

1

You have nicely defined a predictor. It is subtly (but importantly) different from an estimator. The estimator in this context is the least squares formula used to compute the parameters 1 and 6 from the data.

— whuber

Хм, я не это имел в виду, @whuber, но я думаю, что ваш комментарий иллюстрирует важную двусмысленность в моем языке, которую я раньше не замечал. Главное здесь заключается в том, что вы можете думать об общей форме уравнения Y = mX + B (как использовано выше) в качестве оценщика, в то время как конкретные предсказанные значения, генерируемые конкретными примерами этой формулы (например, 1 + 6X), являются По оценкам. Позвольте мне попытаться отредактировать параграф выше, чтобы уловить это различие ...

— Ashaw

Кстати, я пытаюсь объяснить это, не вводя нотацию «шляпа», с которой я сталкивался в большинстве обсуждений этой концепции в учебниках. Возможно, это лучший маршрут в конце концов?

— Ashaw

2

Я думаю, что вы достигли хорошего уровня между точностью и техническими характеристиками в своем первоначальном ответе: так держать! Вам не нужны шляпы, но если вам удастся показать, как оценщик отличается от других, похожих на вещи, это было бы очень полезно. Но, пожалуйста, обратите внимание на различие между предсказанием значения Y и оценкой параметра, такого как m или b . Y можно интерпретировать как случайную величину; м и б нет (кроме как в байесовской постановке).

— whuber

действительно, очень хороший момент с точки зрения параметров и значений там. Редактирование снова ...

— Ashaw

0

Предположим, вы получили некоторые данные, и у вас была некоторая наблюдаемая переменная, называемая тета. Теперь ваши данные могут быть из распределения данных, для этого распределения есть соответствующее значение тета, которое вы выводите, которое является случайной величиной. Вы можете использовать MAP или среднее значение для расчета оценки этой случайной величины всякий раз, когда меняется распределение ваших данных. Таким образом, случайная величина тета известна как оценка , единственное значение ненаблюдаемой переменной для определенного типа данных.

В то время как оценщик ваших данных, который также является случайной величиной. Для разных типов распределений у вас есть разные типы данных, и поэтому у вас разные оценки, и, таким образом, эта соответствующая случайная величина называется оценщиком .

— Анкур Котари
источник