Является ли какое-либо количественное свойство населения «параметром»?

13

Я относительно знаком с различием между терминами статистика и параметр. Я вижу статистику как значение, полученное от применения функции к образцу данных. Однако большинство примеров параметров относятся к определению параметрического распределения. Типичным примером является среднее значение и стандартное отклонение для параметризации нормального распределения или коэффициентов и дисперсии ошибок для параметризации линейной регрессии.

Тем не менее, существует много других значений распределения популяции, которые менее прототипичны (например, минимум, максимум, r-квадрат в множественной регрессии, квантиль 0,25, медиана, число предикторов с ненулевыми коэффициентами, асимметрия, число корреляций в матрице корреляций больше 0,3 и т. д.).

Итак, мои вопросы :

Должно ли какое-либо количественное свойство населения быть названо «параметром»?
Если да, то почему?
Если нет, то какие характеристики не следует обозначать как параметр? Что они должны быть помечены? И почему?

Разработка путаницы

В статье Википедии об оценках говорится:

«Оценщик» или «точечная оценка» - это статистика (то есть функция данных), которая используется для вывода значения неизвестного параметра в статистической модели.

Но я могу определить неизвестное значение как квантиль 0,25, и я могу разработать оценку для этого неизвестного. То есть, не все количественные свойства популяции являются параметрами, аналогичными тому, что среднее и sd являются параметрами нормального распределения, однако вполне законно стремиться оценить любое количественное свойство популяции.

— Джером англим
источник

15

Этот вопрос лежит в основе того, что такое статистика и как проводить хороший статистический анализ. Это поднимает много вопросов, некоторые из терминологии и другие из теории. Чтобы прояснить их, давайте начнем с обозначения неявного контекста вопроса и продолжим, чтобы определить ключевые термины «параметр», «свойство» и «оценщик». Ответы на несколько частей вопроса возникают по мере их обсуждения. Заключительный заключительный раздел суммирует ключевые идеи.

Государственные пространства

Распространенное статистическое использование "распределения", как в "нормальном распределении с PDF, пропорциональным "на самом деле является (серьезным) злоупотреблением английским, потому что, очевидно, это не одно распределение: это целое семейство распределений,параметризованныхсимволамии. Стандартные обозначения для это «пространство состояний»,множество $\exp(-\frac{1}{2}(x-\mu)/\sigma)^2)dx$ $\mu$ $\sigma$ $\Omega$ распределений. (Я здесь немного упрощаюсь ради изложения и буду продолжать упрощаться по мере нашего продвижения, оставаясь при этом максимально строгим.) Его роль заключается в определении возможных целей наших статистических процедур: когда мы что-то оцениваем, мы выбирая один (или иногда больше) элементов из . $\Omega$

Иногда пространства состояний явно параметризованы, как в . В этом описании существует взаимно-однозначное соответствие между набором кортежей в верхней полуплоскости и набором распределений, которые мы будем использовать для моделирования наших данных. Одно из значений такой параметризации состоит в том, что теперь мы можем конкретно ссылаться на распределения в посредством упорядоченной пары действительных чисел. $\Omega = \{\mathcal{N}(\mu, \sigma^2)|\mu \in \mathbb{R}, \sigma \gt 0\}$ $\{(\mu,\sigma)\}$ $\Omega$

В других случаях пространства состояний не являются явно параметризованными. Примером может служить множество всех унимодальных непрерывных распределений. Ниже мы рассмотрим вопрос о том, можно ли в любом случае найти адекватную параметризацию в таких случаях.

параметризация

Как правило, параметризация из , является соответствие (математическая функция ) из подмножества (с конечна) , чтобы . То есть он использует упорядоченные наборы кортежей для маркировки распределений. Но это не просто переписка: это должно быть "хорошо себя вести". Чтобы понять это, рассмотрим множество всех непрерывных распределений, чьи PDF-файлы имеют конечные ожидания. Это будет широко рассматриваться как «непараметрический» в том смысле, что любая «естественная» попытка параметризации этого набора будет включать счетную последовательность действительных чисел (используя разложение в любом ортогональном базисе). Тем не менее, потому что этот набор имеет мощность $\Omega$ $\mathbb{R}^d$ $d$ $\Omega$ $d$ , который является мощность переАльса, должен существовать какойто один-к-однозначное соответствие между этими распределений и . Как это ни парадоксально, казалось бы, это делаетпараметризованноепространство состояний соднимреальным параметром! $\aleph_1$ $\mathbb{R}$

Парадокс разрешается, отмечая, что одно действительное число не может иметь «хороших» отношений с распределениями: когда мы меняем значение этого числа, распределение, которому оно соответствует, в некоторых случаях должно меняться радикальным образом. Мы исключаем такие «патологические» параметризации, требуя, чтобы распределения, соответствующие близким значениям их параметров, сами были «близки» друг к другу. Обсуждение подходящих определений «close» привело бы нас слишком далеко, но я надеюсь, что этого описания достаточно, чтобы продемонстрировать, что быть параметром гораздо больше, чем просто назвать конкретный дистрибутив.

Свойства распределений

Благодаря повторному применению мы привыкли думать о «свойстве» распределения как о некоторой понятной величине, которая часто появляется в нашей работе, такой как ее ожидание, дисперсия и так далее. Проблема с этим в качестве возможного определения «свойства» заключается в том, что оно слишком расплывчато и недостаточно обобщенно. (Именно здесь математика была в середине 18-го века, где «функции» рассматривались как конечные процессы, применяемые к объектам.) Вместо этого, единственное разумное определение «свойства», которое всегда будет работать, - думать о свойстве как о будучи числом, которое однозначно присваивается каждому распределению в $\Omega$ , Это включает в себя среднее значение, дисперсию, любой момент, любую алгебраическую комбинацию моментов, любой квантиль и многое другое, включая вещи, которые даже не могут быть вычислены. Однако, это не включает то , что не имело бы никакого смысла для некоторых из элементов . Например, если состоит из всех распределений Стьюдента t, то среднее значение не является допустимым свойством для (поскольку не имеет среднего значения). Это еще раз впечатляет нас, насколько наши идеи зависят от того, из чего действительно состоит . $\Omega$ $\Omega$ $\Omega$ $t_1$ $\Omega$

Свойства не всегда параметры

Свойство может быть настолько сложной функцией, что оно не будет служить параметром. Рассмотрим случай «нормального распределения». Возможно, мы захотим узнать, является ли среднее истинного распределения при округлении до ближайшего целого числа четным. Это собственность. Но это не будет служить параметром.

Параметры не обязательно являются свойствами

Когда параметры и распределения находятся в взаимно-однозначном соответствии, тогда, очевидно, любой параметр и любая функция параметров в этом отношении является свойством согласно нашему определению. Но не должно быть однозначного соответствия между параметрами и распределениями: иногда несколько распределений должны описываться двумя или более четко различающимися значениями параметров. Например, параметр местоположения для точек на сфере, естественно, будет использовать широту и долготу. Это нормально - за исключением двух полюсов, которые соответствуют заданной широте и любой действительной долготе. место(точка на сфере) действительно является свойством, но его долгота не обязательно является свойством. Хотя существуют различные уклоны (например, просто объявляется, что долгота полюса равна нулю), эта проблема подчеркивает важное концептуальное различие между свойством (которое уникально связано с распределением) и параметром (который является способом маркировки распределение и не может быть уникальным).

Статистические процедуры

Цель оценки называется оценкой . Это просто собственность. Статистик не может выбрать оценку: это область ее клиента. Когда кто-то приходит к вам с выборкой из популяции и просит вас оценить 99-й процентиль популяции, вы, скорее всего, упустите возможность дать оценку среднего значения вместо этого! Ваша задача как статистика состоит в том, чтобы определить хорошую процедуру для оценки оценки, которую вам дали. (Иногда ваша работа состоит в том, чтобы убедить вашего клиента, что он выбрал неправильную оценку для своих научных целей, но это другая проблема ...)

По определению, процедура - это способ получить число из данных. Процедуры обычно задаются в виде формул, которые должны применяться к данным, например, «сложить их все и разделить на их количество». Буквально любая процедура может быть объявлена «оценщиком» данной оценки. Например, я мог бы заявить, что выборочное среднее (формула, примененная к данным) оценивает дисперсию совокупности (свойство совокупности, предполагая , что наш клиент ограничил набор возможных совокупностей чтобы включить только те, которые фактически имеют отклонения). $\Omega$

Оценщики

Оценщик не должен иметь никакой очевидной связи с оценкой. Например, вы видите какую-либо связь между выборочным средним и популяционной дисперсией? Я тоже. Но, тем не менее, выборочное среднее фактически является приличной оценкой дисперсии населенностей для некоторого $\Omega$ (например, множества всех распределений Пуассона). В этом заключается один из ключей к пониманию оценок: их качества зависят от множества возможных состояний . Но это только часть этого. $\Omega$

Компетентный статистик захочет узнать, насколько хорошо будет выполнять рекомендованная ими процедура. Давайте назовем процедуру " " и пусть оценочная величина будет . Не зная, какое распределение на самом деле является истинным, она будет рассматривать выполнение процедуры для каждого возможного распределения . При наличии такой и любых возможных результатов (то есть набора данных) она будет сравнивать $t$ $\theta$ $F \in \Omega$ $F$ $s$ $t(s)$ (что оценивает ее процедура) с (значением оценки для ). $\theta(F)$ $F$ Это ее клиент обязан сказать ей, насколько близко или далеко друг от друга эти двое. (Это часто делается с помощью функции «потери».) Затем она может рассмотреть ожидание расстояния между и . Это риск ее процедуры. Поскольку это зависит от , риск является функцией, определенной на . $t(s)$ $\theta(F)$ $F$ $\Omega$

(Хорошо) статистики рекомендуют процедуры, основанные на сравнении рисков. Например, предположим, что для каждого риск процедуры $F \in \Omega$ меньше или равен риску . Тогда нет никакой причины использовать : это «недопустимо». В противном случае это «допустимо». $t_1$ $t$ $t$

(«Байесовский» статистик всегда будет сравнивать риски путем усреднения по «предшествующему» распределению возможных состояний (обычно предоставляется клиентом). «Частый» статистик может сделать это, если такой предварительный случай оправданно существует, но он также готов сравнить риски другими способами, избегая байесовских.)

Выводы

Мы имеем право сказать , что любой , что является допустимым для & является оценка из & . $t$ $\theta$ $\theta$ Мы должны в практических целях (поскольку допустимые процедуры найти сложно) согнуть это, говоря, что любой $t$ который имеет приемлемо небольшой риск (по сравнению с ) среди практически осуществимых процедур, является оценкой . $\theta$ $\theta$ «Приемлемо» и «практически осуществимо» определяются клиентом, конечно: «приемлемо» относится к их риску, а «практически осуществимо» отражает стоимость (в конечном итоге оплачиваемую ими) реализации процедуры.

В основе этого краткого определения лежат все только что обсужденные идеи: чтобы понять его, мы должны иметь в виду конкретное (которое является $\Omega$ моделью исследуемой проблемы, процесса или совокупности), определенную оценку (предоставленную клиентом), специфическая функция потерь (которая количественно связывает с оценкой и также дается клиентом), идея риска (вычисляется статистиком), некоторая процедура для сравнения функций риска (ответственность статистика по согласованию с клиентом), и понимание того, какие процедуры на самом деле могут быть выполнены (проблема «практичности»), даже если ни одно из них явно не упомянуто в определении. $t$

— Whuber
источник

2

@ Ник Кокс в своем ответе приводит несколько замечательных замечаний, которые (в моей интерпретации) касаются того, «что мы делаем, когда мы знаем, что любая модель

и любая функция потерь, которую мы указываем, будут несколько неточными или неадекватными?» Ответ на это приведет нас в другом направлении; все, что я хочу здесь сказать, это то, что изложенная мною основа - классическая, на которую реагировал Тьюки - дает нам хорошую основу для размышлений о таких более широких вопросах анализа данных. Как минимум, это проясняет неявные предположения, которые входят в стандартные термины, такие как «оценщик».

Ω

$\Omega$

— whuber

11

Как и во многих вопросах об определениях, ответы должны иметь представление как об основополагающих принципах, так и о том, как термины используются на практике, которые часто могут быть, по крайней мере, немного беспорядочными или непоследовательными, даже у людей, которые хорошо информированы, и более важно, переменная от сообщества к сообществу.

Один общий принцип заключается в том, что статистика - это свойство выборки и известной константы, а параметр - это соответствующее свойство совокупности, а значит, и неизвестной константы. Слово «соответствующий» здесь следует понимать как достаточно эластичное. Между прочим, именно этому различию и именно этой терминологии меньше чем столетие, введенное Р. А. Фишером.

Но

Структура выборки и популяции не характеризует все наши собственные проблемы. Временные ряды являются одним из основных классов примеров, в которых идея является скорее базовым процессом генерации, и что-то подобное, возможно, является более глубокой и более общей идеей.
Существуют настройки, в которых параметры меняются. Опять же, анализ временных рядов дает примеры.
К главному пункту здесь, мы на практике не рассматриваем все свойства популяции или процесса как параметры. Если какая-то процедура предполагает модель нормального распределения, то минимум и максимум не являются параметрами. (Действительно, согласно модели, минимум и максимум - это произвольно большие отрицательные и положительные числа в любом случае, не то, чтобы это нас беспокоило.)

Я бы сказал, что на этот раз Википедия указывает правильное направление, и практика и принцип соблюдаются, если мы говорим, что параметр - это то, что мы оцениваем .

Это также помогает с другими вопросами, которые вызвали недоумение. Например, если мы вычислим усеченное на 25% среднее, что мы оцениваем? Разумным ответом является соответствующее свойство населения, которое в действительности определяется методом оценки. Одна из терминологий заключается в том, что оценщик имеет оценку независимо от того, что он оценивает. Начиная с какой-то платонической идеи свойства "там" (скажем, способа распределения) и размышляя о том, как оценить это разумно, а также придумывая хорошие рецепты для анализа данных и обдумывая, что они подразумевают, когда их рассматривают как вывод.

Как это часто бывает в прикладной математике или естествознании, у параметра есть два аспекта. Мы часто думаем об этом как о чем-то реальном, что мы открываем, но также верно и то, что это нечто, определенное нашей моделью процесса, так что оно не имеет значения вне контекста модели.

Два совершенно разных момента:

Многие ученые используют слово «параметр» так же, как статистики используют переменные. У меня есть как ученый, так и статистик, и я бы сказал, что это неудачно. Переменные и свойства - лучшие слова.
В более широком использовании английского языка замечательно, что параметр, как полагают, означает пределы или границы, которые могут проистекать из некоторой оригинальной путаницы между «параметром» и «периметром».

Записка по поводу точки зрения

Классическая позиция заключается в том, что мы заранее определяем параметр, а затем решаем, как его оценить, и это остается практикой большинства, но изменение процесса не абсурдно и может помочь при некоторых проблемах. Я называю это оценочной точкой зрения. Это было в литературе не менее 50 лет. Тьюки (1962, стр. 60) убеждал, что

«Мы должны уделять еще больше внимания тому, чтобы начать с оценки и выяснить, что является разумной оценкой, чтобы выяснить, что разумно считать оценщиком оценкой».

Подобная точка зрения была формально разработана в значительной детализации и глубине Биккелем и Леманом (1975) и неофициально со значительной ясностью Мостеллером и Тьюки (1977, с. 32-34).

Существует также элементарная версия. Использование (скажем) выборочного медианного или геометрического среднего для оценки соответствующего параметра совокупности имеет смысл независимо от того, является ли базовое распределение симметричным, и тот же гудвилл может быть распространен на (например) выборочные средние значения, которые рассматриваются как оценки их аналогов по совокупности ,

Бикель, П.Дж. и Э.Леманн. 1975. Описательная статистика для непараметрических моделей. II. Местоположение . Летопись статистики 3: 1045-1069.

Мостеллер, Ф. и Дж. В. Тьюки. 1977. Анализ данных и регрессия. Чтение, Массачусетс: Аддисон-Уэсли.

Тьюки, JW 1962. Будущее анализа данных . Анналы математической статистики 33: 1-67.

— Ник Кокс
источник

Многое из этого смотрит на разногласия со стандартной статистической литературой, особенно ваше определение параметра. Похоже, что запутывает процессы поиска процедуры для расчета оценки и определения того, что должно быть оценено. Последнее - выбор оценки - вопрос, который должен определить ученый или исследователь. Первый из них затем выбирается статистиком, чтобы иметь желательные свойства среди всех возможных процедур оценки оценки. Есть также технические проблемы; достаточно сказать, что параметр более ограничен, чем произвольная оценка.

— whuber

Я расширю свой ответ, чтобы обратиться к этому.

— Ник Кокс

1

Я согласен с Тьюки, хотя из моего ответа в этой ветке вы можете подумать, что я один из «окостеневших» статистиков, с которыми он сталкивается. Проблема в том, что вы взяли его цитату из контекста. Тьюки специально рассматривает вопрос о том, как оценивать свойства процедур, «когда гипотезы, на которых они обычно основаны, не поддерживаются». Это никоим образом не меняет определения таких вещей, как параметры, оценки и оценки. В частности, параметр все еще не является «тем, что мы оцениваем».

— whuber

3

Много пищи для размышлений здесь. В качестве быстрого ответа: Мой ответ не был предназначен для того, чтобы подразумевать, что мы находимся в Либерти Холле, где что-то идет. Контекст цитаты Тьюки я приветствую, как моя точка зрения является то , что обычно , что обычные условия не выполняются, поскольку все модели приближения не точно совпадающая по данным. Таким образом, этот пункт подчеркивает ценность другой точки зрения. В общем, я не пытаюсь и не имею права производить более абстрактные и более математически уточненные формальные определения.

— Ник Кокс

6

pdf = \frac{1}{\sqrt{2 π σ^{2}}} e^{- \frac{1}{2} \frac{(x_{i} - μ)^{2}}{σ^{2}}}

$\text{pdf}=\frac{1}{\sqrt{2\pi\sigma^2}}e^{-\frac{1}{2}\frac{(x_i-\mu)^2}{\sigma^2}}$

1

$1$

2

$2$

π

$\pi$

\approx 3.1415926

$\approx 3.1415926$

e

$e$

\approx 2.718281828

$\approx 2.718281828$

X

$X$

x_{i}

$x_i$ $\boldsymbol\mu$ $\boldsymbol\sigma^2$

X

$X$

25^{th} %

$25^{\text{th}}\%$

μ

$\mu$

σ^{2}

$\sigma^2$

μ

$\mu$

σ^{2}

$\sigma^2$

Y = β_{0} + β_{1} X_{1} + β_{2} X_{2} + ε where ε \sim N (0, σ^{2})

$Y=\beta_0 + \beta_1X_1 + \beta_2X_2 + \varepsilon \\ \text{where } \varepsilon\sim\mathcal N(0, \sigma^2)$ $\boldsymbol\beta_0$ $\boldsymbol\beta_1$ $\boldsymbol\beta_2$ $\boldsymbol\sigma^2$

25^{th} %

$25^{\text{th}}\%$

Y

$Y$

X = x_{i}

$X=x_i$

β_{0}

$\beta_0$

β_{1}

$\beta_1$ ,

β_{2}

$\beta_2$

σ^{2}

$\sigma^2$

β_{0}

$\beta_0$

β_{1}

$\beta_1$

β_{2}

$\beta_2$

σ^{2}

$\sigma^2$

(Все это, конечно, предполагает, что моя модель распределения населения или процесса генерирования данных верна. Как всегда, стоит помнить, что «все модели ошибочны, но некоторые полезны» - Джордж Бокс .)

Чтобы ответить на ваши вопросы более четко, я бы сказал:

Нет, любой старый количественный показатель не должен быть помечен как «параметр».
н /
Характеристики, которые должны быть помечены как «параметр», зависят от спецификации модели. У меня нет специального названия для других количественных характеристик, но я думаю , что было бы хорошо , чтобы называть их свойство или характеристику или последствия и т.д.

— Gung - Восстановить Монику
источник

Благодарю. Но какую терминологию вы используете для описания всех тех значений совокупности, которые могут быть получены из параметрической модели, но не входят в набор удобных параметров для представления этой модели? Или, в качестве альтернативы, может быть случай, когда вы не знаете модель популяции и не особенно заботитесь о ней, но интересуетесь конкретным нестандартным аспектом модели популяции.

— Джером Энглим

У меня нет какого-либо общеприменимого специального имени, но есть имена для определенных значений. Например, если вы действительно не верите, что ваша популяция достаточно близка к какому-либо хорошо изученному распределению, вы можете попытаться охарактеризовать ее по медиане, квартилям, точкам петель и т. Д.

— gung - восстановить Монику

3

Тонкий вопрос о параметрах раскрывается старым компьютерным трюком: взять двоичные (или десятичные) представления

β_{0}, β_{1}, β_{2},

$\beta_0, \beta_1, \beta_2,$ и

σ

$\sigma$ и чередовать их (группами по четыре), чтобы создать новое двоичное (или десятичное) число

θ

$\theta$ , Очевидно, процесс обратим: вы можете прочитать

β_{0}

$\beta_0$ от первой, пятой, девятой, ... и т. д. цифр

θ

$\theta$ , и так далее. Поэтому «однажды [вы] узнаете ценность

θ

$\theta$ , [вы] знаете все, что нужно знать ". Но

θ

$\theta$ это не является допустимым параметр в связи с искаженным способом , в котором он маркирует возможные распределения.

— whuber

3

На этот вопрос было несколько хороших ответов, я просто подумал, что суммирую интересную ссылку, которая обеспечивает довольно строгое обсуждение оценок.

Страница виртуальных лабораторий по оценкам определяет

статистики как «наблюдаемая функция переменного исхода».
«в техническом смысле, параметр $\theta$ является функцией распределения X "

Понятие функции распределения является очень общей идеей. Таким образом, каждый приведенный выше пример можно рассматривать как функцию определенного распределения.

Каждый квантиль, включая минимальный, медианный, 25-й квантиль, максимальный, может быть функцией распределения.
Асимметрия является функцией распределения. Если это распределение населения нормальное, то они будут равны нулю, но это не останавливает расчет этих значений.
Подсчет числа корреляций, превышающих определенное значение, является функцией ковариационной матрицы, которая, в свою очередь, является функцией многомерного распределения.
R-квадрат является функцией распределения.

— Джером англим
источник

1

Одна из причин, по которой я предложил более сложный ответ, заключается в том, что это определение «параметра» недостаточно. Один контрпример см. В моем комментарии к ответу @ gung . Интуитивно понятно, что множество параметризованных распределений образует конечномерное топологическое многообразие с границей; параметр должен быть непрерывной функцией, определенной на многообразии. Это больше, чем просто техническое требование, поскольку оно относится к выборочным распределениям оценок.

— whuber