Определение семейства раздачи?

Имеет ли семейство распределения другое определение статистики, чем в других дисциплинах?

В общем, семейство кривых - это набор кривых, каждая из которых задается функцией или параметризацией, в которой один или несколько параметров варьируются. Такие семейства используются, например, для характеристики электронных компонентов .

Для статистики семейство в соответствии с одним источником является результатом изменения параметра формы. Как тогда мы можем понять, что гамма-распределение имеет параметр формы и масштаба, и, кроме того, только обобщенное гамма-распределение имеет параметр местоположения? Делает ли это семью результатом изменения параметра местоположения? Согласно @whuber значение семейства подразумевается неявно . «Параметризация» семейства - это непрерывное отображение из подмножества ℝ n с его обычной топологией в пространство распределений, образ которого является этим семейством.$^n$

Что на простом языке означает семья для статистических распределений?

Вопрос об отношениях между статистическими свойствами распределений из одного и того же семейства уже породил значительное противоречие с другим вопросом, поэтому представляется целесообразным изучить его значение.

То, что это не обязательно простой вопрос, вытекает из его использования во фразе экспоненциального семейства , которое не имеет ничего общего с семейством кривых, но связано с изменением формы PDF распределения путем репараметризации не только параметров , но также подстановка функций независимых случайных величин.

Статистические и математические концепции абсолютно одинаковы, понимая, что «семья» - это общий математический термин с техническими вариациями, адаптированными к различным обстоятельствам:

Параметрическое семейство - это кривая (или поверхность, или другое ее конечномерное обобщение) в пространстве всех распределений.

Остальная часть этого поста объясняет, что это значит. Кроме того, я не думаю, что что-либо из этого является спорным, ни математически, ни статистически (кроме одной незначительной проблемы, которая отмечена ниже). В поддержку этого мнения я привел много ссылок (в основном на статьи Википедии).

Эта терминология «семейств» имеет тенденцию использоваться при изучении классов функций в виде множества Y или «отображений». Учитывая область X , А семейство F отображений на X параметрироваться на некотором множестве thetas ; ( «параметры») является функция$\mathcal C_Y$$Y$$X$ $\mathcal F$$X$ $\Theta$

для которых (1) для каждого & ; , функция F θ : X → Y задается F & thetas ; ( х ) = Р ( х , θ ) в C Y и (2) Р сама по себе имеет некоторые "хорошие" свойства.$\theta\in\Theta$$\mathcal{F}_\theta:X\to Y$$\mathcal{F}_\theta(x)=\mathcal{F}(x,\theta)$$\mathcal{C}_Y$$\mathcal F$

Идея состоит в том, что мы хотим варьировать функции от до Y «плавным» или контролируемым образом. Свойство (1) означает, что каждая θ обозначает такую ​​функцию, в то время как детали свойства (2) будут охватывать тот смысл, в котором «небольшое» изменение θ вызывает достаточно «небольшое» изменение F θ .$X$$Y$$\theta$$\theta$$\mathcal{F}_\theta$

Стандартный математический пример, близкий к упомянутому в вопросе, является гомотопией . В этом случае - категория непрерывных отображений из топологических пространств X в топологическое пространство Y ; Θ = [ 0 , 1 ] ⊂ R единичный интервал с его обычной топологией, а также потребовать , чтобы Р быть непрерывное отображением из топологического произведения X × thetas ; в Y . Это можно рассматривать как «непрерывную деформацию карты $\mathcal{C}_Y$ $X$$Y$$\Theta=[0,1]\subset\mathbb{R}$$\mathcal{F}$$X \times \Theta$$Y$ до F 1. "Когда X = [ 0 , 1 ] сам является интервалом, такие отображения являютсякривымив Y, а гомотопия представляет собой плавную деформацию от одной кривой к другой.$\mathcal{F}_0$$\mathcal{F}_1$$X=[0,1]$$Y$

Для статистических приложений - это множество всех распределений на R (или на практике на R n для некоторого n , но для простоты изложения я сосредоточусь на n = 1 ). Мы можем отождествить его с набором всех неубывающих функций Кадляга R → [ 0 , 1 ], где замыкание их диапазона включает в себя как 0, так и 1 : это кумулятивные функции распределения или просто функции распределения. Таким образом, X = R и$\mathcal{C}_Y$$\mathbb{R}$$\mathbb{R}^n$$n$$n=1$$\mathbb{R}\to [0,1]$$0$$1$$X=\mathbb R$ .$Y=[0,1]$

Семейство распределений является любое подмножество . $\mathcal{C}_Y$ Другое название семьи - статистическая модель. Он состоит из всех распределений, которые, как мы полагаем, управляют нашими наблюдениями, но в противном случае мы не знаем, какое распределение является действительным.

• Семья может быть пустой.
• сама семья.$\mathcal{C}_Y$
• Семья может состоять из одного распределения или только конечного их числа.

Эти абстрактные теоретико-множественные характеристики представляют относительно небольшой интерес или полезность. Только когда мы рассматриваем дополнительную (соответствующую) математическую структуру на , эта концепция становится полезной. Но какие свойства C Y представляют статистический интерес? Некоторые, которые появляются часто:$\mathcal{C}_Y$$\mathcal{C}_Y$

1. -выпуклое множество: для любых двух распределений F , G ∈ C Y мы можем сформироватьраспределение смеси(1-t) F +t G ∈Yдля всехt∈[0,1]. Это своего рода «гомотопности» отFкG.$\mathcal{C}_Y$${F}, {G}\in \mathcal{C}_Y$ $(1-t){F}+t{G}\in Y$$t\in[0,1]$$F$$G$

2. Большие части поддерживают различные псевдометрики, такие как расхождение Кульбака-Лейблера или тесно связанная метрика информации Фишера.$\mathcal{C}_Y$

3. имеет аддитивную структуру: соответствующая любых двух распределенийFиGявляется их суммой, Р ⋆ С .$\mathcal{C}_Y$$F$$G$${F}\star {G}$

4. поддерживает много полезных, естественных функций, часто называемых «свойствами». К ним относятся любой фиксированный квантиль (например, медиана), а такжекумулянты.$\mathcal{C}_Y$

5. является подмножествомфункционального пространства. Как таковой, он наследует много полезных метрик, таких какsup-норма( L ∞- норма), заданная как | | F-G | | ∞ = sup x ∈ R | F(x)-G(x) | $\mathcal{C}_Y$$L^\infty$

   $$||F-G||_\infty = \sup_{x\in\mathbb{R}}|F(x)-G(x)|.$$

6. Естественные действия группы на индуцируют действия на C Y . Наиболее распространенными действиями являются трансляции T μ : x → x + μ и масштабирования S σ : x → x σ для σ > 0 . Влияние, которое они оказывают на распределение, заключается в отправке F в распределение, определяемое как F μ , σ ( x ) = F ( ( x - μ $\mathbb R$$\mathcal{C}_Y$ $T_\mu:x \to x+\mu$ $S_\sigma:x\to x\sigma$$\sigma\gt 0$$F$ . Это приводит к понятиям семейства масштаба и их обобщений. (Я не предоставляю ссылку, потому что обширные поиски в Интернете приводят к множеству различных определений: здесь, по крайней мере, может быть немного противоречий.)$F^{\mu,\sigma}(x) = F((x-\mu)/\sigma)$

Важные свойства зависят от статистической проблемы и от того, как вы собираетесь анализировать данные. Рассмотрение всех вариантов, предложенных предыдущими характеристиками, заняло бы слишком много места для этой среды. Давайте сосредоточимся на одном общем важном приложении.

Взять, к примеру, Максимальное правдоподобие. В большинстве приложений вы захотите использовать исчисление для получения оценки. Чтобы это работало, вы должны уметь «брать дериваты» в семье.

( Технический стороне: Обычный способ , в котором это достигается заключается в выборе домена & для D ≥ 0 и указать непрерывный, локально обратимое функцию р из & thetas в C Y (это означает , что для каждого. & Thetas ; ∈ & thetas ; есть существует шар B ( θ , ϵ ) с ϵ > 0, для которого p ∣ B ( θ , ϵ )$\Theta\subset \mathbb{R}^d$$d\ge 0$$p$$\Theta$$\mathcal{C}_Y$$\theta\in\Theta$$B(\theta, \epsilon)$$\epsilon\gt 0$ взаимно однозначно. Другими словами, если мы изменим θ на достаточно малую величину, мы всегда получим другое распределение.))$p\mid_{B(\theta,\epsilon)}: B(\theta,\epsilon)\cap \Theta \to \mathcal{C}_Y$$\theta$

Следовательно, в большинстве приложений ML мы требуем , чтобы быть непрерывным (и , надеюсь, дифференцируема почти всюду) в & thetas компонента. (Без преемственности максимизация вероятности обычно становится неразрешимой проблемой.) Это приводит к следующему ориентированному на вероятность определению параметрического семейства :$p$$\Theta$

Параметрическое семейство (одномерных) распределений представляет собой локально обратимое отображение где Θ ⊂ R n , для которого (a) каждый F θ является функцией распределения и (b) для каждого x ∈ R , функция L x : θ → [ 0 , 1 ] определяется как L x ( θ ) = F ( x , θ

$$\mathcal{F}:\mathbb{R}\times\Theta \to [0,1],$$ $\Theta\subset \mathbb{R}^n$$\mathcal{F}_\theta$$x\in\mathbb R$$\mathcal{L}_x: \theta\to [0,1]$$\mathcal{L}_x(\theta) = \mathcal{F}(x,\theta)$ непрерывен и почти везде дифференцируем.

Обратите внимание, что параметрическое семейство - это больше, чем просто набор F θ : оно также включает конкретный способ, которым значения параметра θ соответствуют распределениям.$\mathcal F$$\mathcal{F}_\theta$$\theta$

Давайте в итоге приведем несколько иллюстративных примеров.

• Пусть - множество всех нормальных распределений. Как дано, это не параметрическая семья: это просто семья. Чтобы быть параметрическим, мы должны выбрать параметризацию. Одним из способов является выбор Θ = { ( μ , σ ) ∈ R 2 ∣ σ > 0 } и отображение ( μ , σ ) на нормальное распределение со средним μ и дисперсией σ 2 .$\mathcal{C}_Y$$\Theta = \{(\mu,\sigma)\in\mathbb{R}^2\mid \sigma \gt 0\}$$(\mu,\sigma)$$\mu$$\sigma^2$

• Множество пуассоновских распределений$(\lambda)$ представляет собой параметрическое семейство с .$\lambda\in\Theta=(0,\infty)\subset\mathbb{R}^1$

• $(\theta, \theta+1)$$\theta\in\mathbb{R}^1$$F_\theta(x) = \max(0, \min(1, x-\theta))$$\theta$$\theta\in\{x, x-1\}$

• $F$$G$$\mathcal{F}(x,\theta)=(1-\theta)F(x)+\theta G(x)$$\theta\in[0,1]$$\mathcal F$$\theta$$-F(x)+G(x)$

• $\Theta\subset\mathbb{R}^4$

• $\mathcal{C}_Y$$\mathcal{C}_Y$$p: \Theta\to\mathcal{C}_Y$$\mathcal{C}_Y$$\Theta$$\mathcal{C}_Y$

Для решения конкретной проблемы, поднятой в вопросе: «экспоненциальное семейство» не обозначает набор распределений. (Стандартное, скажем, экспоненциальное распределение является членом семейства экспоненциальных распределений, экспоненциального семейства; семейства гамма-распределений, также экспоненциального семейства; семейства распределений Вейбулла, а не экспоненциального семейства; & любого числа о других семьях, о которых вы могли бы мечтать.) Скорее, «экспоненциальный» здесь относится к собственности, которой владеет семья распределений. Поэтому мы должны говорить не о «распределениях в экспоненциальном семействе», а о «экспоненциальных семействах распределений» - первое - это злоупотребление терминологией, как указывает @JuhoKokkala. По какой-то причине никто не совершает это насилие, когда речь идет о семьях масштаба.

Благодаря @whuber достаточно информации, чтобы подвести итог, я надеюсь, в более простой форме, касающейся вопроса, из которого возник этот пост. «Другое название семьи [ Sic , статистическая семья] - [ статистическая модель ] ».

$( S , P )$$S$$P$$S$

$(S, \mathcal{P})$$\mathcal{P}=\{P_{\theta} : \theta \in \Theta\}$$\Theta$$\Theta \subseteq \mathbb{R}^d$$d$$\mathbb{R}$$d$

Thus, if we reduce the dimensionality by assigning, for the example above, $\mu=0$, we can show a family of curves by plotting $\sigma=1,2,3,4,5$ or whatever choices for $\sigma$.