Пример распределения с тяжелым хвостом, которое не является длиннохвостым

Из прочтений о тяжелых и длиннохвостых дистрибутивах я понял, что все длиннохвостые дистрибутивы имеют «большой хвост» , но не все дистрибутивы с «длинным хвостом» имеют длинный хвост .

Может ли кто-нибудь привести пример:

непрерывная симметричная функция плотности с нулевым средним, длиннохвостая
непрерывная, симметричная, функция с нулевой средней плотностью, с тяжелыми хвостами, но не с длинными хвостами

чтобы я мог лучше понять смысл их определений?

Было бы еще лучше, если бы оба могли иметь единичную дисперсию.

distributions heavy-tailed

— toliveira
источник

Где вы нашли эти определения? Можете ли вы дать им здесь? Я думал об этом как синонимы!

— kjetil b halvorsen

@kjetilbhalvorsen: Возможно здесь: en.wikipedia.org/wiki/…

— Scortchi - Восстановить Монику

@kjetilbhalvorsen SA: См. ссылку E. LA: Я изучал определения «тяжелых», «толстых» и «длиннохвостых» дистрибутивов и нашел полезные объяснения по адресу: (A) [ stats.stackexchange.com/ Вопросы / 10726 /… , (B) [ en.wikipedia.org/wiki/Heavy-tailed_distribution] , (C) [ users.cms.caltech.edu/~adamw/papers/… , (продолжение)

— toliveira

(продолжение) (E) math.stackexchange.com/questions/685921/… Я понял, что (i) распределение с тяжелыми хвостами определяется как в A, B, C, D, E, (ii) определяется распределение с длинными хвостами как и в B, C, E (iii) определение «толстохвостый» является свободным, как объяснено в A.

— toliveira

Два определения близки, но не совсем одинаковы. Одно из различий заключается в необходимости ограничения выживаемости.

Для большей части этого ответа я буду игнорировать критерии для распределения, чтобы быть непрерывным, симметричным и конечной дисперсии, потому что их легко выполнить, как только мы нашли любое распределение с тяжелыми хвостами конечной дисперсии, которое не является длиннохвостым.

Распределение является тяжелым хвостом , когда для любого , $F$ $t\gt 0$

\begin{matrix} (1) & \int_{R} e^{t x} d F (x) = \infty . \end{matrix}

$\int_\mathbb{R} e^{t x} dF(x) = \infty.\tag{1}$

Распределение с функцией выживания является длиннохвостым, когда $G_F = 1-F$

\begin{matrix} (2) & lim_{x \to \infty} \frac{G_{F} (x + 1)}{G_{F} (x)} = 1. \end{matrix}

$\lim_{x\to \infty} \frac{G_F(x+1)}{G_F(x)} = 1.\tag{2}$

Длиннохвостые распределения тяжелы. Кроме того, поскольку не возрастает, предел отношения не может превышать . Если он существует и меньше , то экспоненциально убывает - и это позволит интегралу сходиться. $G$ $(2)$ $1$ $1$ $G$ $(1)$

Единственный способ показать распределение с длинными хвостами, которое не является длиннохвостым, состоит в том, чтобы изменить распределение с длинными хвостами так, чтобы продолжал удерживаться, в то время как нарушается. Ограничить предел легко: измените его в бесконечном количестве мест, которые расходятся до бесконечности. Это займет некоторое время с , который должен оставаться увеличивающимся и cadlag. Одним из способов является введение некоторых скачков вверх в , что заставит перескакивать вниз, уменьшая отношение $(1)$ $(2)$ $F$ $F$ $G$ $G_F(x+1)/G_F(x)$ , Для этого давайте определим преобразование которое превращает в другую действительную функцию распределения, одновременно создавая внезапный скачок значения , скажем, переход на полпути от к : $T_u$ $F$ $u$ $F(u)$ $1$

T_{u} [F] (x) = {\begin{cases} F (x) & u < x \\ \frac{1}{2} (1 - F (x)) + F (x) & u \geq x \end{cases}

$T_u[F](x) = \begin{cases} F(x) & u<x \\ \frac{1}{2} (1-F(x))+F(x) & u\geq x \end{cases}$

Это не меняет базового свойства : все еще является функцией распределения. $F$ $T_u[F]$

Влияние на , чтобы сделать его падение с коэффициентом при . Следовательно, поскольку неубывающая, то всякий раз, когда , $G_F$ $1/2$ $u$ $G$ $u-1 \le x \lt u$

\frac{G_{T_{u} [F]} (x + 1)}{G_{T_{u} [F]} (x)} \leq \frac{1}{2} .

$\frac{G_{T_u[F]}(x + 1)}{G_{T_u[F]}(x )} \le \frac{1}{2}.$

Если мы выберем возрастающую и расходящуюся последовательность , и применим каждый по очереди, это определит последовательность распределений с и $u_i$ $i=1, 2, \ldots$ $T_{u_i}$ $F_i$ $F_0=F$

F_{i + 1} = T_{u_{i}} [F_{i}]

$F_{i+1} = T_{u_i}[F_i]$

для . После шага все остаются теми же для . Следовательно, последовательность является неубывающей, ограниченной, поточечной последовательностью функций распределения, подразумевающей ее предел $i \ge 1$ $i^\text{th}$ $F_i(x), F_{i+1}(x), \ldots$ $x\lt u_i$ $F_i(x)$

F_{\infty} = lim_{i \to \infty} F_{i}

$F_\infty = \lim_{i\to\infty} F_i$

является функцией распределения. По конструкции это не длинный хвост , потому что существует бесконечное множество точек , в которых его коэффициент выживаемости падает до или ниже, показывает , что не может быть , как предел. $G_{F_\infty}(x+1)/G_{F_\infty}(x))$ $1/2$ $1$

Этот график показывает , функция выживаемости , который был сокращен таким образом , в точках Обратите внимание на логарифмическую вертикальную ось. $G(x) = x^{-1/5}$ $u_1 \approx 12.9, u_2 \approx 40.5, u_3 \approx 101.6, \ldots.$

Надежда состоит в том, чтобы иметь возможность выбрать так, чтобы оставался тяжелым хвостом. Мы знаем, потому что тяжелым хвостом, что есть числа для которых $(u_i)$ $F_\infty$ $F$ $0 = u_0 \lt u_1 \lt u_2 \lt \cdots \lt u_n \cdots$

\int_{u_{i - 1}}^{u_{i}} e^{x / i} d F (x) \geq 2^{i - 1}

$\int_{u_{i-1}}^{u_i} e^{x/i} dF(x) \ge 2^{i-1}$

for every $i \ge 1$ . The reason for the $2^{i-1}$ on the right is that the probabilities assigned by $F$ to values up to $u_i$ have been successively cut in half $i-1$ times. That procedure, when $dF(x)$ is replaced by $dF_{j}(x)$ for any $j\ge i$ , will reduce $2^{i-1}$ to $1$ , but no lower.

Это график для плотностей соответствующих предыдущей функции выживания и ее «урезанной» версии. Области под этой кривой способствуют ожиданию. Площадь от до представляет ; площадь от до равна , которая при срезании (до нижней синей части) становится площадью ; площадь от до равна , которая при срезании становится площадью $x f(x)$ $f$ $1$ $u_1$ $1$ $u_1$ $u_2$ $2$ $1$ $u_2$ $u_3$ $4$ $1$ , and so on. Thus, the area under each successive "stair step" to the right is $1$ .

Let us pick such a sequence $(u_i)$ to define $F_\infty$ . We can check that it remains heavy-tailed by picking $t=1/n$ for some whole number $n$ and applying the construction:

\begin{aligned} \int_{R} e^{t x} d F_{\infty} (x) & = \int_{R} e^{x / n} d F_{\infty} (x) \\ = \sum_{i = 1}^{\infty} \int_{u_{i - 1}}^{u_{i}} e^{x / n} d F_{\infty} (x) \\ \geq \sum_{i = n + 1}^{\infty} \int_{u_{i - 1}}^{u_{i}} e^{x / n} d F_{\infty} (x) \\ \geq \sum_{i = n + 1}^{\infty} \int_{u_{i - 1}}^{u_{i}} e^{x / i} d F_{\infty} (x) \\ = \sum_{i = n + 1}^{\infty} \int_{u_{i - 1}}^{u_{i}} e^{x / i} d F_{i} (x) \\ \geq \sum_{i = n + 1}^{\infty} 1, \end{aligned}

$\eqalign{ \int_\mathbb{R} e^{t x} dF_\infty(x) &=\int_\mathbb{R} e^{x/n} dF_\infty(x) \\ &= \sum_{i=1}^\infty \int_{u_{i-1}}^{u_i} e^{x/n} dF_\infty(x) \\ &\ge \sum_{i=n+1}^\infty \int_{u_{i-1}}^{u_i} e^{x/n} dF_\infty(x) \\ &\ge \sum_{i=n+1}^\infty \int_{u_{i-1}}^{u_i} e^{x/i} dF_\infty(x) \\ &= \sum_{i=n+1}^\infty \int_{u_{i-1}}^{u_i} e^{x/i} dF_i(x) \\ &\ge \sum_{i=n+1}^\infty 1, }$

which still diverges. Since $t$ is arbitrarily small, this demonstrates that $F_\infty$ remains heavy-tailed, even though its long-tailed property has been destroyed.

This is a plot of the survival ratio $G(x+1)/G(x)$ for the cut down distribution. Like the ratio of the original $G$ , it tends toward an upper accumulation value of $1$ --but for unit-width intervals terminating at the $u_i$ , the ratio suddenly drops to only half of what it originally was. These drops, although becoming less and less frequent as $x$ increases, occur infinitely often and therefore prevent the ratio from approaching $1$ in the limit.

If you would like a continuous, symmetric, zero-mean, unit-variance example, begin with a finite-variance long-tailed distribution. $F(x) = 1 - x^{-p}$ (for $x \gt 0$ ) will do, provided $p \gt 1$ ; so would a Student t distribution for any degrees of freedom exceeding $2$ . The moments of $F_\infty$ cannot exceed those of $F$ , whence it too has finite variance. "Mollify" it via convolution with a nice smooth distribution, such as a Gaussian: this will make it continuous but will not destroy its heavy tail (obviously) nor the absence of a long tail (not quite as obvious, but it becomes obvious if you change the Gaussian to, say, a Beta distribution whose support is compact).

Symmetrize the result--which I will still call $F_\infty$ --by defining

F_{s} (x) = \frac{1}{2} (1 + sgn (x) F_{\infty} (| x |))

$F_s(x) = \frac{1}{2}\left(1 + \text{sgn}(x) F_\infty(|x|)\right)$

for all $x\in\mathbb{R}$ . Its variance will remain finite, so it can be standardized to the desired distribution.

— whuber
источник

Brilliantly explained. You offered not just an example but also the justification for it. The clarity of the explanation allowed me to understand (almost) the whole of it. I will practice it in some numerical examples.

— toliveira