Как преобразовать лептокуротическое распределение в нормальное состояние?

Предположим, у меня есть лептокуртическая переменная, которую я хотел бы преобразовать в нормальное состояние. Какие преобразования могут выполнить эту задачу? Мне хорошо известно, что преобразование данных может быть не всегда желательным, но в качестве академической цели, предположим, что я хочу «вбить» данные в нормальное русло. Кроме того, как видно из сюжета, все значения строго положительные.

Я пробовал различные преобразования (почти все, что я видел раньше, в том числе и т. Д.), Но ни один из них не работает особенно хорошо. Существуют ли общеизвестные преобразования, делающие лептокуротические распределения более нормальными?$\frac 1 X,\sqrt X,\text{asinh}(X)$

Смотрите пример нормального графика QQ ниже:

Я использую распределения Ламберта W x F с тяжелым хвостом, чтобы описать и преобразовать лептокуртические данные. Смотрите (мои) следующие посты для более подробной информации и ссылок:

• $\delta$
• Как распределяются эти данные? Пример применения этого метода для оценки параметров модели и гауссификации ваших данных.

Вот воспроизводимый пример с использованием пакета LambertW R.

library(LambertW)
set.seed(1)
theta.tmp <- list(beta = c(2000, 400), delta = 0.2)
yy <- rLambertW(n = 100, distname = "normal", 
                theta = theta.tmp)

test_norm(yy)

## $seed
## [1] 267509
## 
## $shapiro.wilk
## 
##  Shapiro-Wilk normality test
## 
## data:  data.test
## W = 1, p-value = 0.008
## 
## 
## $shapiro.francia
## 
## 	Shapiro-Francia normality test
## 
## data:  data.test
## W = 1, p-value = 0.003
## 
## 
## $anderson.darling
## 
##  Anderson-Darling normality test
## 
## data:  data
## A = 1, p-value = 0.01

yy$\times$$X \sim N (2000, 400)$$\delta = 0.2$$\leq 5$

Теперь вернемся к вашему вопросу: как снова сделать эти лептокуротические данные нормальными? Ну, мы можем оценить параметры распределения, используя MLE (или для методов использования моментов IGMM()),

mod.Lh <- MLE_LambertW(yy, distname = "normal", type = "h")
summary(mod.Lh)

## Call: MLE_LambertW(y = yy, distname = "normal", type = "h")
## Estimation method: MLE
## Input distribution: normal
## 
##  Parameter estimates:
##        Estimate  Std. Error  t value Pr(>|t|)    
## mu     2.05e+03    4.03e+01    50.88   <2e-16 ***
## sigma  3.64e+02    4.36e+01     8.37   <2e-16 ***
## delta  1.64e-01    7.84e-02     2.09    0.037 *  
## ---
## Signif. codes:  0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1
## -------------------------------------------------------------- 
## 
## Given these input parameter estimates the moments of the output random variable are 
##   (assuming Gaussian input): 
##  mu_y = 2052; sigma_y = 491; skewness = 0; kurtosis = 13.

W_delta()$X$

# get_input() handles does the right transformations automatically based on
# estimates in mod.Lh
xx <- get_input(mod.Lh)
test_norm(xx)

## $seed
## [1] 218646
## 
## $shapiro.wilk
## 
##  Shapiro-Wilk normality test
## 
## data:  data.test
## W = 1, p-value = 1
## 
## 
## $shapiro.francia
## 
## 	Shapiro-Francia normality test
## 
## data:  data.test
## W = 1, p-value = 1
## 
## 
## $anderson.darling
## 
##  Anderson-Darling normality test
## 
## data:  data
## A = 0.1, p-value = 1

Вуаля!

$\text{sign(.)}\cdot\text{abs(.)}^{\frac 1 3}$$Y-\text{median}(Y)$

Хотя преобразование корня куба не сработало хорошо, оказалось, что квадратный корень и более неясный корень с тремя четвертями работают хорошо.

Вот исходный график плотности ядра, соответствующий графику QQ лептокуртической переменной в исходном вопросе:

После применения преобразования квадратного корня к отклонениям график QQ выглядит следующим образом:

Лучше, но это может быть ближе.

Удар еще немного, применение преобразования корня три четверти к отклонениям дает:

И конечная плотность ядра этой преобразованной переменной выглядит следующим образом:

Выглядит близко ко мне.

Во многих случаях просто не может быть монотонного преобразования простой формы, которое даст результат, близкий к нормальному.

Например, представьте, что у нас есть распределение, представляющее собой конечную смесь логнормальных распределений различных параметров. Лог-преобразование преобразует любой из компонентов смеси в нормальность, но смесь нормалей в преобразованных данных оставляет вас с чем-то, что не является нормальным.

Или же это может быть относительно приятное преобразование, но не одной из форм, которые вы могли бы попробовать - если вы не знаете распределение данных, вы можете не найти его. Например, если данные были распределены по гамме, вы даже не найдете точное преобразование в нормальное состояние (которое, безусловно, существует), если я не скажу вам точно, что такое распределение (хотя вы можете наткнуться на преобразование кубического корня, которое в этом case делает его довольно близким к нормальному, пока параметр формы не слишком мал).

Есть множество способов, которыми данные могут выглядеть достаточно поддающимися преобразованию, но которые не выглядят великолепно ни в одном из списка очевидных преобразований.

Если вы можете предоставить нам доступ к данным, вполне возможно, что мы либо обнаружим преобразование, которое подходит, или что мы можем показать вам, почему вы его не найдете.

Просто из-за визуального впечатления это выглядит скорее как смесь двух нормалей с разными шкалами. Есть только небольшой намек на асимметрию, который вы легко можете наблюдать случайно. Вот пример выборки из смеси двух нормалей с общим средним значением - как вы видите, она очень похожа на ваш график (но другие выборки могут выглядеть более тяжелыми или более легкими с хвостами) - при этом размере выборки существует много изменений в порядке статистика за 1 сд по обе стороны от среднего значения).

На самом деле вот ваши и мои накладываются:

$\quad\quad\quad$