Почему среднее арифметическое меньше среднего по логарифмически нормальному распределению?

Итак, у меня есть случайный процесс генерирования лог-нормально распределенных случайных величин . Вот соответствующая функция плотности вероятности: $X$

Я хотел оценить распределение нескольких моментов этого исходного распределения, скажем, 1-го момента: среднее арифметическое. Для этого 10000 раз я нарисовал 100 случайных величин, чтобы вычислить 10000 оценок среднего арифметического.

Есть два разных способа оценить это значение (по крайней мере, это то, что я понял: я могу ошибаться):

путем простого вычисления среднего арифметического обычным способом: $\bar{X} = \sum_{i = 1}^{N} \frac{X_{i}}{N} .$ $\bar{X} = \sum_{i=1}^N \frac{X_i}{N}.$
или путем первой оценки и из основного нормального распределения: $\sigma$ $\mu$ а затем среднее значение как $μ = \sum_{i = 1}^{N} \frac{журнал ({Икс}_{я})}{N} σ^{2} знак равно Σ_{я знак равно 1}^{N} \frac{{(журнал ({Икс}_{я}) - μ)}^{2}}{N}$ $\mu = \sum_{i=1}^N \frac{\log (X_i)}{N} \quad \sigma^2 = \sum_{i=1}^N \frac{\left(\log (X_i) - \mu\right)^2}{N}$ $\bar{Икс} знак равно ехр (μ + \frac{1}{2} σ^{2}),$ $\bar{X} = \exp(\mu + \frac{1}{2}\sigma^2).$

Проблема в том, что распределения, соответствующие каждой из этих оценок, систематически различаются:

«Простое» среднее значение (представленное красной пунктирной линией) обычно дает более низкие значения, чем значение, полученное из экспоненциальной формы (зеленая простая линия). Хотя оба средства рассчитаны на один и тот же набор данных. Обратите внимание, что эта разница носит систематический характер.

Почему эти распределения не равны?

— JohnW
источник

каковы ваши истинные параметры для

μ

$\mu$

σ

$\sigma$

— Кристоф Ханк

, но, пожалуйста, обратите внимание, что я заинтересован в оценке этих параметров, поэтому мы используем подход Монте-Карло, а не вычисляем значение из этих необработанных чисел.

μ = 3

$\mu = 3$

σ = 1.5

$\sigma = 1.5$

— JohnW

конечно, это для тиражирования ваших результатов.

— Кристоф Ханк

Интересно, что это явление не имеет ничего общего с логнормальностью. Учитывая положительные числа

с логарифмами

, хорошо известно их среднее арифметическое (AM)

никогда не меньше , чем их среднее геометрическое (GM)

. В другом направлении AM никогда не больше GM, умноженного на

где

- дисперсия

x_{i}

$x_i$

y_{i}

$y_i$

\sum x_{i} / n

$\sum x_i/n$

\exp (\sum y_{i} / n)

$\exp(\sum y_i/n)$

\exp (s_{y}^{2} / 2)

$\exp(s_y^2/2)$

s_{y}^{2}

$s_y^2$

y_{i}

$y_i$ , Таким образом, пунктирная красная кривая должна лежать слева от сплошной зеленой кривой для любого родительского распределения (описывающего положительные случайные числа).

— whuber

Если большая часть среднего значения получается из крошечной вероятности огромных чисел, арифметическое среднее по конечной выборке может недооценивать среднее по совокупности с высокой вероятностью. (В ожидании это непредвзято, но существует большая вероятность небольшой недооценки и небольшой вероятности большой переоценки.) Этот вопрос также может относиться к этому: stats.stackexchange.com/questions/214733/…

— Мэтью Ганн

Две сравниваемые оценки - это метод оценки моментов (1.) и MLE (2.), см. Здесь . Оба они согласуются (так при больших , они находятся в определенном смысле , вероятно, будет близка к истинному значению ). $N$ $\exp[\mu+1/2\sigma^2]$

$\bar X\to_pE(X_i)$

\exp [\hat{μ} + 1 / 2 {\hat{σ}}^{2}] \to_{p} \exp [μ + 1 / 2 σ^{2}],

$\exp[\hat\mu+1/2\hat\sigma^2]\to_p\exp[\mu+1/2\sigma^2],$

\hat{μ} \to_{p} μ

$\hat\mu\to_p\mu$

{\hat{σ}}^{2} \to_{p} σ^{2}

$\hat\sigma^2\to_p\sigma^2$

MLE, однако, не беспристрастен.

$N$ $\hat\mu$ $\hat\sigma^2$ $N=100$ $N-1$ $\mu$ $\sigma^2$

$E(\hat\mu+1/2\hat\sigma^2)\approx\mu+1/2\sigma^2$

E [\exp (\hat{μ} + 1 / 2 {\hat{σ}}^{2})] > \exp [E (\hat{μ} + 1 / 2 {\hat{σ}}^{2})] \approx \exp [μ + 1 / 2 σ^{2}]

$E[\exp(\hat\mu+1/2\hat\sigma^2)]>\exp[E(\hat\mu+1/2\hat\sigma^2)]\approx \exp[\mu+1/2\sigma^2]$

$N=100$

$N=1000$

Создано с помощью:

N <- 1000
reps <- 10000

mu <- 3
sigma <- 1.5
mm <- mle <- rep(NA,reps)

for (i in 1:reps){
  X <- rlnorm(N, meanlog = mu, sdlog = sigma)
  mm[i] <- mean(X)

  normmean <- mean(log(X))
  normvar <- (N-1)/N*var(log(X))
  mle[i] <- exp(normmean+normvar/2)
}
plot(density(mm),col="green",lwd=2)
truemean <- exp(mu+1/2*sigma^2)
abline(v=truemean,lty=2)
lines(density(mle),col="red",lwd=2,lty=2)

> truemean
[1] 61.86781

> mean(mm)
[1] 61.97504

> mean(mle)
[1] 61.98256

$\exp(\mu+\sigma^2/2)$

V_{t} = (σ^{2} + σ^{4} / 2) \cdot \exp {2 (μ + \frac{1}{2} σ^{2})},

$V_t = (\sigma^2 + \sigma^4/2)\cdot \exp\left\{2(\mu + \frac 12\sigma^2)\right\},$

\exp {2 (μ + \frac{1}{2} σ^{2})} (\exp {σ^{2}} - 1)

$\exp\left\{2(\mu + \frac 12\sigma^2)\right\}(\exp\{\sigma^2\}-1)$

\exp {σ^{2}} > 1 + σ^{2} + σ^{4} / 2,

$\exp\{\sigma^2\}>1+\sigma^2 + \sigma^4/2,$

\exp (x) = \sum_{i = 0}^{\infty} x^{i} / i!

$\exp(x)=\sum_{i=0}^\infty x^i/i!$

σ^{2} > 0

$\sigma^2>0$

$N$ N <- c(50,100,200,500,1000,2000,3000,5000)

$N$ $N$ $N=50$

> tail(sort(mm))
[1] 336.7619 356.6176 369.3869 385.8879 413.1249 784.6867
> tail(sort(mle))
[1] 187.7215 205.1379 216.0167 222.8078 229.6142 259.8727

— Кристоф Ханк
источник

N

$N$

N = 100

$N=100$

N

$N$

Что ж, меня тоже удивляет, что между этими двумя методами есть такая большая разница, однако этот пример абсолютно идеален, чтобы продемонстрировать, почему «просто усреднение» может быть ужасным!

— JohnW

@JohnW, я добавил небольшое аналитическое объяснение того, почему MLE имеет меньшую дисперсию.

— Кристоф Ханк,

Расхождение связано с тем, что смещение является проблемой конечного образца, т. Е. Оно исчезает как

N

$N$ уходит в бесконечность. Сравнение асимптотической дисперсии (как следует из названия) показывает только то, что происходит в пределе, так как

N \to \infty

$N\to\infty$ ,

— Кристоф Ханк