Можно ли восстановить нормальное распределение по размеру выборки, а также по минимальным и максимальным значениям? Я могу использовать среднюю точку для прокси среднего

Я знаю, что это может быть немного странно, статистически, но это моя проблема.

У меня много данных о диапазоне, то есть минимальный, максимальный и размер выборки переменной. Для некоторых из этих данных у меня также есть среднее, но не много. Я хочу сравнить эти диапазоны друг с другом, чтобы количественно оценить изменчивость каждого диапазона, а также сравнить средние значения. У меня есть веские основания полагать, что распределение симметрично относительно среднего, и что данные будут иметь гауссово распределение. По этой причине я думаю, что могу оправдать использование средней точки распределения в качестве посредника для среднего значения, когда оно отсутствует.

То, что я хочу сделать, это восстановить распределение для каждого диапазона, а затем использовать его, чтобы обеспечить стандартное отклонение или стандартную ошибку для этого распределения. Единственная информация, которую я имею, - это максимальное и минимальное значение, наблюдаемое по выборке, и средняя точка в качестве посредника для среднего значения.

Таким образом, я надеюсь, что смогу рассчитать средневзвешенные значения для каждой группы, а также определить коэффициент вариации для каждой группы, основываясь на данных о диапазоне, которые у меня есть, и моих предположениях (о симметричном и нормальном распределении).

Я планирую использовать R, чтобы сделать это, так что любая помощь в коде также будет оценена.

Совместная кумулятивная функция распределения для минимального и максимального x ( n ) для выборки n из гауссовского распределения со средним μ и стандартным отклонением σ равна$x_{(1)}$$x_{(n)}$$n$$\mu$$\sigma$

$$F(x_{(1)},x_{(n)};\mu,\sigma) = \Pr(X_{(1)}<x_{(1)}, X_{(n)}<x_{(n)})\\ =\Pr( X_{(n)}<x_{(n)}) - \Pr(X_{(1)}>x_{(1)}, X_{(n)}<x_{(n)}\\ =\Phi\left(\tfrac{x_{(n)}-\mu}{\sigma}\right)^n - \left[\Phi\left(\tfrac{x_{(n)}-\mu}{\sigma}\right) -\Phi\left(\tfrac{x_{(1)}-\mu}{\sigma}\right)\right]^n$$

где является стандартным гауссовым CDF. Дифференцирование по & дает общую функцию плотности вероятностиx ( 1 ) x ( n $\Phi(\cdot)$$x_{(1)}$$x_{(n)}$

$$f(x_{(1)},x_{(n)};\mu,\sigma) =\\ n(n-1)\left[\Phi\left(\tfrac{x_{(n)}-\mu}{\sigma}\right) - \Phi\left(\tfrac{x_{(1)}-\mu}{\sigma}\right)\right]^{n-2}\cdot\phi\left(\tfrac{x_{(n)}-\mu}{\sigma}\right)\cdot\phi\left(\tfrac{x_{(1)}-\mu}{\sigma}\right)\cdot\tfrac{1}{\sigma^2}$$

где - стандартный гауссовский PDF. Взятие терминов log & drop, не содержащих параметров, дает функцию log-правдоподобия$\phi(\cdot)$

$$\ell(\mu,\sigma;x_{(1)},x_{(n)}) =\\ (n-2)\log\left[\Phi\left(\tfrac{x_{(n)}-\mu}{\sigma}\right) - \Phi\left(\tfrac{x_{(1)}-\mu}{\sigma}\right)\right] + \log\phi\left(\tfrac{x_{(n)}-\mu}{\sigma}\right) + \log\phi\left(\tfrac{x_{(1)}-\mu}{\sigma}\right) - 2\log\sigma$$

Это не очень удобно, но легко увидеть, что оно максимизируется независимо от значения , установив , то есть середина - первый член максимизируется, когда аргумент одного CDF является отрицательным аргументом другого; второе и третье слагаемые представляют собой совместную вероятность двух независимых нормальных переменных.ц = ц = х ( п ) + х ( 1 $\sigma$$\mu=\hat\mu=\frac{x_{(n)}+x_{(1)}}{2}$

Подстановка в логарифмическую вероятность и запись дает г=х(п)-х(1)ℓ(σ;х(1),х(п), μ )=(п-2)журнал[1-2Φ( - $\hat\mu$$r=x_{(n)}-x_{(1)}$

$$\ell(\sigma;x_{(1)},x_{(n)},\hat\mu)=(n-2)\log\left[1 - 2\Phi\left(\tfrac{-r}{2\sigma}\right)\right] - \frac{r^2}{4\sigma^2} -2\log{\sigma}$$

Это выражение должно быть максимизировано численно (например, optimizeиз statпакета R ), чтобы найти . (Оказывается, что , где - это константа, зависящая только от кто-то более математически ловкий, чем я мог бы показать, почему.) сг =к(п)⋅гк$\hat\sigma$$\hat\sigma=k(n)\cdot r$$k$$n$

Оценки бесполезны без сопутствующей меры точности. Наблюдаемая информация Фишера может быть оценена численно (например, hessianиз numDerivпакета R ) и использована для расчета приблизительных стандартных ошибок:

я(σ)=-∂2ℓ(σ; μ

$$I(\mu)=-\left.\frac{\partial^2{\ell(\mu;\hat\sigma)}}{(\partial\mu)^2}\right|_{\mu=\hat\mu}$$ $$I(\sigma)=-\left.\frac{\partial^2{\ell(\sigma;\hat\mu)}}{(\partial\sigma)^2}\right|_{\sigma=\hat\sigma}$$

Было бы интересно сравнить вероятность и оценки метода моментов для с точки зрения смещения (согласован ли MLE?), Дисперсии и среднеквадратичной ошибки. Существует также проблема оценки для тех групп, где выборочное среднее известно в дополнение к минимуму и максимуму.$\sigma$

Вам необходимо связать диапазон со стандартным отклонением / дисперсией. Пусть будет средним значением, стандартное отклонение и будет диапазоном. Тогда для нормального распределения мы имеем, что % вероятностной массы лежит в пределах 3 стандартных отклонений от среднего. Это, как практическое правило, означает, что с очень высокой вероятностью,$\mu$$\sigma$$R=x_{(n)} - x_{(1)}$$99.7$

$$\mu + 3\sigma \approx x_{(n)}$$ и

$$\mu - 3\sigma \approx x_{(1)}$$

Вычитая второе из первого, получаем

$$6\sigma \approx x_{(n)} - x_{(1)}= R$$ (это, кстати, то, откуда приходит методология обеспечения качества «шесть сигм» в промышленности). Затем вы можете получить оценку для стандартного отклонения с помощью где столбец обозначает средние значения. Это когда вы предполагаете, что все подвыборки происходят из одного и того же дистрибутива (вы писали о наличии ожидаемых диапазонов). Если каждая выборка отличается от нормы, имеет различное среднее значение и дисперсию, то вы можете использовать формулу для каждой выборки, но неопределенность / возможная неточность в оценочной величине стандартного отклонения будет намного больше. $$\hat \sigma = \frac 16 \Big(\bar x_{(n)} - \bar x_{(1)}\Big)$$

Наличие значения для среднего значения и стандартного отклонения полностью характеризует нормальное распределение.

Получить функцию распределения максимума нормального распределения просто (см. «P.max.norm» в коде). Из него (с некоторым исчислением) вы можете получить функцию квантиля (см. «Q.max.norm»).

Используя «Q.max.norm» и «Q.min.norm», вы можете получить медиану диапазона, связанного с N. Используя идею, представленную Алекосом Пападопулосом (в предыдущем ответе), вы можете вычислить sd.

Попробуй это:

N = 100000    # the size of the sample

# Probability function given q and N
P.max.norm <- function(q, N=1, mean=0, sd=1){
    pnorm(q,mean,sd)^N
} 
# Quantile functions given p and N
Q.max.norm <- function(p, N=1, mean=0, sd=1){
    qnorm(p^(1/N),mean,sd)
} 
Q.min.norm <- function(p, N=1, mean=0, sd=1){
    mean-(Q.max.norm(p, N=N, mean=mean, sd=sd)-mean)
} 

### lets test it (takes some time)
Q.max.norm(0.5, N=N)  # The median on the maximum
Q.min.norm(0.5, N=N)  # The median on the minimum

iter = 100
median(replicate(iter, max(rnorm(N))))
median(replicate(iter, min(rnorm(N))))
# it is quite OK

### Lets try to get estimations
true_mean = -3
true_sd = 2
N = 100000

x = rnorm(N, true_mean, true_sd)  # simulation
x.vec = range(x)                  # observations

# estimation
est_mean = mean(x.vec)
est_sd = diff(x.vec)/(Q.max.norm(0.5, N=N)-Q.min.norm(0.5, N=N))

c(true_mean, true_sd)
c(est_mean, est_sd)

# Quite good, but only for large N
# -3  2
# -3.252606  1.981593