Как оценить третий квартиль бин-данных?

12

Есть ли какая-то техническая хитрость для определения третьего квартиля, если он принадлежит открытому интервалу, который содержит более четверти населения (поэтому я не могу закрыть интервал и использовать стандартную формулу)?

редактировать

В случае, если я что-то неправильно понял, я предоставлю более или менее полный контекст. У меня есть данные, расположенные в таблице с двумя столбцами и, скажем, 6 строк. Каждому столбцу соответствует интервал (в первом столбце) и количество населения, которое «принадлежит» этому интервалу. Последний интервал открыт и включает более 25% населения. Все интервалы (за исключением последнего) имеют одинаковый диапазон.

Пример данных (транспонирован для представления):

Column 1: (6;8),(8;10),(10;12),(12;14),(14;16),(16;∞)
Column 2:    51,    65,     68,     82,     78,   182

Первый столбец должен интерпретироваться как диапазон уровня дохода. Второе следует интерпретировать как количество работников, чей доход относится к интервалу.

Стандартная формула, о которой я думаю: . $\mathbb{Q}_{3}=x_{Q_{3}}+ \frac{\frac{3N}{4}- \sum_{i=1}^{k-1}n_{i}}{n_{Q_{3}}}r_{Q_{3}}$

distributions histogram descriptive-statistics

— чуть-чуть
источник

Распространенным допущением при попытке оценить квантили с бин-данными является допущение однородности в бинах. Но когда вы знаете что-то о способе, которым данные, вероятно, будут распределены (как с доходами, которые являются правильными), предположения, которые отражают, что знания будут иметь тенденцию быть лучше. Другой альтернативой было бы предположить, что это сглаживание, а затем сгладить данные (будь то с помощью KDE или некоторого подобранного распределения), перераспределить точки внутри бинов в соответствии с моделью [и, возможно, переоценить (в некоторой степени как EM) соответствие, и перераспределить в мусорные ведра снова, затем оцените квантили из этого.

— Glen_b

16

Вам необходимо согласовать эти объединенные данные с некоторой моделью распределения, поскольку это единственный способ экстраполировать в верхний квартиль.

Модель

По определению, такая модель задается функцией кадлага растущей с до . Вероятность, которую он назначает любому интервалу равна . Чтобы выполнить подбор, необходимо установить семейство возможных функций, индексированных (векторным) параметром , Предполагая, что выборка суммирует совокупность людей, выбранных случайным образом и независимо от популяции, описанной некоторым конкретным (но неизвестным) $F$ $0$ $1$ $(a,b]$ $F(b)-F(a)$ $\theta$ $\{F_\theta\}$ $F_\theta$ , вероятность выборки (или вероятность , ) является произведением индивидуальных вероятностей. В примере это будет равно $L$

L (θ) = (F_{θ} (8) - F_{θ} (6))^{51} (F_{θ} (10) - F_{θ} (8))^{65} \dots (F_{θ} (\infty) - F_{θ} (16))^{182}

$L(\theta) = (F_\theta(8) - F_\theta(6))^{51} (F_\theta(10) - F_\theta(8))^{65} \cdots (F_\theta(\infty) - F_\theta(16))^{182}$

потому что из людей ассоциированные вероятности , имеют вероятности , и так далее. $51$ $F_\theta(8) - F_\theta(6)$ $65$ $F_\theta(10) - F_\theta(8)$

Подгонка модели к данным

Оценка максимального правдоподобия по & представляет собой значение , которое максимизирует (или, что эквивалентно, логарифм ). $\theta$ $L$ $L$

Распределение доходов часто моделируется логнормальными распределениями (см., Например, http://gdrs.sourceforge.net/docs/PoleStar_TechNote_4.pdf ). Если записать , семейство логнормальных распределений имеет вид $\theta = (\mu,\sigma)$

F_{(μ, σ)} (x) = \frac{1}{\sqrt{2 π}} \int_{- \infty}^{(\log (x) - μ) / σ} \exp (- t^{2} / 2) d t .

$F_{(\mu, \sigma)}(x) = \frac{1}{\sqrt{2\pi}}\int_{-\infty}^{(\log(x)-\mu)/\sigma} \exp(-t^2/2) dt.$

$L$ R $\log(L(\theta))$ $\log(L)$ $L$ $\log(L)$

logL <- function(thresh, pop, mu, sigma) {
  l <- function(x1, x2) ifelse(is.na(x2), 1, pnorm(log(x2), mean=mu, sd=sigma)) 
                        - pnorm(log(x1), mean=mu, sd=sigma)
  logl <- function(n, x1, x2)  n * log(l(x1, x2))
  sum(mapply(logl, pop, thresh, c(thresh[-1], NA)))
}

thresh <- c(6,8,10,12,14,16)
pop <- c(51,65,68,82,78,182)
fit <- optim(c(0,1), function(theta) -logL(thresh, pop, theta[1], theta[2]))

$\theta = (\mu,\sigma)=(2.620945, 0.379682)$ fit$par

Проверка предположений модели

$F$

predict <- function(a, b, mu, sigma, n) {
  n * ( ifelse(is.na(b), 1, pnorm(log(b), mean=mu, sd=sigma)) 
        - pnorm(log(a), mean=mu, sd=sigma) )

Применяется к данным для получения подогнанных или «предсказанных» популяций бинов:

pred <- mapply(function(a,b) predict(a,b,fit$par[1], fit$par[2], sum(pop)), 
               thresh, c(thresh[-1], NA))

Мы можем нарисовать гистограммы данных и прогнозы, чтобы сравнить их визуально, показанные в первом ряду этих графиков:

Гистограммы

Чтобы сравнить их, мы можем вычислить статистику хи-квадрат. Обычно это относится к распределению хи-квадрат для оценки значимости :

chisq <- sum((pred-pop)^2 / pred)
df <- length(pop) - 2
pchisq(chisq, df, lower.tail=FALSE)

$0.0087$ $6-8$ $6$ $3$ $0.40$

Использование подгонки для оценки квантилей

$6$ $3$ $(\mu, \sigma)$ $(2.620334, 0.405454)$ $F$ $75^{\text{th}}$

exp(qnorm(.75, mean=fit$par[1], sd=fit$par[2]))

$18.06$ $6$ $3$ $17.76$

Эти процедуры и этот код можно применять в целом. Теория максимального правдоподобия может быть дополнительно использована для вычисления доверительного интервала вокруг третьего квартиля, если это представляет интерес.

— Whuber
источник

Вау, спасибо! Должен признать, я не ожидал, что такой продвинутый (по крайней мере для меня) механизм будет использован для поиска решения.

— ATAD

Механизм не должен быть продвинутым или сложным, но что бы вы ни делали, вы должны следовать тем же общим линиям этого примера: предположить что-то о распределении дохода, использовать это для соответствия математической модели, проверить модель на разумность, и если это разумное соответствие, используйте его для вычисления квартиля. Попутно используйте графические методы, потому что они могут выявить интересные закономерности. (Здесь интерес заключается в том, что в группе с низким уровнем дохода наблюдается явное отклонение от логнормальности : я хотел бы знать, почему это происходит и что это может сказать об этой

— группе

+1, отличный ответ. Похоже, мне еще предстоит выучить R

— DAV

8

Слишком долго для комментария:

Ответ Ууберса так же хорош, как и любой другой, но он допускает асимметрию в своей лог-нормальной модели. Это может быть реалистичным для доходов по всему населению, но не для доходов одного работодателя в определенном классе.

$68$ $64$ $50$ $17.5$

$80$ $17.3$

$17$

— Генри
источник

1

16

$16$