Как квантильная регрессия «работает»?

Я надеюсь получить интуитивное и доступное объяснение квантильной регрессии.

Допустим, у меня есть простой набор данных результата и предикторов . $Y$ $X_1, X_2$

Если, например, я запускаю квантильную регрессию в .25, .5, .75 и получаю обратно . $\beta_{0,.25},\beta_{1,.25}...\beta_{2,.75}$

Найдены ли значения простым упорядочением значений и выполнением линейной регрессии на основе примеров, которые находятся в / около заданного квантиля? $\beta$ $y$

Или все выборки вносят вклад в оценки с уменьшением веса по мере увеличения расстояния от квантиля? $\beta$

Или это что-то совершенно другое? Я еще не нашел доступного объяснения.

quantile-regression

— Джереми
источник

Что касается математики, вам могут пригодиться эти два ответа: stats.stackexchange.com/questions/102906/… , stats.stackexchange.com/questions/88387/…

— Энди

Ответы:

Отправной точкой является наблюдение, что медиана набора данных минимизирует сумму абсолютных ошибок . То есть квантиль 50% является решением конкретной задачи оптимизации (чтобы найти значение, которое минимизирует сумму абсолютных ошибок).
Отсюда легко обнаружить, что любой квантиль является решением конкретной задачи минимизации, а именно минимизации суммы асимметрично взвешенных абсолютных ошибок с весами, зависящими от . $\tau$ $\tau$
Наконец, чтобы сделать шаг к регрессии, мы моделируем решение этой проблемы минимизации как линейную комбинацию переменных-предикторов, поэтому теперь задача состоит в том, чтобы найти не одно значение, а набор параметров регрессии.

Итак, ваша интуиция совершенно верна: все выборки вносят вклад в оценки , причем асимметричные веса зависят от квантиля к которому мы стремимся. $\beta$ $\tau$

— С. Коласса - Восстановить Монику
источник

Что касается вашей точки 1), разве это не будет правдой, если Y симметрично распределен? Если Y искажен как {1, 1, 2, 4, 10}, медиана 2 определенно не минимизирует абсолютную ошибку. Всегда ли квантильная регрессия предполагает, что Y симметрично распределен? Благодарность!

— Бен

@ Бен: нет, симметрия не требуется. Ключевым моментом является то, что медиана минимизирует ожидаемую абсолютную ошибку. Если у вас есть дискретное распределение со значениями 1, 2, 4, 10 и вероятностями 0,4, 0,2, 0,2, 0,2, то итоговая сводка 2 действительно минимизирует ожидаемую абсолютную ошибку. Симуляция - это всего лишь несколько строк кода R:

foo <- sample(x=c(1,2,4,10),size=1e6,prob=c(.4,.2,.2,.2),replace=TRUE); xx <- seq(1,10,by=.1); plot(xx,sapply(xx,FUN=function(yy)mean(abs(yy-foo))),type="l")

— С. Коласса - Восстановить Монику

(И да, я должен был быть более ясным в своем ответе, вместо того, чтобы обсуждать «суммы».)

— С. Коласса - Восстановить Монику

Derp. О чем я только думал. Это имеет смысл сейчас, спасибо.

— Бен

Основная идея квантильной регрессии проистекает из того факта, что аналитик заинтересован в распространении данных, а не просто в средстве данных. Начнем со среднего.

$y=X\beta$ $E(Y|X=x)=x\beta$ $\arg\min_\beta (y-x\beta)'(y-X\beta)$

$\arg\min_\beta |y-X\beta|$ $|.|$

$\alpha$

Здесь вы допустили небольшую ошибку: Q-регрессия - это не то же самое, что найти квантиль данных, а затем поместить линию в это подмножество (или даже в более сложные границы).

$\alpha$

{\hat{β}}_{α} = \arg min_{β} {α | y - X β | I (y > X β) + (1 - α) | y - X β | I (y < X β)} .

$\hat\beta_\alpha=\arg\min_\beta \bigg\{\alpha |y-X\beta| I(y>X\beta) + (1-\alpha) |y-X\beta|I(y<X\beta)\bigg\}.$

Как видите, эта умная целевая функция - не более чем преобразование квантиля в задачу оптимизации.

$\beta_\alpha$

— TPArrow
источник

Этот ответ блестящий.

— Цзиньхуа Ван