Высокомерная регрессия: почему

Я пытаюсь прочитать об исследованиях в области регрессии больших размеров; когда больше , то есть . Похоже, термин часто встречается в терминах скорости сходимости для оценок регрессии. $p$ $n$ $p >> n$ $\log p/n$

Например, здесь уравнение (17) говорит, что для подгонки лассо удовлетворяет $\hat{\beta}$

\frac{1}{n} ‖ X \hat{β} - X β ‖_{2}^{2} = O_{P} (σ \sqrt{\frac{\log p}{n}} ‖ β ‖_{1}) .

$\dfrac{1}{n}\|X\hat{\beta} - X \beta\|_2^2 = O_P \left(\sigma \sqrt{\dfrac{\log p}{n} } \|\beta\|_1\right)\,.$

Обычно это также означает, что $\log p$ должно быть меньше $n$ .

Есть ли какая-то интуиция, почему это соотношение $\log p/n$ так заметно?
Кроме того, из литературы кажется, что проблема многомерной регрессии усложняется, когда $\log p \geq n$ . Почему это так?
Есть хороший справочник, в котором обсуждаются вопросы о том, как быстро должны расти $p$ и $n$ по сравнению друг с другом?

— Greenparker
источник

1. Термин происходит от (гауссовой) концентрации меры. В частности, если у вас есть IID гауссовских случайных величин, их максимум имеет порядок с высокой вероятностью. фактор просто приходит факт вы смотрите на средней ошибки предсказания - то есть, он совпадает с с другой стороны - если посмотреть на общую ошибку, она не будет.

\sqrt{\log p}

$\sqrt{\log p}$

p

$p$

σ \sqrt{\log p}

$\sigma \sqrt{\log p}$

n^{- 1}

$n^{-1}$

n^{- 1}

$n^{-1}$

— mweylandt

2. По сути, у вас есть две силы, которые вы должны контролировать: i) хорошие свойства иметь больше данных (поэтому мы хотим, чтобы было большим); II) трудности имеют больше (не имеет значения) особенности (поэтому мы хотим, чтобы было маленьким). В классической статистике мы обычно фиксируем и позволяем переходить в бесконечность: этот режим не очень полезен для теории больших измерений, потому что он находится в режиме низких измерений по построению. В качестве альтернативы, мы могли бы позволить перейти в бесконечность, а остаться неизменным, но тогда наша ошибка просто взорвется и перейдет в бесконечность.

n

$n$

p

$p$

p

$p$

n

$n$

p

$p$

n

$n$

— mweylandt

Следовательно, нам нужно рассмотреть оба стремятся к бесконечности, чтобы наша теория была релевантной (остается высокомерной), не будучи апокалиптической (бесконечные особенности, конечные данные). Наличие двух «ручек», как правило, сложнее, чем одной ручки, поэтому мы фиксируем

для некоторого

и позволяем

переходить в бесконечность (и, следовательно,

косвенно). Выбор

определяет поведение задачи. По причинам, изложенным в моем ответе на вопрос 1, выясняется, что «вредность» от дополнительных функций растет только как

тогда как «доброта» от дополнительных данных растет как

n, p

$n, p$

p = f (n)

$p = f(n)$

f

$f$

n

$n$

p

$p$

f

$f$

\log p

$\log p$

n

$n$

— mweylandt

Поэтому, если

\log p / n

$\log p / n$ остается постоянным (эквивалентно,

p = f (n) = Θ (C^{n})

$p = f(n) = \Theta(C^n)$ для некоторого

C

$C$ ), мы идем по воде. Если

\log p / n \to 0

$\log p / n \to 0$ (

p = o (C^{n})

$p = o(C^n)$ ), мы асимптотически достигаем нулевой ошибки. И если (

\log p / n \to \infty

$\log p / n \to \infty$

p = ω (C^{n})

$p = \omega(C^n)$ ) ошибка в итоге уходит в бесконечность. Этот последний режим иногда называют в литературе «сверхвысокой размерностью». Это не безнадежно (хотя и близко), но требует гораздо более сложных приемов, чем просто максимум гауссианцев, чтобы контролировать ошибку. Необходимость использования этих сложных методов является основным источником сложности, которую вы отмечаете.

— mweylandt

@mweylandt Спасибо, эти комментарии действительно полезны. Не могли бы вы превратить их в официальный ответ, чтобы я мог прочитать их более согласованно и выразить свое мнение?

— Greenparker

(Перенесено из комментариев к ответу по запросу @Greenparker)

Часть 1)

$\sqrt{\log p}$ term происходит от (гауссовой) концентрации меры. В частности, если у вас есть $p$ IID гауссовских случайных величин [F1], их максимум порядка $\sigma\sqrt{\log p}$ с высокой вероятностью.

$n^{-1}$ фактор просто приходит факт вы смотрите на средней ошибки предсказания - то есть, он соответствует $n^{-1}$ на другой стороне - если вы смотрели на общую ошибку, она не будет.

Часть 2)

По сути, у вас есть две силы, которые вы должны контролировать:

i) хорошие свойства иметь больше данных (поэтому мы хотим, чтобы было большим); $n$
II) трудности имеют больше (не имеет значения) особенности (поэтому мы хотим, чтобы было маленьким). $p$

В классической статистике мы обычно фиксируем и позволяем переходить в бесконечность: этот режим не очень полезен для теории больших измерений, потому что он (асимптотически) в режиме низких измерений по построению . $p$ $n$

В качестве альтернативы, мы могли бы позволить перейти в бесконечность, а остаться неизменным, но тогда наша ошибка просто взорвется, поскольку проблема становится практически невозможной. В зависимости от проблемы ошибка может переходить в бесконечность или останавливаться на некоторой естественной верхней границе ( например , ошибка ошибочной классификации 100%). $p$ $n$

Поскольку оба эти случая немного бесполезны, мы вместо этого рассматриваем оба переходящие в бесконечность, так что наша теория актуальна (остается многомерной), не будучи апокалиптической (бесконечные особенности, конечные данные). $n, p$

Наличие двух «ручек», как правило, сложнее, чем наличие одной ручки, поэтому мы фиксируем для некоторого фиксированного и позволяем переходить в бесконечность (и, следовательно, переходит в бесконечность косвенно). [F2] Выбор определяет поведение проблемы. По причинам, приведенным в моем ответе на часть 1, выясняется, что «плохость» от дополнительных функций растет только как а «доброта» от дополнительных данных растет как . $p=f(n)$ $f$ $n$ $p$ $f$ $\log p$ $n$

Если остается постоянным (эквивалентно,для некоторого), мы наступаем на воду, и проблема заключается в стирке (ошибка остается фиксированной асимптотически); $\frac{\log p}{n}$ $p=f(n)=Θ(C^n)$ $C$
если () мы асимптотически достигаем нулевой ошибки; $\frac{\log p}{n} \to 0$ $p=o(C^n)$
и если (), ошибка в конечном итоге уходит в бесконечность. $\frac{\log p}{n}→\infty$ $p=\omega(C^n)$

Этот последний режим иногда называют в литературе «сверхвысокой размерностью». Насколько я знаю, термин «сверхвысокомерный» не имеет строгого определения, но неофициально это просто «режим, который нарушает лассо и подобные оценки».

Мы можем продемонстрировать это с помощью небольшого имитационного исследования в довольно идеализированных условиях. Здесь мы берем теоретическое руководство по оптимальному выбору из [BRT09] и выбираем $\lambda$ . $\lambda = 3 \sqrt{\log(p)/n}$

Сначала рассмотрим случай, когда . Это в «управляемом» многомерном режиме, описанном выше, и, как предсказывает теория, мы видим, что ошибка предсказания сходится к нулю: $p = f(n) = 3n$

Код для воспроизведения:

library(glmnet)
library(ggplot2)

# Standard High-Dimensional Asymptotics: log(p) / n -> 0

N <- c(50, 100, 200, 400, 600, 800, 1000, 1100, 1200, 1300)
P <- 3 * N

ERROR_HD <- data.frame()

for(ix in seq_along(N)){
  n <- N[ix]
  p <- P[ix]

  PMSE <- replicate(20, {
    X <- matrix(rnorm(n * p), ncol=p)
    beta <- rep(0, p)
    beta[1:10] <- runif(10, 2, 3)
    y <- X %*% beta + rnorm(n)

    g <- glmnet(X, y)

    ## Cf. Theorem 7.2 of Bickel et al. AOS 37(4), p.1705-1732, 2009. 
    ## lambda ~ 2*\sqrt{2} * \sqrt{\log(p)/n} 
    ## is good scaling for controlling prediction error of the lasso
    err <- X %*% beta - predict(g, newx=X, s=3 * sqrt(log(p)/n))
    mean(err^2)
  })

  ERROR_HD <- rbind(ERROR_HD, data.frame(PMSE=PMSE, n=n, p=p))
}

ggplot(ERROR_HD, aes(x=n, y=PMSE)) + geom_point() + theme_bw() + 
xlab("Number of Samples (n)") + 
ylab("Mean Prediction Error (at observed design points)") + 
ggtitle("Prediction Error Converging to 0 under High-Dim Asymptotics") + 
scale_x_continuous(sec.axis = sec_axis(~ 3 * ., name="Number of Features (p)")) + 
scale_y_log10()

Мы можем сравнить это со случаем, когда остается примерно постоянным: я называю это «пограничным» режимом сверхвысокой размерности, но это не стандартный термин: $\frac{\log p}{n}$

P <- 10 + ceiling(exp(N/120))

Здесь мы видим, что ошибка прогнозирования (с использованием той же схемы, что и выше) выравнивается, а не продолжается до нуля.

$P$ $e^n$ $e^{n^2}$ $e^{n^2}$

P <- 10 + ceiling(exp(N^(1.03)/120))

$X$ $e^{n^1.5}$

Несмотря на то, что я сказал выше и как это может выглядеть, режим сверхвысокой размерности на самом деле не является полностью безнадежным (хотя он и близок), но он требует гораздо более сложных методов, чем просто максимальное число гауссовских случайных величин для контроля ошибки. Необходимость использования этих сложных методов является основным источником сложности, которую вы отмечаете.

$p, n$ $p = f(n)$

Часть 3)

$\log p$ $n$

$n, p$ $n, p$

Если вам удобно и вы хотите углубиться в исследовательскую литературу, я бы посмотрел на работы Jianqing Fan и Jinchi Lv, которые выполнили основную работу над проблемами сверхвысокой размерности. («Скрининг» - хороший термин для поиска)

[F1] На самом деле, любая субгауссова случайная величина, но это не так уж много добавляет к этому обсуждению.

$s$ $n$ $s = g(n)$

[F3] Т. Хасти, Р. Тибширани и М. Уэйнрайт. Статистическое обучение с редкостью. Монографии по статистике и прикладной вероятности 143. CRC Press, 2015. Доступно для бесплатного скачивания по адресу https://web.stanford.edu/~hastie/StatLearnSparsity_files/SLS.pdf.

[BRT] Питер Дж. Биккель, Яков Ритов и Александр Б. Цыбаков. «Одновременный анализ лассо и селектора Данцига». Летопись статистики 37 (4), с. 1705-1732, 2009. http://dx.doi.org/10.1214/08-AOS620

— mweylandt
источник

\log p / n

$\log p/n$

n

$n$