Рассмотрим старую добрую регрессионную проблему с $p$ предикторами и размером выборки . Обычная мудрость заключается в том, что оценщик OLS будет более подходящим и, как правило, будет превосходить оценщик регрессии гребня:Стандартно используется перекрестная проверка для нахождения оптимального параметра регуляризации . Здесь я использую 10-кратное резюме. Уточнение уточнения: когда , под "оценщиком OLS" я понимаю "оценщик минимальной нормы OLS", заданный$n$

У меня есть набор данных с и . Все предикторы стандартизированы, и есть немало, которые (одни) могут хорошо предсказать . Если я случайно выберу маленькое число, скажем, , число предикторов, я получу разумную кривую CV: большие значения дают нулевой R-квадрат, маленькие значения дают отрицательный R-квадрат (потому что переоснащение) и есть некоторый максимум между ними. Для кривая выглядит аналогично. Тем не менее, для намного превышающего это значение, например, , я вообще не получаю никакого максимума: кривые плато, означающие, что OLS с$n=80$$p>1000$$y$$p=50<n$$\lambda$$\lambda$$p=100>n$$p$$p=1000$$\lambda\to 0$ работает так же хорошо, как регрессия гребня с оптимальной .$\lambda$

Как это возможно и что это говорит о моем наборе данных? Я упускаю что-то очевидное или это действительно нелогично? Как может быть какая-либо качественная разница между и учитывая, что оба больше, чем ?$p=100$$p=1000$$n$

При каких условиях OLS-решение с минимальной нормой для не подходит?$n<p$

Обновление: было некоторое недоверие в комментариях, так что вот воспроизводимый пример с использованием glmnet. Я использую Python, но пользователи R легко адаптируют код.

%matplotlib notebook

import numpy as np
import pylab as plt
import seaborn as sns; sns.set()

import glmnet_python    # from https://web.stanford.edu/~hastie/glmnet_python/
from cvglmnet import cvglmnet; from cvglmnetPlot import cvglmnetPlot

# 80x1112 data table; first column is y, rest is X. All variables are standardized
mydata = np.loadtxt('../q328630.txt')   # file is here https://pastebin.com/raw/p1cCCYBR
y = mydata[:,:1]
X = mydata[:,1:]

# select p here (try 1000 and 100)
p = 1000

# randomly selecting p variables out of 1111
np.random.seed(42)
X = X[:, np.random.permutation(X.shape[1])[:p]]

fit = cvglmnet(x = X.copy(), y = y.copy(), alpha = 0, standardize = False, intr = False, 
               lambdau=np.array([.0001, .001, .01, .1, 1, 10, 100, 1000, 10000, 100000]))
cvglmnetPlot(fit)
plt.gcf().set_size_inches(6,3)
plt.tight_layout()

Естественная регуляризация происходит из-за присутствия множества мелких компонентов в теоретическом PCA . Эти небольшие компоненты неявно используются, чтобы соответствовать шуму, используя маленькие коэффициенты. При использовании минимальной нормы OLS вы подгоняете шум многими небольшими независимыми компонентами, и это имеет эффект регуляризации, эквивалентный регуляризации Риджа. Эта регуляризация часто слишком сильна, и ее можно компенсировать, используя «антирегуляризацию», известную какотрицательный хребет. В этом случае вы увидите, что минимум кривой MSE появляется для отрицательных значений λ .$x$$\lambda$

Под теоретическим PCA я имею в виду:

Пусть $x\sim N(0,\Sigma)$ многомерное нормальное распределение. Существует линейная изометрия $f$ такая как $u=f(x)\sim N(0,D)$ где $D$ диагонально: компоненты независимы. D просто получается диагонализацией Σ .$u$$D$$\Sigma$

Теперь модель можно записать y = f ( β ) . f ( x ) + ϵ (линейная изометрия сохраняет скалярное произведение). Если вы напишите γ = f ( β ) , модель можно записать y = γ $y=\beta.x+\epsilon$$y=f(\beta).f(x)+\epsilon$$\gamma=f(\beta)$$y=\gamma.u+\epsilon$y = γ . u + ϵ f y = β . х + $\|\beta\|=\|\gamma\|$$y=\gamma.u+\epsilon$ является изображение с помощью$f$ оценки .$y=\beta.x+\epsilon$

Теоретический PCA превращает независимые предикторы в независимых предикторов. Это только слабо связано с эмпирическим PCA, где вы используете эмпирическую ковариационную матрицу (которая сильно отличается от теоретической с небольшим размером выборки). Теоретический PCA не является практически вычисляемым, но используется здесь только для интерпретации модели в пространстве ортогональных предикторов.

Давайте посмотрим, что произойдет, когда мы добавим в модель множество независимых от малой дисперсии предикторов:

теорема

Регуляризация хребта с коэффициентом p → $\lambda$ эквивалентна (когда ):$p\rightarrow\infty$

• добавление поддельных независимых предикторов (центрированных и одинаково распределенных), каждый с дисперсией$p$$\frac{\lambda}{p}$
• примерка обогащенной модели с минимальной нормой оценки МНК
• сохраняя только параметры для истинных предикторов

(эскиз) Доказательство

Мы собираемся доказать, что функции стоимости асимптотически равны. Давайте модель на реальные и поддельные предикторы:$y=\beta x+\beta'x'+\epsilon$ . Функция стоимости Риджа (для истинных предикторов) может быть записана:

$$\mathrm{cost}_\lambda=\|\beta\|^2+\frac{1}{\lambda}\|y-X\beta\|^2$$

При использовании минимальной нормы OLS отклик подгоняется идеально: погрешность равна 0. Функция стоимости имеет отношение только к норме параметров. Это может быть разделено на истинные параметры и поддельные:

$$\mathrm{cost}_{\lambda,p}=\|\beta\|^2+\inf\{\|\beta'\|^2 \mid X'\beta'=y-X\beta\}$$

В правильном выражении минимальное решение нормы дается выражением:

$$\beta'=X'^+(y-X\beta )$$

Теперь используем SVD для :$X'$

$$X'=U\Sigma V$$

$$X'^{+}=V^\top\Sigma^{+} U^\top$$

Мы видим, что норма существенно зависит от сингулярных значений которые являются обратной величиной сингулярных значений . Нормализованная версия - . Я смотрел на литературу, и особые значения больших случайных матриц хорошо известны. Для достаточно больших и минимальные и максимальные особые значения аппроксимируются (см. Теорему 1.1 ):X ′ + X ′ X ′ $\beta'$$X'^+$$X'$$X'$pnsmins$\sqrt{p/\lambda} X'$$p$$n$$s_\min$$s_\max$

смакс(

$$s_\min(\sqrt{p/\lambda}X')\approx \sqrt p\left(1-\sqrt{n/p}\right)$$ $$s_\max(\sqrt{p/\lambda}X')\approx \sqrt p \left(1+\sqrt{n/p}\right)$$

Так как при большом , стремится к 0, мы можем только сказать , что все особые значения аппроксимируются . Таким образом:$p$$\sqrt{n/p}$$\sqrt p$

$$\|\beta'\|\approx\frac{1}{\sqrt\lambda}\|y-X\beta\|$$

В заключение:

$$\mathrm{cost}_{\lambda,p}\approx\|\beta\|^2+\frac{1}{\lambda}\|y-X\beta\|^2=\mathrm{cost}_\lambda$$

Примечание : не имеет значения, сохраняете ли вы коэффициенты ложных предикторов в вашей модели. Дисперсия, введенная равна . Таким образом, вы увеличиваете свое MSE только в что в любом случае стремится к 1. Каким-то образом вам не нужно обращаться с ложными предикторами иначе, чем с реальными.$\beta'x'$1+n/$\frac{\lambda}{p}\|\beta'\|^2\approx\frac{1}{p}\|y-X\beta\|^2\approx\frac{n}{p}MSE(\beta)$$1+n/p$

Теперь вернемся к данным @ amoeba. После применения теоретического PCA к (предполагается, что оно нормальное) преобразуется с помощью линейной изометрии в переменную , компоненты которой являются независимыми и сортируются в порядке убывания дисперсии. Задача эквивалентна преобразованной проблеме .x u y = β x + ϵ y = γ u + $x$$x$$u$$y=\beta x+\epsilon$$y=\gamma u+\epsilon$

Теперь представьте, что дисперсия компонентов выглядит так:

Рассмотрим множество из последних компонент, назовем сумму их дисперсии . Каждая из них имеет дисперсию, приблизительно равную и независима. Они играют роль ложных предикторов в теореме.λ λ /$p$$\lambda$$\lambda/p$

Этот факт более ясен в модели @ jonny: только первый компонент теоретического PCA соотносится с (он пропорционален ) и имеет огромную дисперсию. Все остальные компоненты (пропорциональные ) имеют сравнительно очень малую дисперсию (напишите ковариационную матрицу и по диагонали ее, чтобы увидеть это) и играют роль ложных предикторов. Я рассчитал, что регуляризация здесь соответствует (приблизительно) предыдущему на то время как истинное . Это определенно переусердствует.¯ х х я - ¯ х N ( 0 , $y$$\overline{x}$$x_i-\overline{x}$γ1γ 2 1 =$N(0,\frac{1}{p^2})$$\gamma_1$$\gamma_1^2=\frac{1}{p}$Это видно по тому факту, что конечное MSE намного больше, чем идеальное MSE. Эффект регуляризации слишком сильный.

Иногда возможно улучшить эту естественную регуляризацию с помощью хребта. Во-первых, в теореме иногда требуется действительно большое (1000, 10000 ...), чтобы серьезно соперничать с Риджем, и конечность подобна неточности. Но это также показывает, что Ридж является дополнительной регуляризацией по сравнению с естественной неявной регуляризацией и, таким образом, может иметь очень небольшой эффект. Иногда эта естественная регуляризация уже слишком сильна, и Ридж может даже не быть улучшением. Более того, лучше использовать антирегуляризацию: хребет с отрицательным коэффициентом. Это показывает MSE для модели @ jonny ( ), используя :p p = 1000 λ ∈ $p$$p$$p=1000$$\lambda\in\mathbb{R}$

Спасибо всем за отличную дискуссию. Суть дела в том, что МНК с минимальной нормой эффективно выполняет усадку, которая похожа на регрессию гребня. Кажется, это происходит всякий раз, когда . По иронии судьбы, добавление предикторов чистого шума может даже использоваться как очень странная форма или регуляризация.$p\gg n$

Часть I. Демонстрация с искусственными данными и аналитическое резюме

@Jonny (+1) предложил очень простой искусственный пример, который я немного адаптирую здесь. из размера и генерируются таким образом, что все переменные являются гауссовым с единичной дисперсией, а соотношение между каждым предсказателем и ответом . Я исправлю .n × p y ρ ρ = $X$$n\times p$$y$$\rho$$\rho=.2$

Я буду использовать CV без изменений, потому что для квадратичной ошибки есть аналитическое выражение: оно называется PRESS , «прогнозируемая сумма квадратов». где - остатки а - это матрица в терминах СВД . Это позволяет реплицировать результаты @ Джонни, не используя и фактически не выполняя перекрестную проверку (я строю график отношения PRESS к сумме квадратов ):еяе=у-у=у-Ну,НН=Х(Х⊤Х+λI)-1х⊤=US

Этот аналитический подход позволяет вычислить предел при . Простое включение в формулу PRESS не работает: когда и , все остатки равны нулю, а матрица hat является единичной матрицей с единицами на диагонали, что означает, что дроби в PRESS Уравнение не определено. Но если мы вычислим предел в , то он будет соответствовать OLS-решению минимальной нормы с .λ = 0 n < p λ = 0 λ → 0 λ = $\lambda\to 0$$\lambda=0$$n<p$$\lambda=0$$\lambda \to 0$$\lambda=0$

Хитрость заключается в том, чтобы выполнить разложение в ряд Тейлора, если : Здесь я ввел матрицу ГрамаH = U $\lambda\to 0$G=XX⊤=US2U

Мы почти закончили:Лямбда была отменена, поэтому здесь мы имеем предельное значение. Я нарисовал его с большой черной точкой на рисунке выше (на панелях, где ), и он идеально подходит.р>

Обновление 21 февраля. Приведенная выше формула является точной, но мы можем получить некоторое представление, сделав дальнейшие приближения. Похоже, что имеет приблизительно равные значения по диагонали, даже если имеет очень неравные значения (вероятно, потому что довольно хорошо смешивает все собственные значения). Таким образом, для каждого у нас есть где угловые скобки обозначают усреднение. Используя это приближение, мы можем переписать:Это приближение показано на рисунке выше с красными кружками. S U я G - 1 я я ≈ ⟨ S - 2 ⟩ PRESS ≈ ‖ S - $G^{-1}$$S$$U$$i$$G^{-1}_{ii}\approx \langle S^{-2} \rangle$

Будет ли это быть больше или меньше , чем зависит от единственного числа значений . В этом моделировании соотносится с первым ПК из поэтому большое, а все остальные члены маленькие. (В моих реальных данных также хорошо предсказывается ведущими компьютерами.) Теперь, в случае , если столбцы достаточно случайны, то все сингулярные значения будут довольно близки друг к другу (строки примерно ортогональны). «Основной» термин$\lVert y \rVert^2 = \lVert U^\top y \rVert^2$$S$$y$$X$$U_1^\top y$$y$$p\gg n$$X$$U_1^\top y$будет умножено на коэффициент меньше 1. Сроки к концу умножатся на факторы больше 1, но не намного больше. В целом норма уменьшается. Напротив, в случае будут очень маленькие особые значения. После инверсии они станут крупными факторами, которые увеличат общую норму.$p\gtrsim n$

[Этот аргумент очень волнистый; Я надеюсь, что это можно сделать более точным.]

В качестве проверки работоспособности, если я поменяю местами порядок значений в единственном числе, S = diag(flipud(diag(S)));то прогнозируемое MSE будет выше везде на 2-й и 3-й панелях.$1$

figure('Position', [100 100 1000 300])
ps = [10, 100, 1000];

for pnum = 1:length(ps)
    rng(42)
    n = 80;
    p = ps(pnum);
    rho = .2;
    y = randn(n,1);
    X = repmat(y, [1 p])*rho + randn(n,p)*sqrt(1-rho^2);

    lambdas = exp(-10:.1:20);
    press = zeros(size(lambdas));
    [U,S,V] = svd(X, 'econ');
    % S = diag(flipud(diag(S)));   % sanity check

    for i = 1:length(lambdas)
        H = U * diag(diag(S).^2./(diag(S).^2 + lambdas(i))) * U';
        e = y - H*y;
        press(i) = sum((e ./ (1-diag(H))).^2);
    end

    subplot(1, length(ps), pnum)
    plot(log(lambdas), press/sum(y.^2))
    hold on
    title(['p = ' num2str(p)])
    plot(xlim, [1 1], 'k--')

    if p > n
        Ginv = U * diag(diag(S).^-2) * U';
        press0 = sum((Ginv*y ./ diag(Ginv)).^2);
        plot(log(lambdas(1)), press0/sum(y.^2), 'ko', 'MarkerFaceColor', [0,0,0]);

        press0approx = sum((diag(diag(S).^-2/mean(diag(S).^-2)) * U' * y).^2);
        plot(log(lambdas(1)), press0approx/sum(y.^2), 'ro');
    end
end

Часть II. Добавление предикторов чистого шума как форма регуляризации

@Jonny, @Benoit, @Paul, @Dikran и другие приводят веские аргументы в пользу того, что увеличение количества предикторов приведет к сокращению минимального нормативного OLS-решения. Действительно, если , любой новый предиктор может только уменьшить норму решения с минимальной нормой. Таким образом, добавление предикторов приведет к снижению нормы, в некоторой степени аналогично тому, как регрессия гребня нарушает норму.$p>n$

Так можно ли это использовать как стратегию регуляризации? Мы начинаем с и а затем продолжаем добавлять предикторов чистого шума в качестве попытки регуляризации. Я сделаю LOOCV и сравню его с LOOCV для гребня (рассчитанного как указано выше). Обратите внимание, что после получения для предикторов я «обрезаю» его на потому что меня интересуют только исходные предикторы.$n=80$$p=40$$q$$\hat\beta$$p+q$$p$

ОНО РАБОТАЕТ!!!

На самом деле не нужно «усекать» бета-версию; даже если я использую полную бета-версию и полные предикторы , я могу получить хорошую производительность (пунктирная линия на правом участке). Я думаю, что это подражает моим фактическим данным в этом вопросе: только немногие предикторы действительно предсказывают , большинство из них - чистый шум, и они служат регуляризацией. В этом режиме дополнительная регуляризация гребня совсем не помогает.$p+q$$y$

rng(42)
n = 80;
p = 40;
rho = .2;
y = randn(n,1);
X = repmat(y, [1 p])*rho + randn(n,p)*sqrt(1-rho^2);

lambdas = exp(-10:.1:20);
press = zeros(size(lambdas));
[U,S,V] = svd(X, 'econ');

for i = 1:length(lambdas)
    H = U * diag(diag(S).^2./(diag(S).^2 + lambdas(i))) * U';
    e = y - H*y;
    press(i) = sum((e ./ (1-diag(H))).^2);
end

figure('Position', [100 100 1000 300])
subplot(121)
plot(log(lambdas), press/sum(y.^2))
hold on
xlabel('Ridge penalty (log)')
plot(xlim, [1 1], 'k--')
title('Ridge regression (n=80, p=40)')
ylim([0 2])

ps = [0 20 40 60 80 100 200 300 400 500 1000];
error = zeros(n, length(ps));
error_trunc = zeros(n, length(ps));
for fold = 1:n
    indtrain = setdiff(1:n, fold);
    for pi = 1:length(ps)
        XX = [X randn(n,ps(pi))];
        if size(XX,2) < size(XX,1)
            beta = XX(indtrain,:) \ y(indtrain,:);
        else
            beta = pinv(XX(indtrain,:)) * y(indtrain,:);
        end
        error(fold, pi) = y(fold) - XX(fold,:) * beta;
        error_trunc(fold, pi) = y(fold) - XX(fold,1:size(X,2)) * beta(1:size(X,2));
    end
end

subplot(122)
hold on
plot(ps, sum(error.^2)/sum(y.^2), 'k.--')
plot(ps, sum(error_trunc.^2)/sum(y.^2), '.-')
legend({'Entire beta', 'Truncated beta'}, 'AutoUpdate','off')
legend boxoff
xlabel('Number of extra predictors')
title('Extra pure noise predictors')
plot(xlim, [1 1], 'k--')
ylim([0 2])

Вот искусственная ситуация, когда это происходит. Предположим, что каждая переменная предиктора является копией целевой переменной с применением большого количества гауссовского шума. Наилучшая возможная модель - это среднее значение всех предикторных переменных.

library(glmnet)
set.seed(1846)
noise <- 10
N <- 80
num.vars <- 100
target <- runif(N,-1,1)
training.data <- matrix(nrow = N, ncol = num.vars)
for(i in 1:num.vars){
  training.data[,i] <- target + rnorm(N,0,noise)
}
plot(cv.glmnet(training.data, target, alpha = 0,
               lambda = exp(seq(-10, 10, by = 0.1))))

100 переменных ведут себя «нормальным» образом: некоторое положительное значение лямбда сводит к минимуму ошибки выборки.

Но увеличьте num.vars в приведенном выше коде до 1000, и вот новый путь MSE. (Я расширил лог (лямбда) = -100, чтобы убедить себя.

Что я думаю, что происходит

При подборе большого количества параметров с низкой регуляризацией коэффициенты случайным образом распределяются вокруг их истинного значения с высокой дисперсией.

Поскольку число предикторов становится очень большим, «средняя ошибка» стремится к нулю, и становится лучше просто позволить коэффициентам падать, где они могут, и суммировать все, чем смещать их в сторону 0.

Я уверен, что эта ситуация истинного предсказания, являющегося средним числом всех предикторов, не единственный раз, когда это происходит, но я не знаю, как начать точно определять самое большое необходимое условие здесь.

РЕДАКТИРОВАТЬ:

«Плоское» поведение для очень низкой лямбды всегда будет происходить, так как решение сходится к решению с минимальной нормой OLS. Точно так же кривая будет плоской для очень высокой лямбды, так как решение сходится к 0. Минимума не будет, если одно из этих двух решений является оптимальным.

Почему решение с минимальной нормой OLS так (сравнительно) хорошо в этом случае? Я думаю, что это связано со следующим поведением, которое я нашел очень нелогичным, но размышление имеет большой смысл.

max.beta.random <- function(num.vars){
  num.vars <- round(num.vars)
  set.seed(1846)
  noise <- 10
  N <- 80
  target <- runif(N,-1,1)
  training.data <- matrix(nrow = N, ncol = num.vars)

  for(i in 1:num.vars){
    training.data[,i] <- rnorm(N,0,noise)
  }
  udv <- svd(training.data)

  U <- udv$u
  S <- diag(udv$d)
  V <- udv$v

  beta.hat <- V %*% solve(S) %*% t(U) %*% target

  max(abs(beta.hat))
}


curve(Vectorize(max.beta.random)(x), from = 10, to = 1000, n = 50,
      xlab = "Number of Predictors", y = "Max Magnitude of Coefficients")

abline(v = 80)

При случайном генерировании предикторов, не связанных с ответом, при увеличении p коэффициенты становятся больше, но как только p становится намного больше, чем N, они уменьшаются до нуля. Это также происходит в моем примере. Таким образом, нерегулярные решения этих проблем не требуют усадки, потому что они уже очень малы!

Это происходит по тривиальной причине. может быть выражен точно в виде линейной комбинации столбцов . - вектор минимальной нормы коэффициентов. По мере добавления большего числа столбцов норма должна уменьшаться или оставаться постоянной, поскольку возможная линейная комбинация состоит в том, чтобы сохранить прежние коэффициенты такими же и установить новые коэффициенты равными .$y$$X$$\hat{\beta}$$\hat{\beta}$$0$

Поэтому я решил запустить вложенную перекрестную проверку с использованием специализированного mlrпакета в R, чтобы увидеть, что на самом деле исходит из подхода моделирования.

Код (для запуска на обычном ноутбуке требуется несколько минут)

library(mlr)
daf = read.csv("https://pastebin.com/raw/p1cCCYBR", sep = " ", header = FALSE)

tsk = list(
  tsk1110 = makeRegrTask(id = "tsk1110", data = daf, target = colnames(daf)[1]),
  tsk500 = makeRegrTask(id = "tsk500", data = daf[, c(1,sample(ncol(daf)-1, 500)+1)], target = colnames(daf)[1]),
  tsk100 = makeRegrTask(id = "tsk100", data = daf[, c(1,sample(ncol(daf)-1, 100)+1)], target = colnames(daf)[1]),
  tsk50 = makeRegrTask(id = "tsk50", data = daf[, c(1,sample(ncol(daf)-1, 50)+1)], target = colnames(daf)[1]),
  tsk10 = makeRegrTask(id = "tsk10", data = daf[, c(1,sample(ncol(daf)-1, 10)+1)], target = colnames(daf)[1])
)

rdesc = makeResampleDesc("CV", iters = 10)
msrs = list(mse, rsq)
configureMlr(on.par.without.desc = "quiet")
bm3 = benchmark(learners = list(
    makeLearner("regr.cvglmnet", alpha = 0, lambda = c(0, exp(seq(-10, 10, length.out = 150))),
    makeLearner("regr.glmnet", alpha = 0, lambda = c(0, exp(seq(-10, 10, length.out = 150))), s = 151)
    ), tasks = tsk, resamplings = rdesc, measures = msrs)

Результаты

getBMRAggrPerformances(bm3, as.df = TRUE)
#   task.id    learner.id mse.test.mean rsq.test.mean
#1    tsk10 regr.cvglmnet     1.0308055  -0.224534550
#2    tsk10   regr.glmnet     1.3685799  -0.669473387
#3   tsk100 regr.cvglmnet     0.7996823   0.031731316
#4   tsk100   regr.glmnet     1.3092522  -0.656879104
#5  tsk1110 regr.cvglmnet     0.8236786   0.009315037
#6  tsk1110   regr.glmnet     0.6866745   0.117540454
#7    tsk50 regr.cvglmnet     1.0348319  -0.188568886
#8    tsk50   regr.glmnet     2.5468091  -2.423461744
#9   tsk500 regr.cvglmnet     0.7210185   0.173851634
#10  tsk500   regr.glmnet     0.6171841   0.296530437

Они делают в основном то же самое для разных задач.

Итак, как насчет оптимальных лямбд?

sapply(lapply(getBMRModels(bm3, task.ids = "tsk1110")[[1]][[1]], "[[", 2), "[[", "lambda.min")
# [1] 4.539993e-05 4.539993e-05 2.442908e-01 1.398738e+00 4.539993e-05
# [6] 0.000000e+00 4.539993e-05 3.195187e-01 2.793841e-01 4.539993e-05

Обратите внимание, что лямбды уже преобразованы. В некоторых случаях даже выбирается минимальная лямбда .$\lambda = 0$

Я немного повозился glmnetи обнаружил, что минимальная лямбда не выбрана. Проверьте:

РЕДАКТИРОВАТЬ:

После комментариев amoeba стало ясно, что путь регуляризации является важным шагом в glmnetоценке, поэтому код теперь отражает его. Таким образом, большинство расхождений исчезло.

cvfit = cv.glmnet(x = x, y = y, alpha = 0, lambda = exp(seq(-10, 10, length.out = 150)))
plot(cvfit)

Заключение

Таким образом, в основном действительно улучшает подгонку ( отредактируйте: но не намного! ).$\lambda>0$

Как это возможно и что это говорит о моем наборе данных? Я упускаю что-то очевидное или это действительно нелогично?

Мы, вероятно, ближе к истинному распределению параметра для небольшого значения, большего нуля. В этом нет ничего нелогичного.$\lambda$

Изменить: Имейте в виду, однако, что путь регуляризации гребня использует предыдущие оценки параметров, когда мы вызываем glmnet, но это за пределами моей компетенции. Если мы установим действительно низкий уровень lambdaизоляции, это, вероятно, приведет к снижению производительности.

РЕДАКТИРОВАТЬ: лямбда-выбор действительно говорит больше о ваших данных. Поскольку большие лямбда-выражения уменьшают производительность, это означает, что в вашей модели существуют преференциальные, то есть большие коэффициенты, поскольку большие лямбда-сокращения сокращают все коэффициенты до нуля. Хотя означает, что эффективные степени свободы в вашей модели меньше, чем кажущиеся степени свободы, .$\lambda\neq0$$p$

Как может быть какая-либо качественная разница между p = 100 и p = 1000, учитывая, что оба больше, чем n?

р = $p=1000$ неизменно содержит по крайней мере ту же информацию или даже больше, чем .$p=100$

Комментарии

Кажется, вы получаете крошечный минимум для некоторой ненулевой лямбды (я смотрю на вашу фигуру), но кривая все еще действительно очень плоская слева от нее. Таким образом, мой главный вопрос состоит в том, почему λ → 0 заметно не подходит. Я пока не вижу ответа здесь. Вы ожидаете, что это будет общим явлением? Т.е. для любых данных с n≪p lambda = 0 будет работать [почти] так же хорошо, как оптимальная лямбда? Или это что-то особенное в этих данных? Если вы посмотрите выше в комментариях, вы увидите, что многие люди даже не поверили мне, что это возможно.

Я думаю, что вы связываете производительность проверки с производительностью теста, и такое сравнение не является оправданным.

Редактировать: обратите внимание, хотя, когда мы устанавливаем lambda0 после запуска всего пути регуляризации, производительность не снижается как таковая, поэтому путь регуляризации является ключевым для понимания того, что происходит!

Кроме того, я не совсем понимаю вашу последнюю строчку. Посмотрите на вывод cv.glmnet для p = 100. Он будет иметь совсем другую форму. Так что же влияет на эту форму (асимптоту слева и отсутствие асимптоты), когда р = 100 или р = 1000?

Давайте сравним пути регуляризации для обоих:

fit1000 = glmnet(x, y, alpha = 0, lambda = exp(seq(-10,10, length.out = 1001)))
fit100 = glmnet(x[, sample(1000, 100)], y, alpha = 0, lambda = exp(seq(-10,10, length.out = 1001)))
plot(fit1000, "lambda")

x11()
plot(fit100, "lambda")

$p=1000$$\lambda$$p=100$

$p=1000$

Каким образом (минимальная норма) МНК может не соответствовать?

Короче говоря:

Экспериментальные параметры, которые коррелируют с (неизвестными) параметрами в истинной модели, с большей вероятностью будут оцениваться с высокими значениями в процедуре подбора OLS с минимальной нормой. Это потому, что они будут соответствовать «модель + шум», тогда как другие параметры будут соответствовать только «шуму» (таким образом, они будут соответствовать большей части модели с более низким значением коэффициента и с большей вероятностью будут иметь высокое значение в минимальной норме мсл).

Этот эффект уменьшит количество переоснащения в минимальной норме процедуры подбора OLS. Эффект становится более выраженным, если доступно больше параметров, так как тогда становится более вероятным включение большей части «истинной модели» в оценку.

Более длинная часть:
(Я не уверен, что здесь разместить, так как проблема не совсем ясна для меня, или я не знаю, с какой точностью ответ должен ответить на вопрос)

Ниже приведен пример, который может быть легко построен и демонстрирует проблему. Эффект не так уж странен, и примеры легко сделать.

• $p=200$
• $n=50$
  • $tm=10$
  • коэффициенты модели определяются случайным образом

В этом примере мы видим, что есть некоторая перестройка, но коэффициенты параметров, которые принадлежат истинной модели, имеют более высокое значение. Таким образом, R ^ 2 может иметь некоторое положительное значение.

Изображение ниже (и код для его генерации) демонстрируют, что перенастройка ограничена. Точки, которые относятся к модели оценки 200 параметров. Красные точки относятся к тем параметрам, которые также присутствуют в «истинной модели», и мы видим, что они имеют более высокое значение. Таким образом, существует некоторая степень приближения к реальной модели и получения R ^ 2 выше 0.

• Обратите внимание, что я использовал модель с ортогональными переменными (синус-функции). Если параметры коррелируют, то они могут встречаться в модели с относительно очень высоким коэффициентом и становиться более наказуемыми при минимальной норме OLS.
• $sin(ax) \cdot sin(bx)$$x$$x$$n$$p$

library(MASS)

par(mar=c(5.1, 4.1, 9.1, 4.1), xpd=TRUE)

p <- 200       
l <- 24000
n <- 50
tm <- 10

# generate i sinus vectors as possible parameters
t <- c(1:l)
xm <- sapply(c(0:(p-1)), FUN = function(x) sin(x*t/l*2*pi))

# generate random model by selecting only tm parameters
sel <- sample(1:p, tm)
coef <- rnorm(tm, 2, 0.5)

# generate random data xv and yv with n samples
xv <- sample(t, n)
yv <- xm[xv, sel] %*% coef + rnorm(n, 0, 0.1)

# generate model
M <- ginv(t(xm[xv,]) %*% xm[xv,])

Bsol <- M %*% t(xm[xv,]) %*% yv
ysol <- xm[xv,] %*% Bsol

# plotting comparision of model with true model
plot(1:p, Bsol, ylim=c(min(Bsol,coef),max(Bsol,coef)))
points(sel, Bsol[sel], col=1, bg=2, pch=21)
points(sel,coef,pch=3,col=2)

title("comparing overfitted model (circles) with true model (crosses)",line=5)
legend(0,max(coef,Bsol)+0.55,c("all 100 estimated coefficients","the 10 estimated coefficients corresponding to true model","true coefficient values"),pch=c(21,21,3),pt.bg=c(0,2,0),col=c(1,1,2))

Усеченная бета-техника в отношении регрессии гребня

$l_2$$\beta$

• Кажется, что модель усеченного шума делает то же самое (только вычисляет немного медленнее, а может быть, чуть чаще и хуже).
• Однако без усечения эффект гораздо менее сильный.

• Это соответствие между добавлением параметров и штрафом за гребень не обязательно является самым сильным механизмом отсутствия перенастройки. Это особенно заметно на кривой 1000p (на изображении вопроса), доходящей почти до 0,3, в то время как другие кривые с другим p не достигают этого уровня, независимо от того, каков параметр регрессии гребня. Дополнительные параметры в этом практическом случае не совпадают со сдвигом параметра гребня (и я предполагаю, что это потому, что дополнительные параметры создадут лучшую, более полную, модель).

• Параметры шума снижают норму с одной стороны (точно так же как регрессия гребня), но также вносят дополнительный шум. Бенуа Санчес показывает, что в пределе, добавив много параметров шума с меньшим отклонением, он в конечном итоге станет таким же, как регрессия гребня (растущее число параметров шума компенсирует друг друга). Но в то же время требуется гораздо больше вычислений (если мы увеличим отклонение шума, чтобы позволить использовать меньше параметров и ускорить вычисления, разница станет больше).

Rho = 0,2

Rho = 0,4

Rho = 0,2, увеличивая дисперсию шумовых параметров до 2

пример кода

# prepare the data
set.seed(42)
n = 80
p = 40
rho = .2
y = rnorm(n,0,1)
X = matrix(rep(y,p), ncol = p)*rho + rnorm(n*p,0,1)*(1-rho^2)

# range of variables to add
ps = c(0, 5, 10, 15, 20, 40, 45, 50, 55, 60, 70, 80, 100, 125, 150, 175, 200, 300, 400, 500, 1000)
#ps = c(0, 5, 10, 15, 20, 40, 60, 80, 100, 150, 200, 300) #,500,1000)

# variables to store output (the sse)
error   = matrix(0,nrow=n, ncol=length(ps))
error_t = matrix(0,nrow=n, ncol=length(ps))
error_s = matrix(0,nrow=n, ncol=length(ps))

# adding a progression bar
pb <- txtProgressBar(min = 0, max = n, style = 3)

# training set by leaving out measurement 1, repeat n times 
for (fold in 1:n) {
    indtrain = c(1:n)[-fold]

    # ridge regression
    beta_s <- glmnet(X[indtrain,],y[indtrain],alpha=0,lambda = 10^c(seq(-4,2,by=0.01)))$beta
    # calculate l2-norm to compare with adding variables
    l2_bs <- colSums(beta_s^2)

    for (pi in 1:length(ps)) {
        XX = cbind(X, matrix(rnorm(n*ps[pi],0,1), nrow=80))
        XXt = XX[indtrain,]

        if (p+ps[pi] < n) {
            beta = solve(t(XXt) %*% (XXt)) %*% t(XXt) %*% y[indtrain]
        }
        else {
            beta = ginv(t(XXt) %*% (XXt)) %*% t(XXt) %*% y[indtrain]
        }

        # pickout comparable ridge regression with the same l2 norm      
        l2_b <- sum(beta[1:p]^2)
        beta_shrink <- beta_s[,which.min((l2_b-l2_bs)^2)] 

        # compute errors
        error[fold, pi] = y[fold] - XX[fold,1:p] %*% beta[1:p]
        error_t[fold, pi] = y[fold] - XX[fold,] %*% beta[]
        error_s[fold, pi] = y[fold] - XX[fold,1:p] %*% beta_shrink[]
    }
    setTxtProgressBar(pb, fold) # update progression bar
}

# plotting
plot(ps,colSums(error^2)/sum(y^2) , 
     ylim = c(0,2),
     xlab ="Number of extra predictors",
     ylab ="relative sum of squared error")
lines(ps,colSums(error^2)/sum(y^2))
points(ps,colSums(error_t^2)/sum(y^2),col=2)
lines(ps,colSums(error_t^2)/sum(y^2),col=2)
points(ps,colSums(error_s^2)/sum(y^2),col=4)
lines(ps,colSums(error_s^2)/sum(y^2),col=4)

title('Extra pure noise predictors')

legend(200,2,c("complete model with p + extra predictors",
               "truncated model with p + extra predictors",
               "ridge regression with similar l2-norm",
               "idealized model uniform beta with 1/p/rho"),
       pch=c(1,1,1,NA), col=c(2,1,4,1),lt=c(1,1,1,2))

# idealized model (if we put all beta to 1/rho/p we should theoretically have a reasonable good model)
error_op <- rep(0,n)
for (fold in 1:n) {
  beta = rep(1/rho/p,p)
    error_op[fold] = y[fold] - X[fold,] %*% beta
}
id <- sum(error_op^2)/sum(y^2)
lines(range(ps),rep(id,2),lty=2)

$n\ll p$ ) - некорректная обратная задача, а псевдообратный - один из способов ее решения. Регуляризация - это улучшение.

Очевидно, что это некорректная обратная задача. Таким образом, вы можете решить эту проблему с помощью SVD или обратного Мура-Пенроуза, что на самом деле сделает решение с наименьшей нормой. Таким образом, это не должно быть удивительно , что ваше решение хотя бы норма не подведет наповал.

Тем не менее, если вы будете следовать документу, вы увидите, что регрессия гребня будет улучшением вышеописанного. Улучшение действительно лучше поведения оценщика, поскольку решение Мура-Пенроуза не обязательно ограничено.

ОБНОВИТЬ

Я понял, что не давал понять, что некорректные проблемы приводят к переоснащению. Вот цитата из газеты Gábor A, Banga JR. Робастная и эффективная оценка параметров в динамических моделях биологических систем . BMC Системная биология. 2015; 9: 74. DOI: 10,1186 / s12918-015-0219-2:

Плохая обусловленность этих проблем обычно возникает из-за (i) моделей с большим количеством параметров (чрезмерная параметризация), (ii) недостаточности экспериментальных данных и (iii) существенных ошибок измерений [19, 40]. Как следствие, мы часто получаем переоснащение таких кинетических моделей, то есть откалиброванных моделей с разумным соответствием имеющимся данным, но плохой способностью к обобщению (низкая прогностическая ценность)

Итак, мой аргумент можно сформулировать следующим образом:

• плохо поставленные проблемы приводят к переоснащению
• (n <p) случай - крайне некорректная обратная задача
• $X^+$
• следовательно, он позаботится о переоснащении, по крайней мере, до некоторой степени, и не должно быть удивительно, что он не полностью потерпит неудачу, в отличие от обычного OLS

Опять же, регуляризация еще более надежное решение.