Рекурсивный (онлайн) регуляризованный алгоритм наименьших квадратов

12

Может ли кто-нибудь указать мне направление онлайнового (рекурсивного) алгоритма регуляризации Тихонова (регуляризованных наименьших квадратов)?

В автономном режиме я вычисляю $\hat\beta=(X^TX+λI)^{−1}X^TY$ используя мой исходный набор данных, где $λ$ находится с помощью n-кратной перекрестной проверки. Новое значение $y$ можно предсказать для данного $x$ используя $y=x^T\hat\beta$ .

В режиме онлайн я постоянно рисую новые точки данных. Как я могу обновить $\hat\beta$ когда я рисую новые дополнительные образцы данных, не выполняя полный пересчет всего набора данных (оригинал + новый)?

— rnoodle
источник

1

Ваши регуляризованные по Тихонову наименьшие квадраты, возможно, чаще называют Левенбергом-Марквардтом в статистических кругах, даже когда они применяются к чисто линейным задачам (как здесь). Там в документе об интернете - Левенберге Марквардте здесь . Я не знаю, поможет ли это.

— Glen_b

11

$\hat\beta_n=(XX^T+λI)^{−1} \sum\limits_{i=0}^{n-1} x_iy_i$

Пусть $M_n^{-1} = (XX^T+λI)^{−1}$ , тогда

$\hat\beta_{n+1}=M_{n+1}^{−1} (\sum\limits_{i=0}^{n-1} x_iy_i + x_ny_n)$ и

$M_{n+1} - M_n = x_nx_n^T$ , мы можем получить

$\hat\beta_{n+1}=\hat\beta_{n}+M_{n+1}^{−1} x_n(y_n - x_n^T\hat\beta_{n})$

Согласно формуле Вудбери мы имеем

$M_{n+1}^{-1} = M_{n}^{-1} - \frac{M_{n}^{-1}x_nx_n^TM_{n}^{-1}}{(1+x_n^TM_n^{-1}x_n)}$

Как результат,

$\hat\beta_{n+1}=\hat\beta_{n}+\frac{M_{n}^{−1}}{1 + x_n^TM_n^{-1}x_n} x_n(y_n - x_n^T\hat\beta_{n})$

Полякское усреднение показывает, что вы можете использовать для аппроксимации с диапазонами от до . Вы можете попробовать в вашем случае выбрать лучший для вашей рекурсии. $\eta_n = n^{-\alpha}$ $\frac{M_{n}^{−1}}{1 + x_n^TM_n^{-1}x_n}$ $\alpha$ $0.5$ $1$ $\alpha$

Я думаю, что это также работает, если вы применяете алгоритм пакетного градиента:

$\hat\beta_{n+1}=\hat\beta_{n}+\frac{\eta_n}{n} \sum\limits_{i=0}^{n-1}x_i(y_i - x_i^T\hat\beta_{n})$

— lennon310
источник

Что если я обновляю свой регрессор каждый раз с помощью выборок новых данных, где каждая последующая партия берется из немного другого распределения? т.е. не IID. В этом случае я бы хотел, чтобы регрессор учитывал новые данные, но не влиял на его прогнозы в отношении местоположения старых данных (предыдущие партии)? Можете ли вы указать мне какую-либо литературу, которая вам может пригодиться?

— rnoodle

Хороший вопрос, но извините, в настоящее время я не могу сказать, насколько это повлияет на вашу модель, если вы все еще используете формулу пакетного градиента в ответе или приближаетесь, применяя матричную форму напрямую: eta ^ (- alpha) * X (Y-X 'beta_n) где X, Y - ваши новые серийные образцы

— lennon310

Привет, кажется, что коэффициент регуляризации не участвует в формуле рекурсивного обновления? или это имеет значение только при инициализации обратной матрицы М?

— Пэн Чжао

4

До сих пор никто не обращал внимания на то, что обычно не имеет смысла сохранять параметр регуляризации постоянным при добавлении точек данных. Причина этого в том, что , как правило, будет расти линейно с количеством точек данных, тогда как член регуляризации не будет. $\lambda$ $\| X \beta -y \|^{2}$ $\| \lambda\beta \|^{2}$

— Брайан Борхерс
источник

Это интересный момент. Но почему именно это «не имеет смысла»? Сохранение константы безусловно, является математически обоснованным, поэтому «не имеет смысла» следует понимать в некотором статистическом контексте. Но в каком контексте? Что идет не так? Будет ли какое-то легкое исправление, такое как замена сумм квадратов средними квадратами?

λ

$\lambda$

— whuber

Замена суммы квадратов масштабированной версией (например, среднеквадратическая ошибка) будет иметь смысл, но простое использование рекурсивных наименьших квадратов не даст этого.

— Брайан Борчерз

Что касается того, что пойдет не так, в зависимости от вашего выбора , вы получите очень нерегулярное решение с большим количеством точек данных или очень нерегулярное решение с небольшим количеством точек данных.

λ

$\lambda$

— Брайан Борчерз

Можно было бы заподозрить, что, но если изначально настроен после получения точек данных, а затем добавлено больше точек данных, то будут ли полученные решения с большим количеством точек данных и одинаковыми чрезмерно или недостаточно регуляризованными, зависеть от этих новых . точки данных Это может быть проанализировано в предположении , что точки данные действуют как н.о.р. выборки из многомерного распределения, и в этом случае появляется должна быть установлена на на стадии . Это изменило бы формулы обновления, но таким регулярным и простым способом, что эффективные вычисления все еще возможны. (+1)

λ

$\lambda$

n

$n$

λ

$\lambda$

λ

$\lambda$

N / n

$N/n$

N

$N$

— whuber

3

Возможно, что-то вроде стохастического градиентного спуска могло бы сработать здесь. Вычислите используя приведенное выше уравнение для начального набора данных, которое будет вашей начальной оценкой. Для каждой новой точки данных вы можете выполнить один шаг градиентного спуска, чтобы обновить оценку параметров. $\hat{\beta}$

— Макс С.
источник

С тех пор я понимаю, что SGD (возможно, мини-пакет) - это способ решения проблем в сети, таких как обновление аппроксимаций функций.

— rnoodle

1

В линейной регрессии одной из возможностей является непосредственное обновление QR-разложения , как описано здесь . Я предполагаю, что, если вы не хотите переоценивать после добавления каждого нового элемента данных, нечто очень похожее можно сделать с регрессией гребня. $X$ $\lambda$

— Маттео Фазиоло
источник

0

Вот альтернативный (и менее сложный) подход по сравнению с использованием формулы Вудбери. Обратите внимание, что и могут быть записаны как суммы . Так как мы вычисляем вещи онлайн и не хотим, чтобы сумма взорвалась, мы можем альтернативно использовать средства ( и ). $X^TX$ $X^Ty$ $X^TX/n$ $X^Ty/n$

Если вы напишите и как: $X$ $y$

X = (\begin{matrix} x_{1}^{T} \\ ⋮ \\ x_{n}^{T} \end{matrix}), y = (\begin{matrix} y_{1} \\ ⋮ \\ y_{n} \end{matrix}),

$X = \begin{pmatrix} x_1^T \\ \vdots \\ x_n^T \end{pmatrix}, \quad y = \begin{pmatrix} y_1 \\ \vdots \\ y_n \end{pmatrix},$

мы можем записать онлайн-обновления для и (рассчитанные до строки) как: $X^TX/n$ $X^Ty/n$ $t$

A_{t} = (1 - \frac{1}{t}) A_{t - 1} + \frac{1}{t} x_{t} x_{t}^{T},

$A_t = \left(1 - \frac{1}{t}\right) A_{t-1} + \frac{1}{t}x_t x_t^T,$

b_{t} = (1 - \frac{1}{t}) b_{t - 1} + \frac{1}{t} x_{t} y_{t} .

$b_t = \left(1 - \frac{1}{t}\right) b_{t-1} + \frac{1}{t}x_t y_t.$

Ваша онлайн оценка становится $\beta$

{\hat{β}}_{t} = (A_{t} + λ I)^{- 1} b_{t} .

$\hat\beta_t = (A_t + \lambda I)^{-1}b_t.$

Обратите внимание, что это также помогает интерпретировать оставаясь постоянным, когда вы добавляете наблюдения! $\lambda$

С помощью этой процедуры https://github.com/joshday/OnlineStats.jl вычисляет онлайн-оценки линейной / ребристой регрессии.

— joshday
источник