Эффективное обновление линейной регрессии при добавлении наблюдений и / или предикторов в R

15

Мне было бы интересно найти пути в R для эффективного обновления линейной модели при добавлении наблюдения или предиктора. У biglm есть возможность обновления при добавлении наблюдений, но мои данные достаточно малы, чтобы находиться в памяти (хотя у меня есть большое количество экземпляров для обновления). Есть способы сделать это голыми руками, например, обновить факторизацию QR (см. «Обновление факторизации QR и проблема наименьших квадратов», Hammarling and Lucas), но я надеюсь на существующую реализацию.

r regression computational-statistics linear-model

— с промежутками
источник

6

Если алгоритм, который вы ищете, действительно похож на Applied Statistics 274 , 1992, Vol 41 (2), то вы можете просто использовать biglm, так как он не требует хранения ваших данных в файле.

— Дирк Эддельбюттель
источник

Спасибо, но может ли biglm обновить число предикторов? Я думал, что это только обновленные наблюдения.

— gappy

Есть ли закрытое решение для добавления предикторов? Вам нужен эквивалент для inv (X'X), существует ли он для добавления столбца? В любом случае, не являются ли ваши проблемы «маленькими», как, скажем, несколько (десять) тысяч на несколько сотен? Это действительно имеет значение?

— Дирк Эддельбюттель

2

Существуют простые закрытые формы для обновления SVD и более сложные формулы для QR. Экономия вычислений может быть значительной при решении тысяч моделей. Они могут быть реализованы в R, но это требует немного работы. Это хороший проект.

— gappy

2

Ну, я понимаю, что в вашем магазине есть способная ИТ-команда. Я уверен, что они могут реализовать что-то ужасное для вас.

— Дирк Эддельбюттель

4

$p$

Несмотря на то, что пару месяцев назад я искал несколько дней назад, мне не удалось найти эквивалент в R (остерегайтесь, в кране есть много функций qr.update, но когда вы заглядываете под капот, они просто фальшивые - то есть они вызывают lm.updateвсе так же).

Обновление : попробуйте в исходном пакете «скачки». В R-источнике вы найдете функцию 'leaps.forward', которая вызывает процедуру FORTRAN 'forwrd', расположенную в / src пакета, который, кажется, реализует QR-обновление ранга 1.

— user603
источник

3

Почему бы вам не попробовать возможность обновления объекта линейной модели

update.lm( lm.obj, formula, data, weights, subset, na.action)

Взгляните на эту ссылку

Для общего объяснения функции обновления:

http://stat.ethz.ch/R-manual/R-devel/library/stats/html/update.html

Для конкретного объяснения об update.lm:

http://www.science.oregonstate.edu/~shenr/Rhelp/update.lm.html

— deps_stats
источник

3

Есть две вещи, которые не работают с обновлением (примечание: update.lm устарела). Во-первых, он использует формулы. Это само по себе делает выполнение на 400% медленнее, чем lm.fit (). Во-вторых, он переоценивает всю модель. Здесь нет повышения эффективности.

— gappy

Спасибо за то, что я использую обновление для моделей среднего размера. Это, вероятно, не полезно в вашем случае.

— deps_stats

1

Я также долго искал эквивалент обновления Matlab qr, прыжки кажутся отличным способом!

В R вы можете посмотреть на функцию recresid () в strucchange пакетов, которая даст рекурсивные остатки, когда вы добавляете наблюдение (не переменное!). Я предполагаю, что это потребует небольшой модификации для получения рекурсивных бета-версий (бетар в коде?).

— Matifou
источник