Перекрестная проверка для смешанных моделей?

9

Мы с моим коллегой подбираем ряд линейных и нелинейных моделей смешанных эффектов в R. Нас просят провести перекрестную проверку на подобранных моделях, чтобы можно было убедиться, что наблюдаемые эффекты относительно обобщаемы. Обычно это тривиальная задача, но в нашем случае мы должны разделить все данные на обучающую и тестовую части (для целей CV), которые не имеют общих уровней. Например,

Данные обучения могут быть основаны на группах 1,2,3,4; Соответствующая модель затем проходит перекрестную проверку в группе 5.

Таким образом, это создает проблему, поскольку групповые случайные эффекты, оцененные на данных обучения, не применяются к данным тестирования. Таким образом, мы не можем CV модели.

Есть ли относительно простое решение для этого? Или кто-нибудь написал пакет для решения этой проблемы? Любая подсказка приветствуется!

Спасибо!

mixed-model cross-validation

— Тин Цянь
источник

2

При оценке малых площадей возникает та же проблема с малыми участками вне выборки. Обычно это делается для того, чтобы вы оценили случайные эффекты вне выборки на ноль (их наиболее вероятное значение - при условии, что ваши случайные эффекты обычно распределены). Фактически вы используете «синтетическую» или фиксированную часть модели только для прогнозирования.

— вероятностная

Наверное, я борюсь с этой проблемой и хотел бы увидеть, как вы определили эффекты вне выборки как 0. Можно ли отредактировать ваш ответ здесь и показать код R? Спасибо!

— Прадип Бабу

3

Фанг (Fang, 2011) продемонстрировал асимптотическую эквивалентность между AIC, применяемой к смешанным моделям, и перекрестной валидацией одного кластера. Возможно, это удовлетворило бы вашего рецензента, позволив вам просто вычислить AIC как более простое для вычисления приближение к тому, что они запрашивали?

— Майк Лоуренс
источник

Спасибо! Это выглядит полезным. На самом деле мы уже вычислили BIC, но рецензент хочет увидеть результаты перекрестной проверки. ;-) Некоторые из имеющихся у нас наборов данных относительно невелики. Таким образом, можно утверждать, что такое асимптотическое поведение не ожидается. Но, да, мы, конечно, могли бы привести Fang (2011), когда представляем результаты BIC, поскольку AIC и BIC также асимптотически эквивалентны?

— Тинг Цянь

2

Я не верю, что AIC и BIC асимптотически эквивалентны, поскольку они пытаются ответить на принципиально разные вопросы. См .: stats.stackexchange.com/questions/577/…

— Майк Лоуренс,

А вот более подробное сравнение AIC и BIC: smr.sagepub.com/cgi/doi/10.1177/0049124103262065

— Майк Лоуренс,

0

Colby and Bair (2013) разработали метод перекрестной проверки, который можно применять к нелинейным моделям со смешанными эффектами. Вы можете посетить эту ссылку, чтобы узнать больше.

— Api Hounzandji
источник

1

Добро пожаловать в Crossvalidated. Пожалуйста, добавьте больше информации к вашему ответу. Может быть, вы можете выделить наиболее важные части статьи.

— Ферди