У меня есть вопрос, который, я думаю, будет довольно простым для многих пользователей.
Я использую модели линейной регрессии для (i) исследования взаимосвязи нескольких объясняющих переменных и моей переменной отклика и (ii) прогнозирования моей переменной отклика с использованием объяснительных переменных.
Одна конкретная объясняющая переменная X, по-видимому, существенно влияет на мою переменную ответа. Чтобы проверить добавленную стоимость этой объясняющей переменной X для целей внеплановых предсказаний моей переменной ответа, я использовал две модели: модель (а), которая использовала все пояснительные переменные, и модель (б), которая использовала все переменные за исключением переменной X. Для обеих моделей я сообщаю исключительно о производительности вне выборки. Похоже, что обе модели работают почти одинаково хорошо. Другими словами, добавление пояснительной переменной X не улучшает прогнозирование вне выборки. Обратите внимание, что я также использовал модель (а), то есть модель со всеми объясняющими переменными, чтобы найти, что объясняющая переменная X существенно влияет на мою переменную ответа.
Мой вопрос сейчас: как интерпретировать эту находку? Простой вывод заключается в том, что, хотя переменная X, по-видимому, значительно влияет на мою переменную ответа с использованием логических моделей, она не улучшает прогнозирование вне выборки. Однако у меня возникли проблемы с дальнейшим объяснением этого вывода. Как это может быть возможно и каковы некоторые объяснения этого открытия?
Заранее спасибо!
Дополнительная информация: с «значительным влиянием» я имею в виду, что 0 не входит в самый высокий 95% -й апостериорный интервал плотности оценки параметров (я использую байесовский подход). В частых терминах это примерно соответствует р-значению ниже 0,05. Я использую только диффузные (неинформативные) априоры для всех параметров моей модели. Мои данные имеют продольную структуру и содержат в общей сложности около 7000 наблюдений. Для прогнозов вне выборки я использовал 90% данных, чтобы соответствовать моим моделям, и 10% данных, чтобы оценить модели, используя множественные репликации. То есть я несколько раз проводил тест-разделение на поезда и в итоге сообщал о средних показателях производительности.