Статистический вывод при неправильной спецификации модели

У меня есть общий методологический вопрос. Возможно, ответили раньше, но я не могу найти соответствующую ветку. Я буду признателен за указатели на возможные дубликаты.

( Вот превосходный, но без ответа. Это также похоже по духу, даже с ответом, но последний слишком конкретен с моей точки зрения. Это также близко, обнаружено после публикации вопроса.)

Тема в том, как сделать достоверный статистический вывод, когда модель, сформулированная до просмотра данных, не может адекватно описать процесс генерирования данных . Вопрос очень общий, но я приведу конкретный пример, чтобы проиллюстрировать это. Тем не менее, я ожидаю, что ответы сосредоточатся на общем методологическом вопросе, а не придираются к деталям конкретного примера.

Рассмотрим конкретный пример: в настройке временного ряда я предполагаю, что процесс генерации данных будет с . Я хочу проверить предметную гипотезу о том, что . Я привел это в терминах модели чтобы получить работоспособный статистический аналог моей предметной гипотезы, а это Все идет нормально. Но когда я наблюдаю за данными, я обнаруживаю, что модель не адекватно описывает данные. Допустим, существует линейный тренд, поэтому настоящий процесс генерации данных имеет вид с ut∼i. я. N(0,σ 2 u )d

Как я могу сделать достоверный статистический вывод по моей предметной гипотезе ?$\frac{dy}{dx}=1$

• Если я использую исходную модель, ее допущения нарушаются, и оценка не имеет хорошего распределения, как в противном случае. Поэтому я не могу проверить гипотезу с помощью теста.$\beta_1$$t$

• Если, просмотрев данные, я переключаюсь с модели на и меняю свою статистическую гипотезу с на , предположения модели выполняются, и я получить корректную оценку и без труда протестировать с помощью критерия. Однако переключение с на( 2 ) H 0 : β 1 = 1 H ′ 0 : γ 1 = 1 γ 1 H ′ 0 t ( 1 ) ( 2 $(1)$$(2)$$H_0\colon \ \beta_1=1$$H'_0\colon \ \gamma_1=1$$\gamma_1$$H'_0$$t$
  $(1)$$(2)$сообщается с набором данных, на котором я хочу проверить гипотезу. Это делает распределение оценки (и, следовательно, также вывод) обусловленным изменением базовой модели, которое обусловлено наблюдаемыми данными. Понятно, что введение такого кондиционирования не является удовлетворительным.

Есть ли хороший выход? (Если не частый, то, может быть, какая-то байесовская альтернатива?)

Выход буквально из выборочного теста, верный. Не тот, в котором вы разбиваете выборку на тренировку и выдерживаете, как в перекрестной проверке, но истинный прогноз. Это очень хорошо работает в естественных науках. На самом деле это единственный способ, которым это работает. Вы строите теорию на каких-то данных, и от вас ожидают, что вы спрогнозируете что-то, что еще не наблюдалось. Очевидно, что это не работает в большинстве социальных (так называемых) наук, таких как экономика.

В промышленности это работает как в науке. Например, если торговый алгоритм не работает, вы в конечном итоге потеряете деньги, а затем откажетесь от них. Перекрестная проверка и обучающие наборы данных широко используются при разработке и принятии решения о развертывании алгоритма, но после того, как он будет запущен в производство, речь идет о зарабатывании или проигрыше. Очень простой тестовый образец.

Вы можете определить «комбинированную процедуру» и исследовать ее характеристики. Допустим, вы начинаете с простой модели и допускаете подгонку одной, двух или трех более сложных (или непараметрических) моделей на случай, если простая модель не подходит. Вам необходимо указать формальное правило, в соответствии с которым вы решаете не соответствовать простой модели, а одной из других (и какой). Вам также необходимо иметь тесты для вашей интересующей гипотезы, которые будут применяться во всех задействованных моделях (параметрической или непараметрической).

С такой установкой вы можете смоделировать характеристики, т. Е. С каким процентом ваша нулевая гипотеза будет окончательно отвергнута, если она верна, и в случае нескольких отклонений интереса. Кроме того, вы можете моделировать из всех задействованных моделей и смотреть на такие вещи, как условный уровень и условная мощность, учитывая, что данные поступили из модели X, Y или Z, или учитывая, что в процедуре испытания на неправильную спецификацию модели выбрана модель X, Y или Z.

Вы можете обнаружить, что выбор модели не приносит большого вреда в том смысле, что достигнутый уровень все еще очень близок к уровню, после которого вы были, и мощность в порядке, если не отличная. Или вы можете обнаружить, что выбор модели, зависящей от данных, действительно все портит; это будет зависеть от деталей (если процедура выбора вашей модели очень надежна, шансы на уровне, и мощность не будет сильно зависеть).

Теперь это совсем не то же самое, что указать одну модель, а затем посмотреть на данные и принять решение «о, мне нужна другая», но это, вероятно, настолько близко, насколько вы можете исследовать, каковы будут характеристики такого подхода. Это не тривиально, потому что вам нужно сделать несколько вариантов, чтобы все заработало.

Общее замечание: я думаю, что вводить в заблуждение статистическую методологию в двоичном виде на «действительный» и «недействительный» неверно. Ничто не является действительным на 100%, потому что модельные допущения никогда не выполняются точно на практике. С другой стороны, хотя вы можете найти действительные (!) Причины для того, чтобы называть что-то «недействительным», если подробно исследовать характеристики предположительно неверного подхода, можно обнаружить, что он все еще работает довольно хорошо.