Почему модели «ошибка в X» не используются более широко?

При расчете стандартной ошибки коэффициента регрессии, мы не учитываем хаотичности в конструкции матрице . Например, в OLS мы вычисляем как $X$ $\text{var}(\hat{\beta})$ $\text{var}((X^TX)^{-1}X^TY) = \sigma^2(X^TX)^{-1}$

Если рассматривались случайным образом , закон общей дисперсии будет, в некотором смысле, требует дополнительного вклада дисперсии , а также. т.е. $X$ $X$

вар (\hat{β}) знак равно вар (Е (\hat{β} | Икс)) + Е (вар (\hat{β} | Икс)),

$\text{var}(\hat{\beta}) = \text{var}(E(\hat{\beta}|X)) + E(\text{var}(\hat{\beta}|X)).$

Что, если оценка OLS действительно беспристрастна, первый член исчезает, так как ожидание является константой. Второй термин фактически становится: . $\sigma^2 \text{cov}(X)^{-1}$

Если параметрическая модель для известна, почему бы нам не заменить фактической оценкой ковариации. Например, если является рандомизированным назначением лечения, должна ли биномиальная дисперсия быть более эффективной оценкой? $X$ $X^TX$ $X$ $E(X)(1-E(X))$
Почему бы нам не рассмотреть возможность использования гибких непараметрических моделей для оценки возможных источников смещения в оценке OLS и надлежащего учета чувствительности к проекту (т. Е. Распределения ) в первом члене закона общей дисперсии ? $X$ $\text{var}(E(\hat{\beta}|X))$

— Adamo
источник

Почему математический закон «требует» чего-либо? Мы используем модель для сопоставления с данными для решения конкретных задач. Когда они должны понять или предсказать условный отклик на основе наблюдаемого или измеренного значения изменение будет иметь мало (если вообще что-либо) общего с вопросом существа - действительно, включение этого изменения в наши процедуры может показаться быть совершенно неправильным, вводящим в заблуждение или даже бессмысленным. Таким образом, ответ на ваш вопрос сводится к оценке частоты, с которой сталкиваются различные виды статистических проблем.

X,

$X,$

X

$X$

— whuber

@whuber Мой фокус на вывод. Закон полной дисперсии, кажется, более соответствует частой интерпретации результатов исследования. Мы часто говорим о том, «если исследование было воспроизведено» ... без учета того факта, что распределение

может отличаться, если исследование будет воспроизведено. Баланс пола может составлять 40% в одной выборке, но 60% в другой просто как случайное следствие того, как было проведено исследование. По иронии судьбы, бутстрап отражает это, но не генерирует какой-либо изменчивости в результате для конкретной комбинации ковариат.

X

$X$

— AdamO

Во-первых, многие исследования ставят

под экспериментальный контроль, так что это даже не случайно. Во- вторых, наблюдательные исследования (где

является случайным) часто интересуют только умозаключения об условном распределении

Таким образом, сосредоточение на умозаключении не отличает одну ситуацию от другой. Когда полное (совместное) распределение представляет интерес, вы увидите, что многие люди прибегают к формам корреляционного анализа или различным многомерным процедурам. Не существует такого понятия, как «начальная загрузка», потому что в этой ситуации способ повторной выборки зависит как от ваших целей, так и от вашей модели.

X

$X$

X

$X$

Y .

$Y.$

— whuber

Контроль @whuber Experimental является рандомизированы в момент начала исследования. Как я уже говорил, это убедительный случай: скажем, рандомизацией является Бернулли. Зачем использовать эмпирическую оценку

? Используйте максимальное правдоподобие:

cov (X) = X^{T} X

$\text{cov}(X) = X^TX$

? Вы правы насчет начальной загрузки, я имел в виду непараметрическую (безусловную) начальную загрузку, где «строки» данных выбираются с заменой.

cov (X) = E (X) (1 - E (X))

$\text{cov}(X) = E(X)(1-E(X))$

— AdamO

Вне особых, аномальных случаев, на самом деле не имеет значения, является ли

случайным, что имеет значение, если есть ошибка измерения

X_{1}

$X_1$ в

. Если это так, методы OLS привели бы к смещенным и более низким оценкам оценки

. В этом случае следует использовать ошибки в методах переменных.

X_{1}

$X_1$

β_{1}

$\beta_1$

— gung - Восстановить Монику

Ответы:

Ваш вопрос (плюс дополнительные комментарии в комментариях), по-видимому, больше всего интересует случай, когда у нас есть рандомизированное контролируемое испытание, когда исследователь случайным образом назначает одну или несколько объясняющих переменных, основываясь на некоторой схеме рандомизации. В этом контексте вы хотите знать, почему мы используем модель, которая рассматривает объясняющие переменные как известные константы, а не рассматривает их как случайные переменные из распределения выборки, навязанного рандомизацией. (Ваш вопрос шире, чем этот, но, похоже, это основной интерес к комментарию, поэтому я обращусь к нему.)

Причина, по которой мы обусловливаем объясняющие переменные в этом контексте, заключается в том, что в задаче регрессии для RCT мы по-прежнему заинтересованы в условном распределении ответной переменной с учетом предикторов . Действительно, в РКИ мы заинтересованы в определении причинного влияния объясняющей переменной $X$ на переменную отклика $Y$ , которую мы собираемся определить с помощью логического вывода об условном распределении (при условии соблюдения некоторых протоколов для предотвращения смешения). Рандомизация вводится для того, чтобы нарушить зависимость между объясняющей переменной $X$ и любыми потенциальными переменными (т. Е. Для предотвращения задних связей). $^\dagger$ Однако объектом вывода в задаче по-прежнему является условное распределение переменной ответа с учетом объясняющих переменных. Таким образом, все еще имеет смысл оценивать параметры в этом условном распределении, используя методы оценки, которые обладают хорошими свойствами для вывода условного распределения .

Это нормальный случай, который применяется для РКИ с использованием методов регрессии. Конечно, в некоторых ситуациях у нас есть другие интересы, и мы действительно можем включить неопределенность в отношении объясняющих переменных. Включение неопределенности в объясняющие переменные обычно происходит в двух случаях:

(1) Когда мы переходим за пределы регрессионного анализа и к многомерному анализу, нас интересует совместное распределение объясняющих и ответных переменных, а не просто условное распределение последних с учетом первого. Могут быть приложения, в которых это нас интересует, и поэтому мы бы выходили за рамки регрессионного анализа и включали информацию о распределении объясняющих переменных.
(2) В некоторых регрессионных приложениях наш интерес представляет условное распределение переменной отклика, условно лежащей в основе ненаблюдаемой объясняющей переменной, где мы предполагаем, что наблюдаемые объяснительные переменные были подвержены ошибке («ошибки в переменных»). В этом случае мы включаем неопределенность через «ошибки в переменных». Причина этого заключается в том, что наш интерес в этих случаях заключается в условном распределении, обусловленном ненаблюдаемой базовой переменной .

Обратите внимание, что оба эти случая математически более сложны, чем регрессионный анализ, поэтому, если мы можем избежать использования регрессионного анализа, это, как правило, предпочтительнее. В любом случае, в большинстве приложений регрессионного анализа цель состоит в том, чтобы сделать вывод об условном распределении ответа, учитывая наблюдаемые объясняющие переменные, поэтому эти обобщения становятся ненужными.

$^\dagger$ Обратите внимание, что рандомизация отделяет причинные эффекты от смешанных переменных до рандомизированной переменной, но она не разделяет причинные эффекты от случайной переменной до смешанных переменных, а затем и на ответ. Это означает, что могут потребоваться другие протоколы (например, плацебо, ослепление и т. Д.), Чтобы полностью разорвать все закулисные ассоциации в причинно-следственном анализе.

— Бен - Восстановить Монику
источник

Хороший ответ. Я бы добавил, что AFAIK, если у вас есть гауссовские ошибки в переменных и гауссовские ошибки в ответе, чем работает нормальный метод регрессии, и это становится проблемой, только если вы a) наблюдали ответ без ошибки b) имели другое распределение ответов

— Мартин Модрак

Название «ошибки в переменных» и содержание вопроса выглядят по-разному, поскольку спрашивает, почему мы не учитываем различия в $X$ при моделировании условного отклика, то есть при выводе параметров регрессии. Эти две озабоченности кажутся мне ортогональными, поэтому здесь я отвечаю на содержание.

Я ответил на аналогичный вопрос раньше, чем разница между условием регрессоров и лечением их как фиксированных? так что здесь я скопирую часть моего ответа там:

$(Y,X)$ $Y$ $X$ $Y$ $X$

f (y, x) = f (y ∣ x) f (x)

$f(y,x) = f(y\mid x) f(x)$

f (y, x; θ, ψ) = f_{θ} (y ∣ x) f_{ψ} (x)

$f(y,x; \theta, \psi)=f_\theta(y \mid x) f_\psi(x)$

θ

$\theta$

ψ

$\psi$

X

$X$

θ = (β, σ^{2})

$\theta=(\beta, \sigma^2)$

(θ, ψ)

$(\theta,\psi)$ является

Θ \times Ψ

$\Theta \times \Psi$ , декартовым произведением, и эти два параметра не имеют ничего общего.

Это можно интерпретировать как факторизацию статистического эксперимента (или процесса генерации данных, DGP), первый $X$ генерируется в соответствии с $f_\psi(x)$ , а в качестве второго шага $Y$ генерируется в соответствии с условной плотностью $f_\theta(y \mid X=x)$ . Обратите внимание, что первый шаг не использует никаких знаний о $\theta$ , которые входят только во второй шаг. Статистика $X$ является вспомогательной для $\theta$ , см. Https://en.wikipedia.org/wiki/Ancillary_statistic .

$\theta$ $f_\psi(x)$ $x$ $\theta$ $\theta$ $X=x$

В разработанных экспериментах его предположение в основном будет справедливо, часто с данными наблюдений, нет. Вот некоторые примеры проблем: регрессия с запаздывающими ответами в качестве предикторов. Обусловливание предикторов в этом случае также будет зависеть от реакции! (Я добавлю больше примеров).

$\S 4.3$ .

$\theta$ $X$ $\theta$ $X$ $\theta$ ?

Этот аргумент разделения полезен также потому, что он указывает на случаи, когда он не может быть использован, например, регрессия с запаздывающими ответами в качестве предикторов.

— Къетил б Халворсен
источник

X

$X$

Y

$Y$

θ

$\theta$

ψ

$\psi$

Я не знаю о PLS, но постараюсь подумать об этом

— kjetil b halvorsen

Хороший ответ! ...

— Ричард Харди