Определение и разграничение регрессионной модели

Смущающий простой вопрос - но, кажется, его не задавали на Cross Validated раньше:

Каково определение модели регрессии?

Также вопрос поддержки,

Чем не модель регрессии?

Что касается последнего, меня интересуют хитрые примеры, где ответ не сразу очевиден, например, ARIMA или GARCH.

Ответы:

Я бы сказал, что «модель регрессии» является своего рода мета-концепцией, в том смысле, что вы не найдете определения «модели регрессии», но есть более конкретные понятия, такие как «линейная регрессия», «нелинейная регрессия», "устойчивая регрессия" и так далее. Это так же, как в математике, мы обычно определяем не «число», а «натуральное число», «целые числа», «действительное число», «р-адическое число» и т. Д., И если кто-то захочет включить кватернионы среди чисел, пусть будет так! на самом деле не имеет значения, какое значение имеет то, какие определения использует книга / статья, которую вы читаете в данный момент.

Определения являются инструментами , а эссенциализм, который обсуждает, в чем суть ..., что на самом деле означает слово , редко имеет смысл.

Итак, что отличает «регрессионную модель» от других видов статистических моделей? В основном, это переменная ответа , которую вы хотите смоделировать под влиянием (или определяемым) некоторого набора переменных-предикторов . Нас не интересует влияние на другое направление, и нас не интересуют отношения между переменными предиктора. В основном, мы берем переменные предиктора как данные и рассматриваем их как константы в модели, а не как случайные переменные.

Упомянутые выше отношения могут быть линейными или нелинейными, заданными параметрическим или непараметрическим способом и так далее.

Чтобы выделить из других моделей, нам лучше взглянуть на некоторые другие слова, часто используемые для обозначения чего-то другого для «моделей регрессии», таких как «ошибки в переменных», когда мы принимаем возможность ошибок измерения в переменных предиктора. Это вполне может быть включено в мое описание «регрессионной модели» выше, но часто рассматривается как альтернативная модель.

Кроме того, что подразумевается, может варьироваться между полями, см. В чем разница между условием на регрессоры и обработки их как фиксированные?

Повторюсь: важно то определение, которое используют авторы, которого вы сейчас читаете, а не какая-то метафизика о том, что это «на самом деле».

— Къетил б Халворсен
источник

Я согласен с сутью вашего ответа. Мой вопрос был мотивирован тем, что я столкнулся с утверждениями о регрессионных моделях, которые заставили меня задуматься о том, к чему это утверждение действительно относится (и к чему оно не относится). Конечно, теперь вы могли бы сказать: «Прислушайтесь к своему усмотрению и тщательно проверьте детали», но иногда я мог бы сразу отказаться от предположенного утверждения, сказав, что оно не соответствует действительности в целом (возможно, верно только в очень конкретном случае). , Тогда мне нужно определение для ссылки. Конечно, есть и такие ситуации, в которых полезно точное определение.

— Ричард Харди

Затем вы должны задать конкретные вопросы о тех видах использования, с которыми вы столкнулись, со ссылками.

— kjetil b halvorsen

Я не собираюсь быть разборчивым, но подумайте об этом: кто-то спрашивает вас, что вы делаете, вы говорите: «Я анализирую / прогнозирую / тестирую [что-то] с использованием регрессионных моделей». - «Что такое модель регрессии?» - (Тишина). Или ситуация во вводном эконометрическом классе: «Профессор, что такое регрессионная модель?» -- (Нет ответа). Я думаю, что это очень естественные вопросы, поэтому было бы неплохо получить ответ.

— Ричард Харди

Да, было бы неплохо получить ответ, но я не уверен, что есть один канонический ответ, с которым все могут согласиться. Я получил совершенно другое представление о регрессии из статистической книги, такой как Seber: «Анализ линейной регрессии», как из текста по эконометрике. Но с некоторыми идеями можно согласиться. Я думаю, это действительно семейство моделей. Тогда мы можем спросить, что является общим ядром всех этих моделей.

— kjetil b halvorsen

Возможно, вас заинтересует смежный мой вопрос: определение простой модели линейной регрессии .

— Ричард Харди

Два хороших ответа уже были даны, но я хотел бы добавить свои два цента.

$Y$ $X_1,\dots,X_k$ $Y$

μ = E (y | x_{1}, \dots, x_{k}) = f (x_{1}, \dots, x_{k})

$\mu = E(y|x_1,\dots,x_k) = f(x_1,\dots,x_k)$

$f$ $\mu$ $\mu$ $L_1$ $\mu$

$Y$ . Это упрощение является ключевой особенностью регрессионных моделей.

— Тим
источник

Благодарю. Интуиция не повредит, хотя я ищу более формальное определение, которое я мог бы бросить на кого-то, кто спросил меня, так что же такое модель регрессии в любом случае? а затем попытался выбрать детали.

— Ричард Харди

@RichardHardy Я думаю , что это ключевая особенность моделей регрессии , которая разделяется всеми из них.

— Тим

y

$y$

Некоторые мысли, основанные на литературе:

Ф. Хаяси в главе 1 своего классического учебника для выпускников "Эконометрика" (2000) утверждает, что следующие предположения составляют классическую модель линейной регрессии:

линейность
Строгая экзогенность
Нет мультиколлинеарности
Сферическая ошибка дисперсии
«Фиксированные» регрессоры

Вулдридж в главе 2 своего классического вводного учебника по эконометрике «Вводная эконометрика: современный подход» (2012) утверждает, что следующее уравнение определяет простую модель линейной регрессии:

y = β_{0} + β_{1} x + u .

$y=\beta_0+\beta_1 x+u.$

Грин в главе 2 своего популярного учебника по эконометрике «Эконометрический анализ» (2011) утверждает

Классическая модель линейной регрессии состоит из ряда предположений о том, как набор данных будет создаваться базовым «процессом генерирования данных».

и впоследствии дает список предположений, аналогичных предположениям Хаяси.

Что касается интереса ФП к модели GARCH, Боллерслев «Обобщенная авторегрессионная условная гетероседастичность» (1986) включает фразу «модель регрессии GARCH» в заголовок раздела 5, а также в первое предложение этого раздела. Так что отец модели GARCH не возражал называть GARCH моделью регрессии.

— Ричард Харди
источник

Y \approx f (X, β)

$Y\approx f(X, \beta)$

Правда, мои примеры для моделей линейной регрессии; это то, что я смог найти в надежных источниках, таких как эти учебники, которые широко используются и стали классикой. Я не очень доверяю Википедии по статистическим и эконометрическим вопросам. Во всяком случае, даже в Википедии есть глава «Базовые предположения», которая похожа на то, что я привел в учебниках. Что касается другого поста, не могли бы вы опубликовать соответствующую часть вашего комментария там, чтобы я мог ответить там? В этом посте я ничего не говорил о скрытых переменных моделях, но приятно услышать ваше мнение.

— Ричард Харди

Почему пункт 3 «нет мультиколлинеарности»? Я никогда не видел, чтобы это использовалось в качестве предположения в доказательстве какого-то результата!

— kjetil b halvorsen

@kjetilbhalvorsen, пожалуйста, не считайте меня ответственным за то, что написано в учебнике, автором которого я не являюсь. Но спасибо за комментарий, конечно, и даже больше за ответ!

— Ричард Харди