Как определить разницу между линейной и нелинейной регрессионными моделями?

27

Я читал следующую ссылку на нелинейную регрессию SAS Non Linear . Из первого раздела «Нелинейная регрессия и линейная регрессия» я понял, что приведенное ниже уравнение на самом деле является линейной регрессией, верно? Если так, то почему?

y = b_{1} x^{3} + b_{2} x^{2} + b_{3} x + c

$y = b_1x^3 + b_2x^2 + b_3x + c$

Должен ли я также понимать, что в нелинейной регрессии мультиколлинеарность не является проблемой? Я знаю, что мультиколлинеарность может быть проблемой линейной регрессии, так что, если модель, приведенная выше, на самом деле является линейной регрессией, будет ли мультиколлинеарность?

— mHelpMe
источник

Близко связаны: stats.stackexchange.com/questions/33876 .

— whuber

Также связано: что означает «криволинейный»?

— gung - Восстановить Монику

35

Есть (по крайней мере) три чувства, в которых регрессия может считаться «линейной». Чтобы отличить их, давайте начнем с чрезвычайно общей регрессионной модели

Y = f (X, θ, ε) .

$Y = f(X,\theta,\varepsilon).$

Для простоты обсуждения возьмем фиксированные и точно измеренные независимые переменные (а не случайные переменные). Они моделируют наблюдение атрибутов каждого, что приводит к -вектору ответов . Традиционно представлен в виде матрицы а в качестве вектора столбца . (Конечный -вектор) содержит параметры . - векторная случайная величина. Обычно имеет $X$ $n$ $p$ $n$ $Y$ $X$ $n\times p$ $Y$ $n$ $q$ $\theta$ $\varepsilon$ $n$ компоненты, но иногда имеет меньше. Функция является векторной (с компонентами, совпадающими с ) и обычно считается непрерывной в последних двух аргументах ( и ). $f$ $n$ $Y$ $\theta$ $\varepsilon$

Архетипическим примером подгонки линии к данным является случай, когда - вектор чисел $(x,y)$ $X$ - значения x; - параллельный вектор из чисел ; дает точку и наклон ; и $(x_i,\,i=1,2,\ldots,n)$ $Y$ $n$ $(y_i)$ $\theta = (\alpha,\beta)$ $\alpha$ $\beta$ $\varepsilon = (\varepsilon_1,\varepsilon_2,\ldots,\varepsilon_n)$ является вектором «случайных ошибок», компоненты которого независимы (и обычно предполагают, что они имеют идентичные, но неизвестные распределения среднего нуля). В предыдущих обозначениях

y_{i} = α + β x_{i} + ε_{i} = f (X, θ, ε)_{i}

$y_i = \alpha + \beta x_i +\varepsilon_i = f(X,\theta,\varepsilon)_i$

с . $\theta = (\alpha,\beta)$

Функция регрессии может быть линейной по любому (или всем) из трех аргументов:

«Линейная регрессия, или« линейная модель », обычно означает, что является линейной в зависимости от параметров . Значение SAS« нелинейной регрессии » в этом смысле с дополнительным предположением, что дифференцируема в своем втором аргументе. (параметры). Это предположение облегчает поиск решений. $f$ $\theta$ $f$
А «линейная зависимость между и » означает является линейным в качестве функции . $X$ $Y$ $f$ $X$
$f$ $\varepsilon$ $\mathbb{E}(\varepsilon) = 0$ $\varepsilon$

Любая возможная комбинация этих характеристик может быть полезной. Давайте рассмотрим возможности.

Линейная модель линейного отношения с аддитивными ошибками. Это обычная (множественная) регрессия, уже показанная выше и в целом написанная как

$Y = X θ + ε .$ $Y = X\theta + \varepsilon.$
$X$ $\theta$ $p$
$X$ $X$

$y_{i} = α + β x_{i}^{2} + ε$ $y_i = \alpha + \beta x_i^2 + \varepsilon$
$\theta=(\alpha,\beta)$ $(1,x_i^2)$ $x_i^2$ $x_i$
Линейная модель линейного отношения с неаддитивными ошибками. Примером является мультипликативная ошибка,

$y_{i} = (α + β x_{i}) ε_{i} .$ $y_i = (\alpha + \beta x_i)\varepsilon_i.$
$\varepsilon_i$ $\varepsilon_i$ $1$ $\mathbb{E}(\varepsilon_i)$
Линейная модель нелинейных отношений с неаддитивными ошибками. Например ,

$y_{i} = (α + β x_{i}^{2}) ε_{i} .$ $y_i = (\alpha + \beta x_i^2)\varepsilon_i.$
Нелинейная модель линейного отношения с аддитивными ошибками. Нелинейная модель включает в себя комбинации своих параметров, которые не только являются нелинейными, они даже не могут быть линеаризованы путем повторного выражения параметров.
- В качестве примера, рассмотрим
  
  $y_{i} = α β + β^{2} x_{i} + ε_{i} .$ $y_i = \alpha\beta + \beta^2 x_i + \varepsilon_i.$
  $\alpha^\prime = \alpha\beta$ $\beta^\prime=\beta^2$ $\beta^\prime \ge 0$
  
  $y_{i} = α^{'} + β^{'} x_{i} + ε_{i},$ $y_i = \alpha^\prime + \beta^\prime x_i + \varepsilon_i,$
  демонстрируя его как линейную модель (линейной зависимости с аддитивными ошибками).
- В качестве примера рассмотрим
  
  $y_{i} = α + α^{2} x_{i} + ε_{i} .$ $y_i = \alpha + \alpha^2 x_i + \varepsilon_i.$
  $\alpha^\prime$ $\alpha$ $\alpha^\prime$ $x_i$
Нелинейная модель нелинейной связи с аддитивными ошибками.

$y_{i} = α + α^{2} x_{i}^{2} + ε_{i} .$ $y_i = \alpha + \alpha^2 x_i^2 + \varepsilon_i.$
Нелинейная модель линейного отношения с неаддитивными ошибками.

$y_{i} = (α + α^{2} x_{i}) ε_{i} .$ $y_i = (\alpha + \alpha^2 x_i)\varepsilon_i.$
Нелинейная модель нелинейных отношений с неаддитивными ошибками.

$y_{i} = (α + α^{2} x_{i}^{2}) ε_{i} .$ $y_i = (\alpha + \alpha^2 x_i^2)\varepsilon_i.$

Хотя они демонстрируют восемь различных форм регрессии, они не составляют систему классификации, поскольку некоторые формы могут быть преобразованы в другие. Стандартным примером является преобразование линейной модели с неаддитивными ошибками (предполагается, что имеет положительную поддержку)

y_{i} = (α + β x_{i}) ε_{i}

$y_i = (\alpha + \beta x_i)\varepsilon_i$

\log (y_{i}) = μ_{i} + \log (α + β x_{i}) + (\log (ε_{i}) - μ_{i})

$\log(y_i) = \mu_i + \log(\alpha + \beta x_i) + (\log(\varepsilon_i) - \mu_i)$

$\mu_i = \mathbb{E}\left(\log(\varepsilon_i)\right)$ $Y$ $Y$

Коллинеарность

$X$ $Y = f(X,\theta,\varepsilon)$ $Y=f(X^\prime,\theta,\varepsilon^\prime)$ $X^\prime$ $X$ $\hat\theta$ $\hat\theta^\prime$ $X$ $\theta$ $X$

С этой точки зрения должно быть ясно, что коллинеарность является потенциальной проблемой для линейных моделей нелинейных отношений (независимо от аддитивности ошибок) и что эта обобщенная концепция коллинеарности потенциально является проблемой в любой регрессионной модели. Если у вас есть избыточные переменные, у вас будут проблемы с определением некоторых параметров.

— Whuber
источник

Можете ли вы порекомендовать краткое, вводное чтение, которое поможет мне лучше понять упомянутую вами линеаризацию, которая является сердцем разницы между вашим примером и не примером в пункте 5. Спасибо.

— ColorStatistics

@ Цвет Я не знаком ни с кем. При мягких предположениях о дифференцируемости возможных преобразований это решается теорией дифференциальных уравнений в частных производных (PDE).

— whuber

0

Вы должны начать прямо сейчас, делая различие между реальностью и моделью, которую вы используете для ее описания.

Уравнение, которое вы только что упомянули, является полиномиальным уравнением (x ^ power), т.е. нелинейный ... но вы все равно можете смоделировать его, используя обобщенную линейную модель (используя функцию связи) или регрессию полинома, поскольку параметры являются линейными (b1, b2, b3, c)

надеюсь, что это помогло, это на самом деле немного схематично: реальность / модель

— По Стулат
источник

3

Это можно оценить с помощью обычных наименьших квадратов, поскольку модель является линейной по параметрам.

— аналитик

так что все это связано с параметрами? если бы мы b3 ^ 2 * x все равно были бы линейными?

— mHelpMe

0

Модель является линейной, если она линейна по параметрам или может быть преобразована в линейную по параметрам (линеаризуемую). Линейные модели могут моделировать линейные или нелинейные отношения. Давайте расширим каждый из них.

Модель является линейной по параметрам, если она может быть записана как сумма терминов, где каждый член является либо константой, либо параметром, умножающим предиктор (X _i ):

Обратите внимание, что это определение очень узкое. Только модели, соответствующие этому определению, являются линейными. Любая другая модель, является нелинейной.

Существует два типа линейных моделей, которые путают с нелинейными моделями:

1. Линейные модели нелинейных отношений

Например, нижеприведенная модель моделирует нелинейные отношения (поскольку производная Y по X ₁ является функцией X ₁ ). Создав новую переменную W ₁ = X ₁² и переписав уравнение с заменой X ₁^{2 на} W ₁ , мы получили уравнение, удовлетворяющее определению линейной модели.

2. Модели, которые не являются сразу линейными, но могут стать линейными после преобразования (линеаризуемый). Ниже приведены 2 примера линеаризуемых моделей:

Пример 1:

Эта модель может показаться нелинейной, потому что она не соответствует определению модели, которая является линейной по параметрам, однако она может быть преобразована в линейную модель, следовательно, она является линеаризуемой / трансформируемой линейной и, таким образом, считается линейной. модель. Следующие преобразования линеаризуют его. Начните с натурального логарифма обеих сторон, чтобы получить:

затем сделайте следующие замены:

чтобы получить линейную модель ниже:

Пример 2:

Эта модель может показаться нелинейной, потому что она не соответствует определению модели, которая является линейной по параметрам, однако она может быть преобразована в линейную модель, следовательно, она является линеаризуемой / трансформируемой линейной и, таким образом, считается линейной. модель. Следующие преобразования линеаризуют его. Начните с взаимности обеих сторон, чтобы получить:

затем сделайте следующие замены:

чтобы получить линейную модель ниже:

Любая модель, которая не является линейной (даже через линеаризацию), является нелинейной. Подумайте об этом так: если модель не соответствует определению линейной модели, то это нелинейная модель, если только она не может быть доказана как линеаризуемая, и в этот момент она получает право называться линейной моделью.

Ответ Whuber выше, а также ответ Glen_b в этой ссылке добавят больше цвета моему ответу. Нелинейная или обобщенная линейная модель: как вы относитесь к логистической, пуассоновской и т. Д. Регрессии?

— ColorStatistics
источник