Почему важно проводить различие между «линейной» и «нелинейной» регрессией?

12

Какова важность различия между линейными и нелинейными моделями? Вопрос Нелинейная и обобщенная линейная модель: как вы относитесь к логистической, пуассоновской и т. Д. Регрессии? и его ответ был чрезвычайно полезным разъяснением линейности / нелинейности обобщенных линейных моделей. Кажется критически важным отличить линейные от нелинейных моделей, но мне не понятно почему? Например, рассмотрим эти модели регрессии:

\begin{aligned} (1) & E [Y ∣ X] & = β_{0} + β_{1} X \\ (2) & E [Y ∣ X] & = β_{0} + β_{1} X + β_{2} X^{2} \\ (3) & E [Y ∣ X] & = β_{0} + β_{1}^{2} X \\ (4) & E [Y ∣ X] & = {1 + \exp (- [β_{0} + β_{1} X]}^{- 1} \end{aligned}

$\begin{align} E[Y \mid X] & = \beta_0 + \beta_1 X \tag{1} \\ E[Y \mid X] & = \beta_0 + \beta_1 X + \beta_2 X^2 \tag{2} \\ E[Y \mid X] & = \beta_0 + \beta_1^2 X \tag{3} \\ E[Y \mid X] & = \{1+\exp(-[ \beta_0 + \beta_1 X]\}^{-1} \tag{4} \end{align}$

Обе модели 1 и 2 являются линейными, и решения для существуют в закрытой форме, которую легко найти, используя стандартный метод оценки OLS. Это не так для моделей 3 и 4, которые являются нелинейными, потому что (некоторые из) производные относительно все еще являются функциями . $\beta$ $E[Y\mid X]$ $\beta$ $\beta$

Одним из простых решений для оценки в модели 3 является линеаризация модели путем установки , оценки с использованием линейной модели, а затем вычисления . $\beta_1$ $\gamma = \beta_1^2$ $\gamma$ $\beta_1 = \sqrt{\gamma}$

Чтобы оценить параметры в Модели 4, мы можем предположить, что следует биномиальному распределению (члену экспоненциального семейства), и, используя тот факт, что логистическая форма модели является канонической связью, линеаризируют относительные значения модели. Это был оригинальный вклад Нелдера и Уэддерберна . $Y$

Но почему эта нелинейность является проблемой в первую очередь? Почему нельзя просто использовать какой-то итерационный алгоритм для решения Модели 3 без линеаризации с использованием функции квадратного корня или Модели 4 без вызова GLM. Я подозреваю, что до широкого использования вычислительных мощностей статистики пытались все линеаризовать. Если это правда, то, возможно, «проблемы», вызванные нелинейностью, являются пережитком прошлого? Являются ли сложности, вносимые нелинейными моделями, просто вычислительными, или есть какие-то другие теоретические проблемы, которые делают нелинейные модели более сложными для подгонки к данным, чем линейные модели?

linear-model nonlinear-regression nonlinear

— user1849779
источник

1

Если вы хотите оценить , просто (простая линейная регрессия) и затем возьмите ...

E [Y | X] = β_{0} + β_{1}^{2} X

$E[Y|X] = \beta_0 + \beta_1^2 X$

E [Y | X] = β_{0} + γ X

$E[Y|X] = \beta_0 + \gamma X$

β_{1} = \sqrt{γ}

$\beta_1 = \sqrt{\gamma}$

— Тим

@ Тим, спасибо за комментарий. Я знал об этой трансформации как о возможности, но пытался задать несколько иной вопрос. Я существенно отредактировал вопрос, надеюсь, к лучшему.

— user1849779

5

Я вижу два основных различия:

линейность делает его простым и надежным. Например, (линейный) OLS является несмещенной оценкой при неизвестном распределении помех. В общем, GLM и нелинейных моделей нет. OLS также устойчив для различных моделей структуры ошибок (случайные эффекты, кластеризация и т. Д.), Где в нелинейных моделях обычно требуется предположить точное распределение этих членов.
Решить это легко: просто пара матричных умножений + 1 обратное. Это означает, что вы почти всегда можете решить ее, даже в тех случаях, когда целевая функция почти плоская (мультиколлинеарность). Итеративные методы могут не сходиться в таких проблемных случаях (что, в некотором смысле, хорошо). Простое решение может или может не будет меньшей проблемой в наши дни. Компьютеры работают быстрее, но объем данных увеличивается. Вы когда-нибудь пытались провести логит-регрессию на наблюдениях 1G?

Кроме того, линейные модели легче интерпретировать. В линейных моделях предельные эффекты равны коэффициентам и не зависят от значений X (хотя полиномиальные члены запутывают эту простоту).

— Отт Тоомет
источник

Я различие как в основном одно из удобства или исторического использования.

— Марта

2

Многие модели в биологии (и других областях) являются нелинейными, поэтому лучше всего подходят для нелинейной регрессии. Конечно, математика совсем другая. Но с точки зрения аналитика данных, на самом деле есть только одно важное отличие.

Нелинейная регрессия требует начальных оценочных значений для каждого параметра. Если эти первоначальные оценки не соответствуют действительности, программа нелинейной регрессии может сходиться к ложному минимуму и давать бесполезные или вводящие в заблуждение результаты.

— Харви Мотульский
источник

2

Это, безусловно, является частью ответа. Но, утверждая, что единственная разница заключается в незначительной технической детализации, вы можете чрезмерно минимизировать проблемы нелинейных моделей. Например, некоторые простые, возникающие в биологии, могут иметь резко отличающиеся локальные минимумы, все из которых близки к глобальным минимумам. Эта фундаментальная качественная проблема не решается с помощью улучшенной вычислительной мощности или более совершенных методов оптимизации: сама природа многих нелинейных моделей настолько отличается от линейных моделей, что они требуют глубокого осмысления их значения и их интерпретации.

— whuber

1

Во-первых, я собираюсь заменить слово «модель» словом «регрессия». Я думаю, что для обоих слов действительно задается вопрос, какие уравнения соответствуют модели, определяющей модель, и какова соответствующая гипотеза, относящаяся к значениям зависимой переменной и значениям, прогнозируемым уравнением / моделью. Я думаю, что термин «модель» является более стандартным. Если вы согласны с этим, читайте дальше.

$\phi_1, \ldots, \phi_n$ $\phi_1, \ldots, \phi_n$ $\phi_i = x^i$ $\epsilon_i = y_i - \sum a_{ij}x^j$ является гауссовским Имхо, я думаю, что в Википедии есть очень разумное объяснение общих линейных моделей. Я думаю, что это ключевое предложение: «GLM обобщает линейную регрессию, позволяя связать линейную модель с переменной отклика через функцию связи и позволяя величине дисперсии каждого измерения быть функцией ее прогнозируемого значения. " Таким образом, GLM допускает более общий термин ошибки. Это обеспечивает большую гибкость в моделировании. Цена ? Вычислить правильную модель сложнее. У одного больше нет простого метода вычисления коэффициентов. Коэффициенты линейной регрессии могут быть найдены путем минимизации квадратичного функционала, который имеет уникальный минимум. По словам Бората, для glm, не так много. Нужно рассчитать MLE,

— Мех
источник

1

Нелинейная модель также может предполагать, что остатки выбираются из гауссовского распределения. Простым примером является активность фермента (Y) как функция концентрации субстрата (X). Y = Vmax * X / (Km + X) Принято считать, что невязки являются гауссовыми, но это нелинейное уравнение, которое соответствует нелинейной регрессии.

— Харви Мотульский

2

Нелинейные модели включают в себя гораздо больше, чем GLM. GLM популярны, потому что они «почти» линейны по параметрам: вся нелинейность ограничена функцией одной переменной, «связи». Это учитывает относительно эффективные, надежные решения. Другие нелинейные модели гораздо менее податливы. Концепция линейности в значительной степени отделена от природы остатков, хотя в некоторых случаях выгодно отличать добавочные остатки от других форм отклонений.

— whuber