Различие между линейной и нелинейной моделью

13

Я прочитал некоторые объяснения о свойствах линейных и нелинейных моделей, но все же иногда я не уверен, является ли имеющаяся модель линейной или нелинейной. Например, является ли следующая модель линейной или нелинейной?

y_{t} = β_{0} + β_{1} B (L; θ) X_{t} + ε_{t}

$y_t=\beta_0 + \beta_1B(L;\theta)X_t+\varepsilon_t$

С:

B (L; θ) = \sum_{k = 1}^{K} b (k; θ) L^{k}

$B(L;\theta)=\sum_{k=1}^{K}b(k;\theta)L^k$

L^{k} X_{t} = X_{t - k}

$L^kX_t=X_{t-k}$

Где представляет (убывающую) экспоненциальную полиномиальную функцию Алмона вида: $b(k;\theta)$

b (k; θ) = \frac{\exp (θ_{1} k + θ_{2} k^{2})}{\sum_{k = 1}^{K} \exp (θ_{1} k + θ_{2} k^{2})}

$b(k;\theta)=\frac{\exp(\theta_1 k+\theta_2k^2)}{\sum_{k=1}^{K}\exp(\theta_1k+\theta_2k^2)}$

На мой взгляд, мое основное уравнение (первое) является линейным по отношению к , потому что этот член просто умножается на вес. Но я бы сказал, что весовая функция (последнее уравнение) является нелинейной по отношению к параметрам ans . $X_t$ $\theta_1$ $\theta_2$

Может кто-нибудь объяснить мне, является ли моя основная функция линейной или нелинейной и что это означает для процедуры оценки - должен ли я применять линейный или нелинейный метод наименьших квадратов ?. Кроме того, в чем заключается различимая особенность, с помощью которой я могу определенно определить, является ли функция нелинейной или линейной?

linear-model nonlinear-regression nonlinear

— DataMiner
источник

16

При обычных определениях линейного и нелинейного в отношении моделирования критическим аспектом является не линейность по отношению к предикторам, а линейность по отношению к параметрам. Нелинейная модель является нелинейной, поскольку она не является линейной по параметрам.

Например, первое предложение здесь гласит:

В статистике нелинейная регрессия - это форма регрессионного анализа, в которой данные наблюдений моделируются функцией, которая представляет собой нелинейную комбинацию параметров модели и зависит от одной или нескольких независимых переменных.

В отличие от этого, обобщенные линейные модели обычно имеют нелинейную связь между откликом и предикторами, но преобразованный по ссылке средний отклик ( линейный предиктор , ) является линейным по параметрам. $\eta$

[По этому определению, я полагаю, что ваша модель нелинейна в s, хотя, если определены (известны), то эта нелинейность не имеет отношения к оценке. Если они устанавливаются, то модель нелинейная.] $\theta$ $\theta$

— Glen_b - Восстановить Монику
источник

9

Я согласен с Glen_b. В задачах регрессии основное внимание уделяется параметрам, а не независимой переменной или предиктору x. И тогда можно решить, хочет ли он линеаризовать проблему, используя простые преобразования, или продолжить ее как таковую.

Линейные задачи: подсчитайте количество параметров в вашей задаче и проверьте, все ли они имеют степень 1. Например, . Эта функция нелинейна по . Но для проблем регрессии нелинейность по не является проблемой. Нужно проверить, являются ли параметры линейными или линейными. В этом случае , , , .. имеют степень 1. Итак, они линейны. $y = ax + bx^2 + cx^3 + d x^{2/3} + e/x + f x^{-4/7}$ $x$ $x$ $a$ $b$ $c$ $f$

Заметьте, что в , хотя a выглядит так, как будто оно имеет степень 1, но при расширении . Вы можете ясно видеть, что это нелинейный параметр, поскольку a имеет степень больше 1. Но эту проблему можно линеаризовать, вызвав логарифмическое преобразование. Таким образом, задача нелинейной регрессии преобразуется в задачу линейной регрессии. $y = \exp(ax)$ $\exp(ax) = 1 + ax/ 1! + (ax)^2 / 2! + \dots$

Точно так же является логистической функцией. Она имеет три параметра, а именно , и . Параметры и имеют мощность больше 1, и при расширении они умножаются с каждым другие приносят нелинейность. Таким образом, они не являются линейными. Но они также могут быть линеаризованы с использованием правильной замены, устанавливая сначала а затем вызывая логарифмическую функцию с обеих сторон для линеаризации. $y = a / (1+b \exp(cx)$ $a$ $b$ $c$ $b$ $c$ $(a/y)-1 = Y$

Теперь предположим, что . Это еще раз нелинейно по отношению к параметрам. Но он не может быть линеаризован. Нужно использовать нелинейную регрессию. $y = a_1 / (1+b_1\exp(c_1x)) + a_2 / (1+b_2\exp(c_2x))$

В принципе, использование линейной стратегии для решения задачи нелинейной регрессии не очень хорошая идея. Итак, решайте линейные задачи (когда все параметры имеют степень 1), используя линейную регрессию, и применяйте нелинейную регрессию, если ваши параметры нелинейны.

В вашем случае замените весовую функцию обратно в основную функцию. Параметр будет единственным параметром со степенью 1. Все остальные параметры являются нелинейными ( конечном итоге умножается на и (эти два параметра являются нелинейными)), что делает его также нелинейным. Следовательно, это задача нелинейной регрессии , $\beta_0$ $\beta_1$ $\theta_1$ $\theta_2$

Примите нелинейную методику наименьших квадратов, чтобы решить ее. Умно выбирайте начальные значения и используйте многоканальный подход, чтобы найти глобальные минимумы.

Это видео будет полезно (хотя в нем не говорится о глобальном решении): http://www.youtube.com/watch?v=3Fd4ukzkxps

Использование нелинейного решателя GRG в электронной таблице Excel (установите пакет инструментов решателя, выбрав «Опции» - «Надстройки» - «Надстройки Excel», а затем выбрав «Надстройка солвера»), и запустите мультистарт в списке параметров, задав интервалы для параметров и требуя точность ограничения и сходимость, чтобы быть маленьким, глобальное решение может быть получено.

Если вы используете Matlab, используйте панель инструментов глобальной оптимизации. У него есть опции мультистарта и глобального поиска. Определенные коды доступны здесь для глобального решения, здесь и здесь .

Если вы используете Mathematica, посмотрите здесь .

Если вы используете R, попробуйте здесь .

— Bipi
источник

1

Спасибо, @Bipi, за примеры! Для вашего второго, если вы установите Y = (a / y - 1), как вы можете изолировать параметр от переменной y?

— Вивек Субраманян

0

Основная функция линейная.

Не имеет значения, появляются ли нелинейные известные функции ==> <== в уравнениях. $B(L;\theta)$

Я бы приступил к линейному наименьшему квадрату на вашем месте.

Вот как вы подтверждаете или отрицаете линейность:

https://en.wikipedia.org/wiki/Non-linear#Definition

Вам также может понравиться:

https://en.wikipedia.org/wiki/Linear_combination

https://en.wikipedia.org/wiki/Least_squares

http://en.m.wikipedia.org/wiki/Linear_least_squares_(mathematics)

— Эйс Фрам
источник

0

Это будет легко понять, если я объясню это в контексте функций.

Линейный: функция с постоянным наклоном. Алгебраически, многочлен с наивысшим показателем, равным 1. Это функция, граф которой является прямой. Например,y=2x+3

Нелинейный: функция, которая имеет противоположные свойства линейной функции. Функция с переменным наклоном. Это многочлен с показателем степени, равным 2 или более. Это график не линия. Например,y=x^2

[ http://study.com/academy/lesson/nonlinear-function-definition-examples.html][1]

— Ирфанулла
источник

Линейные статистические модели не совпадают с линейными функциями. Нелинейная функция с аддитивным шумом все еще может быть линейной моделью, поскольку линейность определяется параметрами модели, а не переменными предиктора.

— Майкл Р. Черник