Что означает «сильно нелинейный»?

27

Я часто читаю о том, что функция «сильно нелинейна». В моем понимании, есть «линейный» и «нелинейный», так о чем это «высоко»? Есть ли формальное отличие от нелинейного? Как это определяется?

terminology nonlinear mathematical-statistics

— Тоби Эль Техедор
источник

8

Неофициально: «Не ожидайте, что сможете легко сопоставить изменения во входных данных с изменениями в выходных данных».

— Кешлам

2

Вы читали это в газете о Deep Learning? Приближение сильно нелинейных функций является одной из причин глубокого обучения, потому что мелкой сети трудно моделировать то, что Джо описывает в своем ответе.

— Нил Г,

1

Я бы сказал, что это зависит от того, где вы читаете это. Если это написано математически подкованными людьми, то это может означать, что ответы здесь (пока) дают. Если это написано практикующим врачом, например, врачом или биологом, это может означать, что отношения не прямые, а сильно изогнутые. По моему опыту, большинство людей думают, что линейная регрессия относится к подгонке прямых данных к данным, что может быть причиной путаницы.

— Роман Луштрик

Нет, я не @NeilG.

— Тоби Эль Техедор

1

Это не однозначно определенный термин - физик, как правило, будет иметь совершенно иное значение, чем криптограф. Без большего контекста на этот вопрос нельзя ответить правильно - мы бы угадали контекст (или мы должны были бы учитывать каждый отдельный).

— Glen_b

44

Я не думаю, что есть формальное определение. У меня сложилось впечатление, что это просто означает, что он не только нелинейный, но и попытка смоделировать его с линейным приближением не даст разумных результатов и может даже вызвать нестабильность в методе подбора. Кто-то может также использовать это, чтобы просто означать, что небольшие изменения на входе могут привести к неинтуитивно большим изменениям на выходе.

— Wayne
источник

2

(+1) за предложение очень разумного критерия / содержания для «крайне нелинейного» (это линейное приближение может усугубить ситуацию).

— Алекос Пападопулос

16

В формальном смысле я считаю, что можно сказать, что вторая производная существенно отличается от нуля. Если 0 было «разумным» приближением ко второй производной по интересующей области, оно близко к линейному, но если это не так, нелинейные эффекты становятся очень важными для захвата.

Я редко слышал, чтобы подобные термины применялись к относительно простым многочленам, часто при практическом использовании они, кажется, применяются к расходящимся динамическим системам (вещи типа теории хаоса) или очень негладким функциям (где много производных высшего порядка ненулевые ).

— Джо
источник

3

Кстати, «гладкий» действительно технический термин, означающий, что существует любая производная. x -> e^xявляется гладким, хотя его производные всех порядков везде ненулевые :-)

— Стив Джессоп

10

Важным аспектом, отсутствующим в других отличных ответах, является область . Например, является $f(x)=x^2$

сильно нелинейный на но $[-10;10]$
не в каждой половине области (т. е. как в и в можно использовать линейное приближение без немедленной катастрофы). $[-10;0]$ $[0;10]$ $f$

Другим примером является который $f(x)=x^3-x$

сильно нелинейный на но $[-1;1]$
не в большей области $[-10;;10]$

— ДСН
источник

Я не согласен по поводу

. Она всегда сильно нелинейна в районе 0. Рассмотрим

, где

. Как это линейно для вас? У него даже нет линейного члена (очевидно), он не может быть линейно аппроксимирован.

x^{2}

$x^2$

x = [0.1, 0.2, 0.3]

$x =[0.1,0.2,0.3]$

f (x) = [0.01, 0.04, 0.09]

$f(x)=[0.01,0.04,0.09]$

— Аксакал

3

@Aksakal: функция, конечно, не линейна (где угодно), но, как я уже сказал, «можно использовать линейное приближение f без немедленной катастрофы»

— sds

1

Любая функция может быть аппроксимирована линией, вопрос только в том, насколько плоха аппроксимация. И в x \ in [0, 0.5] ошибка не так уж и плоха.

— Джо

8

Как уже упоминалось, я не думаю, что есть формальное определение. Я бы определил это как функцию, которую нельзя линейно аппроксимировать в типичном диапазоне возмущений аргумента. Например, у вас есть и . Тогда, если приближение нарушается, то оно сильно нелинейно. Например, $y=f(x)$ $\sigma^2=var[x]$ $f(x+\sigma)\approx f(x)+f'(x)\sigma$ было бы весьма нелинейна для любого вокруг нуля, потому что ее ряд Тейлора являются . $f(x)=exp(x^2)$ $x$ $1+x^2+x^4/2+O(x^5)$

— Аксакал
источник

1

Неофициально ... "крайне нелинейный" означает "даже слепой может увидеть не прямую линию!" ;) Лично я воспринимаю это как знак опасности, что он как-то «взорвется вам в лицо» при использовании с примерами из реального мира.

Ханойскую башню можно назвать примером крайне нелинейного ... легенда гласит, что когда монахи закончат стек из 64 дисков, мир закончится. Если вы посчитаете общее время, потраченное на обучение, кормление, проживание и побуждение каждого поддержать бесполезное скучное бессмысленное задание нескольких поколений, я бы ожидал, что общая стоимость в человеко-часах действительно вылетит!

— iheggie
источник

1

Как профессиональный математик, я могу подтвердить, что термин «сильно нелинейный» не является математически точно определенным термином. :)

И я не могу придумать ничего из «очень ничего».

Нелинейный точен и противоположен линейному (очевидно).

Но линейный происходит в двух разных значениях:

$f(x) = ax+b$
$f(x) = ax$ $b$

$(ax + b)$

— Дмитрий Зайцев
источник

1

До сих пор это единственный ответ, я согласен;) (+1) за то, что ты старая школа!

— Raaja