Нормы - Что особенного в?

13

норма является уникальной (по крайней мере частично) , потому что находится на границе между невыпуклые и выпуклы. норма является «наиболее разреженным» выпуклая норма (правда?). $L_1$ $p=1$ $L_1$

Я понимаю, что евклидова норма имеет корни в геометрии и имеет четкую интерпретацию, когда измерения имеют одинаковые единицы. Но я не понимаю, почему он используется преимущественно над другими действительными числами : ? ? Почему бы не использовать полный непрерывный диапазон в качестве гиперпараметра? $p=2$ $p>1$ $p=1.5$ $p=\pi$

Что мне не хватает?

regression regularization sparse

— Трентон
источник

1

«Используется преимущественно», в каких приложениях, в частности? Нормы повсеместны в математике, статистике и физике; в некоторых подполях некоторые нормы более распространены, чем другие, потому что с ними более значимо или проще работать. По этой причине ответы на этот вопрос, вероятно, будут многочисленными и разнообразными (настолько разными, что я лично нахожу это неопровержимым). Поэтому я сделал это "Сообществом Wiki" (CW) сообщение; но если вы имеете в виду конкретное приложение или узкую область, то, сделав ваш вопрос более точным, можно удалить статус CW.

— whuber

12

Более математическое объяснение состоит в том, что пространство , состоящее из всех рядов, сходящихся по p-норме, является только Гильбертом с и не имеет другого значения. Это означает, что это пространство завершено, и норма в этом пространстве может быть индуцирована внутренним произведением (представьте знакомый точечный продукт в ), поэтому работать с ним немного приятнее. $l^p$ $p=2$ $R^n$

— JohnK
источник

4

Вот несколько причин:

Это очень специфически связано с внутренним продуктом: это его собственная двойственная норма (то есть, она "двойственная").
Это означает, что, если вы рассмотрите все векторы внутри единичного шара, их максимальное внутреннее произведение с любым вектором будет нормой самого . Менее странно, он удовлетворяет свойству, что . Никакая другая норма не ведет себя таким образом. $\ell_2$ $z$ $\ell_2$ $z$ $\lVert x\rVert_2^2 = x \cdot x$ $\ell_p$
У него очень удобный плавный градиент: Вы действительно не можете победить это!
$\nabla_{x} ‖ f (x) ‖_{2}^{2} = 2 \nabla f (x) \cdot f (x)$ $\nabla_x\ \lVert f(x)\rVert_2^2 = 2 \ \nabla f(x) \cdot f(x)$

— user541686
источник

2

Хотя может быть много других причин, но AFAIK p = 2 предпочтительнее по следующим причинам:

Мера сходства / различий: для p = 2 евклидова норма дает меру сходства или различий между двумя векторами, которые затем могут быть использованы для получения лучшего понимания данных. Более подробные ответы на этот вопрос можно найти здесь .
Регуляризация: норма L2 используется для регуляризации в машинном обучении и является предпочтительной по двум причинам: 1) ее легко дифференцировать 2) при регуляризации L2 веса имеют тенденцию к снижению пропорционально весам. Следовательно, регуляризация L2 штрафует большие веса больше по сравнению с меньшими весами.

— enterML
источник

1

Квадратные ошибки в линейных моделях часто предпочтительны из-за:

отношение к ортогональности, которое ведет себя хорошо по отношению к некоторым случайным явлениям, рассматриваемым как шум (некоррелированность)
$L_1$
это дает гибкие алгоритмы оптимизации, поскольку производная превращается в линейные системы

$L_1$ $\ell_1$ $\ell_p$ $0<p<1$

$\ell_0$ $\ell_0$ $0$ $\ell_p$ $1$ $\ell_p \to \ell_0$ $p\to 0$

Таким образом, в соответствии с нормами некоторые рассматривают (невыпуклые) нормы норм, такие как $\ell_1 / \ell_2$ $\ell_1 / \ell_2$

— Лоран Дюваль
источник