Каково значение двойных столбцов и 2 внизу в обычных наименьших квадратах?

Я видел это обозначение для обычных наименьших квадратов здесь .

min_{w} {‖ X w - y ‖}_{2}^{2}

$\min_w \left\| Xw - y \right\|^2_2$

Я никогда не видел двойных баров и 2 внизу. Что означают эти символы? У них есть определенная терминология для них?

— Aseem Bansal
источник

Использование двойных баров просто указывает на то, что мы используем норму L2.

— Михаил Р. Черник

@MichaelChernick и 2? Это часть "нормы L2"?

— Aseem Bansal

Да, как и L2, есть и L1.

— Джон

Я думаю, что

X_{w}

$X_w$ должен быть

X w

$Xw$ так как

w

$w$ является вектором

— ilanman

@ilanman Да, это то, что было в записи до редактирования. Я изменил это назад

— Aseem Bansal

Вы говорите о норме (евклидовой норме) вектора ( ). Если это чуждо вам, вкратце, то -норме вектора , является: $\ell_2$ $Xw - y$ $\ell_p$ $u \in \mathbb{R}^{n}$

‖ u ‖_{p} = (\sum_{i = 1}^{n} | u_{i} |^{p})^{\frac{1}{p}}

$\|u\|_p = \big(\sum_{i=1}^{n} |u_i|^p\big)^{\frac1p}$

Так что в вашем случае что соответствует сумме квадратов невязок для линейной регрессии. В контексте проблем регрессии вы также увидите это в вычислениях среднего квадрата ошибки (MSE) и в регрессии гребня . $\|u\|_2^2 = (\big(\sum\limits_{i=1}^{n} |u_i|^2\big)^{\frac12})^2 = \sum\limits_{i=1}^{n} u_i^2$

Это обычная норма (среди прочих причин, это математически удобно), поэтому, когда это очевидно из контекста, вы увидите, что нижние опущены и просто . $2$ $\|u\|^2$

Как уже упоминалось в комментариях, вы также можете увидеть : $\ell_1$

‖ u ‖_{1} = \sum_{i = 1}^{n} | u_{i} |

$\|u\|_1 = \sum_{i=1}^{n} |u_i|$

Что соответствует абсолютному значению. Опять же, вы увидите это в средних абсолютных ошибках (MAE) или проблемах лассо .

Другие популярные нормы:

1 : расстояние Хэмминга или число ненулевых элементов в векторе, т.е. при расчете разреженности вектора. Технически это не норма (это кардинальная функция), потому что в определении есть термин , но он имеет форму нормы, поэтому мы называем ее единицей.
- Эта норма является идеальной нормой, используемой при создании разреженности для задач регрессии, поскольку мы действительно хотим обнулить коэффициенты, однако вычисление регуляризации является NP-трудным, поэтому вместо этого мы приближаем ее с который разрешим в линейном программировании. Он также популярен в Compressed Sensing . $\ell_0$ $\ell_1$
$\ell_{\infty}$ -norm: = для $\underset{i} {\text{max}}$ $\{|x_i|\}$ $i = 1, ..., n$
$\|A\|_F$ : норма Фробениуса (евклидова), примененная к матрице $A \in \mathbb{R}^{n\times m} = \sqrt{\sum \limits_{i=1}^{n}\sum \limits_{j=1}^{m}|a_{ij}|^2}$

— ilanman
источник

Ссылка на вольфрам альфа была действительно полезной.

— Aseem Bansal

Вы пишете , что

(псевдо) подсчитывает норма число нулей в вектор-вы , возможно , имели в виду количество не -нуль записей? (Это будет более соответствовать тому, что я видел, а также будет означать, что

будет расстоянием Хэмминга между

, а не будет

минус это расстояние.)

ℓ_{0}

$\ell_0$

‖ u ‖_{0}

$\lVert u \rVert_{0}$

u

$u$

0 \in R^{n}

$0 \in \mathbb R^n$

n

$n$

— wchargin

Орфографическая ошибка: «Фробениус».

— Хоббс

Вместо «это обычная норма» я бы просто сказал: «L2 - это норма»;)

— user541686