Почему матричной нормой по умолчанию является спектральная норма, а не норма Фробениуса?

Для векторной нормы L2-норма или «евклидово расстояние» является широко используемым и интуитивным определением. Но почему определение «наиболее используемой» или «стандартной» для матрицы является спектральной нормой , а не нормой Фробениуса (которая аналогична норме L2 для векторов)?

Имеет ли это какое-то отношение к итерационным алгоритмам / степеням матрицы (если спектральный радиус меньше 1, то алгоритм будет сходиться)?

---

1. Это всегда спорно для таких слов , как «наиболее часто используемые», « по умолчанию». Слово «default», упомянутое выше, происходит от возвращаемого по умолчанию типа возврата в Matlabфункции norm. В Rкачестве нормы по умолчанию для матрицы используется норма L1. Оба являются «неестественным» для меня (для матрицы, она кажется более «естественным» , чтобы сделать $\sqrt{\sum_{i,j}a^{2}_{i,j}}$ как в векторе). (Спасибо за комментарии @ usεr11852 и @ whuber и извините за путаницу.)

2. Может быть, расширение использования матрицы норм поможет мне понять больше?

В общем, я не уверен, что спектральная норма наиболее широко используется. Например, норма Фробениуса используется для аппроксимации решения о неотрицательной матричной факторизации или регуляризации матрицы корреляции / ковариации . Я думаю, что часть этого вопроса проистекает из проступка терминологии, который делают некоторые люди (включая меня), когда ссылаются на норму Фробениуса как на евклидову матричную норму . Мы не должны этого делать, потому что фактически матричная норма (то есть спектральная норма) - это та, которая индуцируется в матрицы при использовании векторной нормы L 2 . Норма Фробениуса является поэлементной: | | A | $L_2$$L_2$ , аматрицаL2норма (||A||2=$||A||_F = \sqrt{\sum_{i,j}a_{i,j}^2}$$L_2$) основан на единичных значениях, поэтому он является более «универсальным». (к счастью, лучшего термина?)Норма матрицыL2является нормой евклидова типа, поскольку она индуцируется евклидовой векторной нормой, где| | A| | 2=макс | | х | | 2 = 1 | | Х| | 2. Это следовательно,индуцированная нормадля матрицпотому что онаиндуцируетсяпомощью а$||A||_2 = \sqrt{\lambda_{max}(A^T A)})$$L_2$$||A||_2 = \max\limits_{||x||_2 =1} || Ax||_2$векторная норма , векторная норма в этом случае.$L_2$

Вероятно, MATLAB стремится обеспечить норму по умолчанию при использовании команды ; как следствие, он обеспечивает евклидову векторную норму, а также матричную норму L 2 , т.е. спектральная матричная норма (а не ошибочно цитирует « Фробениуса / евклидова матричная норма »). Наконец, позвольте мне заметить, что норма по умолчанию в некоторой степени зависит от мнений: например, в « Матричной алгебре - теория, вычисления и приложения в статистике » Дж. Джентла буквально есть глава (3.9.2) под названием: « Фробениус». Норма - «Обычная» Норма$L_2$norm$L_2$"; очевидно, что спектральная норма не является нормой по умолчанию для всех рассматриваемых сторон! :) Как прокомментировал @amoeba, разные сообщества могут иметь разные терминологические соглашения. Само собой разумеется, что книга Джентль является бесценным ресурсом по вопросу Лин. Алгебра-приложение в статистике и я бы подсказать вам посмотреть его дальше!

Часть ответа может быть связана с числовыми вычислениями.

Когда вы решаете систему

$$Ax=b$$ с конечной точностью, вы не получите точного ответа на эту проблему. Вы получаете приближение $\tilde x$ из - за ограничения конечной арифметики, так что $A\tilde x \approx b$ , в каком - то подходящий смысле. Что же представляет собой ваше решение? Ну, это вполне может быть точным решением какой - либо другой системе , как $$\tilde A \tilde x = \tilde b$$ Таким образом , для $\tilde x$ , чтобы иметь утилиту, тильда-система должна быть близка к исходной системе: $$\tilde A \approx A, \quad \tilde b \approx b$$ Есливаш алгоритмрешения исходной системы удовлетворяетчто собственность, то она называетсяобратной конюшне. Теперь, точный анализ тогонасколько велики расхождения$\tilde A-A$,$\tilde b-b$в конечном итоге приводит к ошибкам на границахкоторые выражаютсявиде$\| \tilde A-A \|$,$\| \tilde b-b\|$. Для некоторых анализов,$l_1$норма (максимальная сумма столбца) является самым простымчтобы протолкнуть, для других,$l_\infty$ норма (максимальная сумма строки) проще всего протолкнуть (например, для компонентов решения в случае линейной системы), а для другихспектральная норма$l_2$ является наиболее подходящей (индуцированной традиционным$l_2$ векторная норма, как указанов другом ответе). Для рабочей лошади статистических вычислений в симметричной инверсии матрицы PSD,разложение Холецкого(мелочи: первый звук - это [х], как в греческой букве «чи», а не [тʃ], как в «погони»), наиболее удобной нормой для отслеживать границы ошибок - этонорма$l_2$ ... хотя норма Фробениуса также всплывает в некоторых результатах, например, при инверсии секционированной матрицы.

The answer to this depends on the field you're in. If you're a mathematician, then all norms in finite dimensions are equivalent: for any two norms $\|\cdot\|_a$ and $\|\cdot\|_b$, there exist constants $C_1,C_2$, which depend only on dimension (and a,b) such that:

$$C_1\|x\|_b\leq \|x\|_a\leq C_2\|x\|_b.$$

This implies that norms in finite dimensions are quite boring and there is essentially no difference between them except in how they scale. This usually means that you can choose the most convenient norm for the problem you're trying to solve. Usually you want to answer questions like "is this operator or procedure bounded" or "does this numerical process converge." With boundedness, you only usually care that something is finite. With convergence, by sacrificing the rate at which you have convergence, you can opt to use a more convenient norm.

For example, in numerical linear algebra, the Frobenius norm is sometimes preferred because it's a lot easier to calculate than the euclidean norm, and also that it naturally connects with a wider class of Hilbert Schmidt operators. Also, like the Euclidean norm, it's submultiplictive: $\|AB\|_F\leq \|A\|_F\|B\|_F$, unlike say, the max norm, so it allows you to easily talk about operator multiplication in whatever space you're working in. People tend to really like both the $p=2$ norm and the Frobenius norm because they have natural relations to both the eigenvalues and singular values of matrices, along with being submultiplictive.

For practical purposes, the differences between norms become more pronounced because we live in a world of dimensions and it usually matters how big a certain quantity is, and how it's measured. Those constants $C_1,C_2$ above are not exactly tight, so it becomes important just how much more or less a certain norm $\|x\|_a$ is compared to $\|x\|_b$.