Номер условия составов A'A и AA '

Показано (Юсеф Саад, Итерационные методы для разреженных линейных систем , стр. 260), что$cond(A'A) \approx cond(A)^2$

Это правда и для ?$AA'$

В случае , если является с , заметим , что я$A$$N\times M$$N \ll M$$cond(A'A) \gg cond(AA')$

Означает ли это, что формулировка в терминах предпочтительнее в этом случае?$AA'$

Если с , то , так что не может быть полный ранг, т.е. единственном числе.$A\in\mathbb{R}^{N\times M}$$N<M$

Соответственно, номер условия . Из-за арифметики конечной точности, если вы вычисляете в Matlab, вы получите большое число, а не .$\kappa_2(A^TA)=\infty$cond(A'A)Inf

Ну, взгляд давайте, почему имеет приблизительно квадрат числа обусловленности . Используя SVD-разложение , с , , , мы можем выразить как$A^TA$$A$$A=USV^T$$U \in \mathbb{R}^{N \times N}$$S \in \mathbb{R}^{N \times M}$$V \in \mathbb{R}^{M \times M}$$A^T A$

$A^T A=(USV^T)^T USV^T=VS^T U^T U S V^T=V S^T S V^T$

Что мы приходим, отметив , что ортонормальна, так что . Далее отметим, что является диагональной матрицей, так что окончательное разложение может быть выражено как , где означает , что дает диагональную матрицу с первыми N единичными значениями из квадрате по диагонали. Это означает, что, поскольку число условий является отношением первого и последнего единственного значения, для , $U$$U^T U=I$$S$$A^TA$$V S^2 V^T$$S^2$$S^T S$$S$$cond(A)=\frac{s_1}{s_N}$$A \in \mathbb{R}^{N \times M}$

$cond(A^T A)=\frac{s_1^2}{s_M^2}=(\frac{s_1}{s_M})^2=cond(A)^2$

Теперь мы можем выполнить то же упражнение с :$AA^T$

$AA^T=USV^T (USV^T)^T=USV^T V S^T U^T=U S^2 U^T$

Это означает, что мы получаем результат , так как здесь означает , небольшое отличие от обозначений выше.$cond(AA^T)=\frac{s_1^2}{s_N^2}$$S^2$$SS^T$

Но обратите внимание на эту тонкую разницу! Для номер условия имеет M-е единственное значение в знаменателе, в то время как имеет N-е единственное значение. Это объясняет, почему вы видите значительные различия в числе условий - действительно будет «лучше подготовлен», чем .$A^TA$$AA^T$$AA^T$$A^TA$

Тем не менее, Дэвид Кетчес был прав: вы сравниваете числа условий между двумя совершенно разными матрицами. В частности, то , что вы можете достичь с не будет таким же , как то , что вы можете сделать с .$A^TA$$AA^T$

Утверждение, что $\DeclareMathOperator{\cond}{cond} \cond A^2 \approx \cond A^T A$(для квадратных матриц) в вопросе и [Правка: я неправильно прочитал] в ответе Артана - нонсенс. Встречный пример

для которого вы можете легко проверить, что $\cond A^T A = \bigO(\epsilon^{-4})$ пока $\cond A^2 = \bigO(\epsilon^{-2})$,

В точной арифметике cond (A ^ 2) = cond (A'A) = cond (AA '), см., Например. Голуб и Ван Лоан, 3-е изд., Стр. 70. Это не верно в арифметике с плавающей запятой, если A почти не имеет ранга. Лучший совет - следовать вышеприведенным рецептам книг при решении задач наименьших квадратов, самым безопасным из которых является метод SVD, стр. 257. Вместо этого используйте \ varepsilon-rank при вычислении SVD, где \ varepsilon - это разрешение ваших данных матрицы.