(Вещественная) симметричная матрица имеет полный набор ортогональных собственных векторов, для которых соответствующие собственные значения являются действительными числами. Для несимметричных матриц это может не получиться. Например, вращение в двумерном пространстве не имеет собственного вектора или собственных значений в действительных числах, вы должны перейти в векторное пространство над комплексными числами, чтобы найти их.
Если матрица дополнительно положительно определена, то все эти собственные значения являются положительными действительными числами. Этот факт намного проще, чем первый, поскольку, если - собственный вектор с единичной длиной, а λ - соответствующее собственное значение, тоvλ
λ=λvtv=vtAv>0
где последнее равенство использует определение положительной определенности.
Важность здесь для интуиции состоит в том, что собственные векторы и собственные значения линейного преобразования описывают систему координат, в которой преобразование легче всего понять. Линейное преобразование может быть очень трудно понять в «естественном» базисе, таком как стандартная система координат, но каждый из них имеет «предпочтительный» базис из собственных векторов, в которых преобразование действует как масштабирование во всех направлениях. Это значительно упрощает понимание геометрии преобразования.
Например, второй производный тест для локальных экстремумов функции часто дается как ряд загадочных условий, включающих запись во второй производной матрице и некоторые детерминанты. Фактически эти условия просто кодируют следующее геометрическое наблюдение:R2→R
- Если матрица вторых производных положительно определена, вы находитесь на локальном минимуме.
- Если матрица вторых производных отрицательно определена, вы находитесь на локальном максимуме.
- В противном случае вы не в седловой точке.
Вы можете понять это с помощью приведенных выше геометрических рассуждений. Первая производная в критической точке исчезает, поэтому скорости изменения функции здесь контролируются второй производной. Теперь мы можем рассуждать геометрически
- В первом случае есть два собственных направления, и если вы двигаетесь вдоль, либо функция увеличивается.
- Во втором два собственных направления, и если вы двигаетесь в любую из них, функция уменьшается.
- В последнем есть два собственных направления, но в одном из них функция увеличивается, а в другом она уменьшается.
Поскольку собственные векторы охватывают все пространство, любое другое направление представляет собой линейную комбинацию собственных направлений, поэтому скорости изменения в этих направлениях являются линейными комбинациями скоростей изменения в собственных направлениях. Таким образом, на самом деле это имеет место во всех направлениях (это более или менее означает, что функция, определенная в пространстве более высокого измерения, будет дифференцируемой). Теперь, если вы рисуете маленькую картинку в своей голове, это имеет смысл из чего-то, что является довольно загадочным в текстах для начинающих.
Это относится непосредственно к одному из ваших пунктов пули
Квадратичная форма является выпуклым, еслиASPD. Выпуклый - это хорошее свойство, которое может гарантировать, что локальное решение является глобальным решением.12x⊤Ax−b⊤x+cA
Матрица вторых производных везде , которая симметрично положительно определена. Геометрически это означает, что если мы отойдем в любом собственном направлении (и, следовательно, в любом направлении, потому что любое другое является линейной комбинацией собственных направлений), сама функция будет отклоняться выше касательной плоскости. Это означает, что вся поверхность является выпуклой.A