Как вы можете доказать, что нормальные уравнения: имеют одно или несколько решений без предположения, что X обратимо?
Мое единственное предположение, что это как-то связано с обобщенным обратным, но я полностью потерян.
Как вы можете доказать, что нормальные уравнения: имеют одно или несколько решений без предположения, что X обратимо?
Мое единственное предположение, что это как-то связано с обобщенным обратным, но я полностью потерян.
Ответы:
Человек склонен быть бойким и указать на это, потому что квадратичная форма
положительно полуопределен, существует для которого он минимален, и этот минимум найден (путем установки градиента относительно β на ноль) с помощью нормальных уравнений
откуда должно быть по крайней мере одно решение , независимо от ранга . Однако этот аргумент, похоже, не соответствует духу вопроса, который представляется чисто алгебраическим утверждением. Возможно, интересно понять, почему такое уравнение должно иметь решение и при каких именно условиях. Итак, давайте начнем сначала и притворимся, что не знаем связи с наименьшими квадратами.
Это все сводится к значению , транспонированной X . Это окажется вопросом простого определения, соответствующих обозначений и концепции невырожденной сесквилинейной формы. Напомним, что X - это «матрица проектирования» из n строк (по одному для каждого наблюдения) и p столбцов (по одному для каждой переменной, включая константу, если таковая имеется). Поэтому он представляет собой линейное преобразование из векторного пространства V = R p в W = R n .
Транспонирование , рассматриваемое как линейное преобразование , является линейным преобразованием двойственных пространств X ′ : W ∗ → V ∗ . Для того , чтобы иметь смысл композиции , как X ' X , то необходимо определить W * с W . Это то, что обычное скалярное произведение (сумма квадратов) на W делает.
На самом деле есть два внутренних произведения и g W, определенных на V и W соответственно. Это вещественные билинейные симметрические функции, невырожденные . Последнее означает, что
с аналогичной отчетностью за . Геометрически эти внутренние продукты позволяют нам измерять длину и угол. Условие г ( U , V ) = 0 можно рассматривать как у будучи «перпендикулярно» к V . Невырожденность означает, что только нулевой вектор перпендикулярен всему векторному пространству. (Эта общность означает, что полученные здесь результаты будут применяться к обобщенному параметру наименьших квадратов , для которого g W не обязательно является обычным внутренним произведением, данным как сумма произведений компонентов, но является некоторой произвольной невырожденной формой. Мы могли бы обойтись без g целом, определяя X ′ : W → V ∗ , но я ожидаю, что многие читатели будут незнакомы или неуютны с двойными пробелами, и поэтому решили избегать этой формулировки.)
С этими внутренними произведениями транспонирование любого линейного преобразования определяется через X ′ : W → V через
для всех и об ∈ V . То, что в действительности существует вектор X ′ ( w ) ∈ V с этим свойством, можно установить, выписав вещи с базисами для V и W ; То, что этот вектор единственен, следует из невырожденности внутренних произведений. Ибо, если v 1 и v 2 - два вектора, для которых g V ( v 1 , v ) = g V ( v 2 , v для всех v ∈ V , то (из линейности по первой компоненте) g V ( v 1 - v 2 , v ) = 0 для всех v, подразумевающих v 1 - v 2 = 0 .
Одним из интересных результатов этой абстрактной алгебраической демонстрации является то, что мы можем решать нормальные уравнения в произвольных векторных пространствах. Результат справедлив, скажем, для комплексных пространств, для пространств над конечными полями (где минимизация суммы квадратов не имеет большого смысла), и даже для бесконечномерных пространств, которые поддерживают подходящие полулинейные формы.
В типичной регрессии X является тощим и, следовательно, определенно необратимым (хотя его можно оставить обратимым). Нетрудно доказать (спросите, нужна ли вам помощь), что если X тощий и левый обратимый, то X ^ T * X обратим. В этом случае тогда будет ровно одно решение. И если у X нет полного ранга столбца, то X ^ T * X не будет полным рангом, и поэтому у вас будет недостаточно определенная система.