Почему корреляционная матрица должна быть положительной полуопределенной и что значит быть или не быть положительной полуопределенной?


34

Я исследовал значение положительного полуопределенного свойства матриц корреляции или ковариации.

Я ищу любую информацию о

  • Определение положительной полуопределенности;
  • Его важные свойства, практические последствия;
  • Последствия отрицательного фактора, влияние на многомерный анализ или результаты моделирования и т. Д.

5
Вы хотите , чтобы понять , что пол-определённость есть , или вы хотите знать , почему корреляционные матрицы должны быть полуопределенными, или вы хотите знать , что важные результаты вытекают из этого свойства?
whuber

4
Если корреляционные матрицы не являются полуположительными, то можно получить отклонения, которые были отрицательными.

Я немного отредактировал ваш вопрос, пожалуйста, проверьте его. Также обратите внимание, что матрица с четным числом отрицательных собственных значений будет по-прежнему иметь положительный определитель.
ttnphns

Ковариационная матрица НЕ всегда равна корреляционной матрице! Ковариация учитывает нормализованные переменные, а корреляционная матрица - нет.
Манодж Кумар

1
Вопросы, связанные с данной: Является ли каждая ковариационная матрица положительно определенной? рассматривает более широкий случай ковариационных матриц, из которых корреляционные матрицы являются частным случаем; Также Является ли каждая корреляционная матрица положительной полуопределенной? и является ли каждая корреляционная матрица положительно определенной?
Серебряная рыба

Ответы:


38

Дисперсия взвешенной суммы случайных величин должна быть неотрицательной для всех вариантов выбора действительных чисел . Поскольку отклонение может быть выражено как мы имеем, что ковариационная матрица должна быть положительно полуопределенной (которую иногда называют неотрицательно определенной). Напомним, что матрица называется положительной полуопределенной тогда и только тогда, когдаΣяaяИкся var ( i a i X i ) = i j a i a j j cov ( X i , X j ) = i j a i a j Σ i , j , Σ = [ Σ i , j ] C i j a i a j C Iaя

вар(ΣяaяИкся)знак равноΣяΣJaяaJсОУ(Икся,ИксJ)знак равноΣяΣJaяaJΣя,J,
Σзнак равно[Σя,J]С
ΣяΣJaяaJСя,J0aя,aJр,

Спасибо, я удалил свое отрицательное голосование, но я не повышал голосование, потому что это не отвечает о практических последствиях. Скажем, у меня есть матрица, которая не является положительно определенной (например, из-за модификации «экспертом»). Что произойдет, если я использую его для калибровки и / или моделирования данных? В частности, это реальная проблема, когда вы пытаетесь изучить большую сумму, и есть только несколько отрицательных собственных значений? Каким был бы эффективный алгоритм преобразования неположительной полуопределенной корреляционной матрицы в положительную полуопределенную? Какое влияние окажет этот алгоритм?
lcrmorin

@Were_cat Спасибо за отмену понижающего голоса.
Дилип Сарватэ

Не могли бы вы объяснить первое равенство в первом уравнении?
Вивек Субраманян

1
вар(Икс)знак равносОУ(Икс,Икс)
сОУ(ΣяaяИкся,Y)знак равноΣяaясОУ(Икся,Y)сОУ(Икс,ΣябJYJ,)знак равноΣJбJсОУ(Икс,YJ)

18

Ответ довольно прост!

Корреляционная матрица определяется таким образом:

Иксзнак равно[Икс1,Икс2,,,,,ИксN]м×NмN

Иксбзнак равно[(Икс1-μ1е)s1,(Икс2-μ2е)s2,(Икс3-μ3е)s3,,,,]μ1μ2s1е

Матрица корреляции тогда

Сзнак равноИксб'Иксб

AZZ'AZ<0

Свес'Свес<0

(вес'Свес)знак равно(вес'Иксб'Иксбвес)знак равно(Иксбвес)'(Иксбвес)знак равноZ12+Z22,,,Zзнак равноИксбвесвес'Свес

UВ'В


2
Это, безусловно, самый ясный, самый краткий и полезный ответ. Благодарность !
Йохан Обадия

12

(Возможная разболтанность рассуждений была бы моей. Я не математик: это изображение, а не доказательство, и это из моих численных экспериментов, а не из книг.)

  1. Неотрицательно матрица (СДП), которая также называется Определитель Грама, представляет собой матрицу без каких - либо отрицательных собственных значений. Матрица с отрицательными собственными значениями не является положительной полуопределенной или неграмовой. Оба они могут быть определенными (без нулевых собственных значений) или единичными (хотя бы с одним нулевым собственным значением). [Слово «Грамиан» используется в нескольких различных значениях в математике, поэтому, возможно, следует избегать.]
  2. В статистике мы обычно применяем эти термины к матрице типа SSCP, также называемой матрицей скалярного произведения. Корреляционные или ковариационные матрицы являются частными случаями такой матрицы .
  3. npppnnковариационная матрица между падежами. Когда вы вычисляете это из реальных данных, матрица всегда будет Gramian. Вы можете получить неграммову матрицу (не-psd), если (1) это матрица сходства, измеренная напрямую (т.е. не вычисленная по данным), или мера сходства не является SSCP-типом; (2) значения матрицы были введены неправильно; (3) матрица на самом деле является грамиановой, но она (или очень близка) к единственному, что иногда спектральный метод вычисления собственных значений производит крошечные отрицательные вместо истинного нуля или крошечные положительные.
  4. d122=h12+h222s12shXYdxy2=σx2+σy22covxy
  5. mm
  6. mmm
  7. Каковы возможные причины или версии неграмовской (неевклидовой) конфигурации? Ответы следуют после созерцания [пункт 4].
    • mmd
    • hddhh
    • dчасчас1+час2d12|час1-час2|
  8. |соvяJ|>σяσJ

Рисунок 1.

Рисунок 1

Fig2.

fig2

Рис3.

Рис3


2
Точка 6 нуждается в демонстрации: вы показали, что матрица квадратов евклидовых расстояний - это pd, но вы без доказательств утверждаете, что каждой матрице pd соответствует евклидова конфигурация точек. Также вы не связали свое определение pd («нет отрицательных собственных значений») ни с одной из ваших последующих характеристик. Ключевая идея приходит в конце (точка 8): матрица pd может использоваться для определения расстояния. Логично, что именно здесь вы должны начать анализ.
whuber

@whuber: Спасибо за критическую оценку. Боюсь, когда дело доходит до математического доказательства чего-либо, я тону. Я сообщил часть своего практического опыта (я сказал это); ответ на самом деле не был аналитической последовательностью. Не хотите ли вы добавить свой собственный ответ, который может исправить / улучшить мой? Это может оказаться ценным помощником. Или вы можете работать над моим текстом, чтобы улучшить его, если сочтете его совершенно бесполезным.
ttnphns

PS Моя точка 8 подразумевает, что, поскольку двойное центрирование привязывает конфигурацию точек к центроиду, эта операция сама по себе не вносит неевклидности (она создает только сингулярность, потому что новая точка, центр, принадлежит одному и тому же пространству). Отсюда мы можем проверить, была ли начальная конфигурация евклидовой. Это не правильно?
ttnphns
Используя наш сайт, вы подтверждаете, что прочитали и поняли нашу Политику в отношении файлов cookie и Политику конфиденциальности.
Licensed under cc by-sa 3.0 with attribution required.