Осмысление анализа главных компонент, собственных векторов и собственных значений

На сегодняшнем занятии по распознаванию образов мой профессор говорил о PCA, собственных векторах и собственных значениях.

Я понял математику этого. Если меня попросят найти собственные значения и т.д., я сделаю это правильно, как машина. Но я этого не поняла . Я не понял цели этого. Я не чувствовал этого.

Я твердо верю в следующую цитату:

Вы действительно не понимаете что-то, если не можете объяснить это своей бабушке. -- Альберт Эйнштейн

Ну, я не могу объяснить эти понятия непрофессионалу или бабушке.

1. Почему PCA, собственные векторы и собственные значения? В чем была необходимость этих концепций?
2. Как бы вы объяснили это неспециалисту?

Представьте себе большой семейный ужин, где все начинают спрашивать вас о PCA. Сначала вы объясните это своей прабабушке; тогда тебе бабушка; затем к твоей матери; затем вашему супругу; наконец, вашей дочери (которая математик). Каждый раз следующий человек становится не таким мирянином. Вот как может идти разговор.

Прабабушка: Я слышал, вы изучаете "Пи-Си-Ай". Интересно, что это ...

Вы: Ах, это просто метод обобщения некоторых данных. Смотри, у нас на столе стоят бутылки с вином. Мы можем описать каждое вино по его цвету, по его силе, по возрасту и т. Д. (См. Эту прекрасную визуализацию свойств вина, взятую отсюда ). Мы можем составить целый список различных характеристик каждого вина в нашем погребе. Но многие из них будут измерять связанные свойства и поэтому будут излишними. Если это так, мы должны суммировать каждое вино с меньшим количеством характеристик! Это то, что делает PCA.

Бабушка: это интересно! Итак, эта вещь PCA проверяет, какие характеристики являются избыточными и отбрасывает их?

Вы: Отличный вопрос, бабушка! Нет, PCA не выбирает некоторые характеристики и не отбрасывает другие. Вместо этого он создает некоторые новые характеристики, которые хорошо суммируют наш список вин. Конечно, эти новые характеристики строятся с использованием старых; например, новая характеристика может быть вычислена как возраст вина минус уровень кислотности вина или некоторая другая комбинация, подобная этой (мы называем их линейными комбинациями ).

Фактически, PCA находит наилучшие возможные характеристики, которые обобщают список вин, а также только возможные (среди всех возможных линейных комбинаций). Вот почему это так полезно.

Мать: Хммм, это конечно звучит хорошо, но я не уверена, что понимаю. Что вы на самом деле имеете в виду, когда говорите, что эти новые характеристики PCA «суммируют» список вин?

Вы: Я думаю, что могу дать два разных ответа на этот вопрос. Первый ответ заключается в том, что вы ищете некоторые свойства (характеристики) вина, которые сильно различаются между винами. Действительно, представьте, что вы придумали свойство, которое одинаково для большинства вин. Это было бы не очень полезно, не так ли? Вина очень разные, но ваша новая собственность заставляет их всех выглядеть одинаково! Это, безусловно, будет плохое резюме. Вместо этого PCA ищет свойства, которые показывают как можно больше различий между винами.

Второй ответ заключается в том, что вы ищете свойства, которые позволили бы вам прогнозировать или «реконструировать» первоначальные характеристики вина. Опять же, представьте, что вы придумали свойство, которое не имеет отношения к исходным характеристикам; Если вы используете только это новое свойство, вы не сможете восстановить исходные! Это, опять же, было бы плохое резюме. Поэтому PCA ищет свойства, которые позволяют максимально точно восстановить исходные характеристики.

Удивительно, но оказывается, что эти две цели эквивалентны, и поэтому PCA может убить двух зайцев одним выстрелом.

Супруга: Но, дорогая, эти две «цели» PCA звучат так по-разному! Почему они были бы эквивалентны?

Вы: Хммм. Возможно, мне следует сделать небольшой рисунок (берет салфетку и начинает писать) . Давайте выберем две характеристики вина, возможно, темнота вина и содержание алкоголя - я не знаю, взаимосвязаны ли они, но давайте представим, что они есть. Вот как может выглядеть разбросный график различных вин:

Каждая точка в этом "облаке вина" показывает одно конкретное вино. Вы видите, что два свойства ( $x$ и $y$ на этом рисунке) взаимосвязаны. Новое свойство можно построить, нарисовав линию через центр этого винного облака и спроецировав все точки на эту линию. Это новое свойство будет задано линейной комбинацией $w_1 x + w_2 y$ , где каждая строка соответствует некоторым конкретным значениям $w_1$ и $w_2$ .

Теперь посмотрите очень внимательно - вот как эти проекции выглядят для разных линий (красные точки - это проекции синих точек):

Как я уже говорил, PCA найдет «лучшую» линию в соответствии с двумя различными критериями того, что является «лучшим». Во-первых, изменение значений вдоль этой линии должно быть максимальным. Обратите внимание на то, как изменяется «разброс» (мы называем это «дисперсией») красных точек при вращении линии; Вы можете увидеть, когда он достигает максимума? Во-вторых, если мы реконструируем исходные две характеристики (положение синей точки) из новой (положение красной точки), ошибка восстановления будет определяться длиной соединительной красной линии. Наблюдайте, как длина этих красных линий изменяется, когда линия вращается; Вы можете увидеть, когда общая длина достигает минимума?

Если вы посмотрите на эту анимацию в течение некоторого времени, вы заметите, что «максимальная дисперсия» и «минимальная ошибка» достигаются одновременно, а именно, когда линия указывает на пурпурные тики, отмеченные мной по обе стороны облака вина. , Эта линия соответствует новому винному свойству, которое будет построено PCA.

Кстати, PCA означает «анализ главных компонентов», и это новое свойство называется «первый главный компонент». И вместо того, чтобы говорить «свойство» или «характеристика», мы обычно говорим «особенность» или «переменная».

Дочь: Очень мило, папа! Думаю, я понимаю, почему две цели дают один и тот же результат: это по существу из-за теоремы Пифагора, не так ли? Во всяком случае, я слышал, что PCA как-то связано с собственными векторами и собственными значениями; где они на этой картинке?

Вы: Гениальное наблюдение. Математически распространение красных точек измеряется как среднее квадратное расстояние от центра облака вина до каждой красной точки; как вы знаете, это называется дисперсией . С другой стороны, общая ошибка восстановления измеряется как средняя длина квадрата соответствующих красных линий. Но так как угол между красной линией и черной линией всегда составляет $90^\circ$сумма этих двух величин равна среднему квадратному расстоянию между центром облака вина и каждой синей точкой; это как раз теорема Пифагора. Конечно, это среднее расстояние не зависит от ориентации черной линии, поэтому чем выше дисперсия, тем меньше погрешность (поскольку их сумма постоянна). Этот аргумент может быть точным ( см. Здесь ).

Кстати, вы можете себе представить, что черная линия - это сплошной стержень, а каждая красная линия - это пружина. Энергия пружины пропорциональна ее длине в квадрате (это известно в физике как закон Гука), поэтому стержень будет ориентироваться так, чтобы минимизировать сумму этих квадратов расстояний. Я сделал симуляцию того, как это будет выглядеть, при наличии некоторого вязкого трения:

Относительно собственных векторов и собственных значений. Вы знаете, что такое ковариационная матрица ; в моем примере это матрица $2\times 2$ которая задается как

$$\begin{pmatrix}1.07 &0.63\\0.63 & 0.64\end{pmatrix}.$$ Это означает, что дисперсия переменной $x$ равна $1.07$ , дисперсия переменной $y$ равна $0.64$ , а ковариация между ними равна $0.63$ . Поскольку это квадратная симметричная матрица, ее можно диагонализировать, выбрав новую ортогональную систему координат, заданную ее собственными векторами (кстати, это называется спектральной теоремой); соответствующие собственные значения будут расположены на диагонали. В этой новой системе координат ковариационная матрица диагональна и выглядит следующим образом: $$\begin{pmatrix}1.52 &0\\0 & 0.19\end{pmatrix},$$ что означает, что корреляция между точками теперь равна нулю. Становится ясным, что дисперсия любой проекции будет определяться средневзвешенным значением собственных значений (здесь я только делаю набросок интуиции). Следовательно, максимально возможная дисперсия ( $1.52$ ) будет достигнута, если мы просто возьмем проекцию на первую координатную ось. Отсюда следует, что направление первого главного компонента задается первым собственным вектором ковариационной матрицы. ( Подробнее здесь. )

Это можно увидеть и на вращающейся фигуре: там есть серая линия, перпендикулярная черной; вместе они образуют вращающуюся систему координат. Попробуйте заметить, когда синие точки становятся некоррелированными в этой вращающейся рамке. Ответ, опять же, заключается в том, что это происходит именно тогда, когда черная линия указывает на пурпурные тики. Теперь я могу рассказать вам, как я их нашел: они отмечают направление первого собственного вектора ковариационной матрицы, которое в этом случае равно $(0.81, 0.58)$ .

---

По популярному запросу я поделился кодом Matlab для создания вышеуказанных анимаций .

Рукопись Линдси и Смита «Учебник по анализу основных компонентов» действительно помогла мне справиться с PCA. Я думаю, что это все еще слишком сложно объяснить бабушке, но это не плохо. Вы должны пропустить первые несколько бит при расчете собственных чисел и т. Д. Перейдите к примеру в главе 3 и посмотрите на графики.

У меня есть несколько примеров, где я работал с некоторыми игрушечными примерами, чтобы понять линейную регрессию PCA и OLS. Я постараюсь выкопать их и опубликовать.

редактировать: Вы на самом деле не спрашивали о разнице между Обыкновенными наименьшими квадратами (OLS) и PCA, но, поскольку я откопал свои заметки, я сделал пост в блоге об этом . Очень короткая версия - OLS, где y ~ x минимизирует ошибку, перпендикулярную независимой оси, вот так (желтые линии - примеры двух ошибок):

Если бы вы регрессировали x ~ y (в отличие от y ~ x в первом примере), это минимизировало бы ошибку, подобную этой:

и PCA эффективно минимизирует ошибку, ортогональную самой модели, например:

Что еще более важно, как уже говорили другие, в ситуации, когда у вас есть ВЕСЬ ПУНКТ независимых переменных, PCA помогает вам определить, какие линейные комбинации этих переменных имеют наибольшее значение. Приведенные выше примеры просто помогают визуально представить, как выглядит первый основной компонент в действительно простом случае.

В моем сообщении в блоге у меня есть R-код для создания приведенных выше графиков и для расчета первого основного компонента. Возможно, стоит поиграть, чтобы построить свою интуицию вокруг PCA. Я , как правило, на самом деле не принадлежит что - то , пока я не пишу код , который воспроизводит его. 

Давайте сначала сделаем (2). PCA соответствует эллипсоиду данных. Эллипсоид - это многомерное обобщение искаженных сферических форм, таких как сигары, блины и яйца. Все они четко описываются направлениями и длинами их главных (полу) осей, таких как ось сигары или яйца или плоскость блина. Независимо от того, как эллипсоид повернут, собственные векторы указывают в этих главных направлениях, а собственные значения дают вам длины. Наименьшие собственные значения соответствуют наименьшим направлениям, имеющим наименьшее отклонение, поэтому игнорирование их (которое сворачивает их ровно) теряет относительно мало информации: это PCA.

(1) Помимо упрощения (см. Выше), нам нужны подробные описания, визуализация и понимание. Возможность уменьшить размеры - это хорошо : это облегчает описание данных и, если нам повезет уменьшить их до трех или менее, позволяет нам нарисовать картину. Иногда мы можем даже найти полезные способы интерпретации комбинаций данных, представленных координатами на рисунке, которые могут дать представление о совместном поведении переменных.

---

На рисунке показано несколько облаков по точек в каждом, наряду с эллипсоидами, содержащими 50% каждого облака, и осями, выровненными по основным направлениям. В первом ряду облака имеют по существу один основной компонент, составляющий 95% всей дисперсии: это формы сигар. Во втором ряду облака по существу имеют два основных компонента, один примерно в два раза больше другого, вместе составляющих 95% всей дисперсии: это блины. В третьем ряду все три основных компонента являются значительными: это формы яйца.$200$

Любое трехмерное облако точек, которое является «когерентным» в смысле отсутствия кластеров, усиков или выбросов, будет выглядеть как одно из них. Любое трехмерное облако точек - при условии, что не все точки совпадают - может быть описано на одном из этих рисунков в качестве начальной отправной точки для определения дальнейшей кластеризации или структуры.

Интуиция, которую вы развиваете из созерцания таких конфигураций, может применяться к более высоким измерениям, даже если эти измерения трудно или невозможно визуализировать.

Хм, здесь идет совершенно нематематический взгляд на PCA ...

Представьте, что вы только что открыли магазин сидра. У вас есть 50 разновидностей сидра, и вы хотите решить, как разместить их на полках, чтобы сидры с одинаковым вкусом ставились на одну полку. В сидре много разных вкусов и текстур - сладость, терпкость, горечь, дрожжевое состояние, фруктивность, прозрачность, шипучесть и т. Д. Итак, что нужно сделать, чтобы разложить бутылки по категориям, это ответить на два вопроса:

1) Какие качества наиболее важны для выявления групп сидра? Например, помогает ли классификация на основе сладости объединить ваши сидры в группы с одинаковым вкусом, чем классификация на основе фруктов?

2) Можем ли мы сократить наш список переменных, комбинируя некоторые из них? Например, существует ли на самом деле переменная, представляющая собой некоторую комбинацию «дрожжи, ясности и шипучести» и которая представляет собой действительно хорошую шкалу для классификации сортов?

По сути, это то, что делает PCA. Основными компонентами являются переменные, которые полезно объясняют вариации в наборе данных - в этом случае, которые полезны для дифференциации между группами. Каждый основной компонент является одной из ваших исходных объясняющих переменных или комбинацией некоторых из ваших исходных объясняющих переменных.

Я бы ответил «в терминах непрофессионала», сказав, что PCA стремится соответствовать прямым линиям к точкам данных (все знают, что такое прямая линия). Мы называем эти прямые «основными компонентами». Основных компонентов столько же, сколько и переменных. Первый основной компонент - это лучшая прямая линия, которую вы можете вписать в данные. Второй основной компонент - это лучшая прямая линия, которую вы можете приспособить к ошибкам первого основного компонента. Третий основной компонент - это лучшая прямая линия, которую вы можете приспособить к ошибкам первого и второго основных компонентов и т. Д. И т. Д.

Если кто-то спрашивает, что вы подразумеваете под «лучшими» или «ошибками», то это говорит о том, что они не являются «непрофессионалами», поэтому могут углубиться в некоторые технические детали, такие как перпендикулярные ошибки, не знаю, где находится ошибка x- или y-направление, более 2-х или 3-х измерений и т. д. Кроме того, если вы избегаете ссылаться на регрессию OLS (которую, вероятно, «непрофессионал» тоже не поймет), объяснение проще.

Собственные векторы и собственные значения не являются необходимыми понятиями как таковыми, скорее они оказались математическими понятиями, которые уже существовали. Когда вы решаете математическую задачу PCA, она оказывается эквивалентной нахождению собственных значений и собственных векторов ковариационной матрицы.

Я могу дать вам собственное объяснение / доказательство PCA, которое, на мой взгляд, действительно простое и элегантное и не требует ничего, кроме базовых знаний по линейной алгебре. Это вышло довольно долго, потому что я хотел писать на простом доступном языке.

Предположим, у нас есть выборок данных из n- мерного пространства. Теперь мы хотим спроецировать эти данные на несколько строк в n- мерном пространстве таким образом, чтобы сохранить как можно большую дисперсию (это означает, что дисперсия проецируемых данных должна быть настолько большой по сравнению с дисперсией исходных данных, как возможно).$M$$n$$n$

Теперь давайте заметим, что если мы переместим (переместим) все точки на некоторый вектор , дисперсия останется прежней, так как перемещение всех точек на β также изменит их среднее арифметическое на β , и дисперсия будет линейно пропорциональна ∑ M я = 1 | | х I - μ | | 2 . Следовательно, мы переводим все точки на - μ , так что их среднее арифметическое становится 0 для удобства вычислений. Обозначим переведенные точки как x ′ i = x $\beta$$\beta$$\beta$$\sum_{i=1}^M \|x_i - \mu\|^2$$-\mu$$0$$x_i' = x_i - \mu$, Давайте также заметим, что дисперсия теперь может быть выражена просто как $\sum_{i=1}^M \|x_i'\|^2$ .

Теперь о выборе линии. Мы можем описать любую линию как множество точек, которые удовлетворяют уравнению , для некоторых векторов v , w . Обратите внимание, что если мы переместим линию на некоторый вектор γ, ортогональный к v , то все проекции на линию также будут перемещены на γ , следовательно, среднее значение проекций будет перемещено на $x = \alpha v + w$$v,w$$\gamma$$v$$\gamma$$\gamma$следовательно, дисперсия проекций останется неизменной. Это означает, что мы можем перемещать линию параллельно самой себе, а не изменять дисперсию проекций на эту линию. Опять же, для удобства, давайте ограничимся только линиями, проходящими через нулевую точку (это означает линии, описываемые ).$x = \alpha v$

Хорошо, теперь предположим, что у нас есть вектор который описывает направление линии, которая является возможным кандидатом на строку, которую мы ищем. Нам нужно рассчитать дисперсию проекций на линию α v . Нам понадобятся точки проекции и их среднее значение. Из линейной алгебры известно , что в этом простом случае проекция х ' я на альфа V является ⟨ х я , v ⟩ / | | v | | 2 . Давайте теперь ограничимся только единичными векторами v . Это означает, что мы можем написать длину проекции точки $v$$\alpha v$$x_i'$$\alpha v$$\langle x_i, v\rangle/\|v\|_2$$v$ наVпросто как⟨х ' I ,v⟩.$x_i'$$v$$\langle x_i', v\rangle$

В некоторых из предыдущих ответов кто-то сказал, что PCA минимизирует сумму квадратов расстояний от выбранной линии. Теперь мы можем видеть, что это правда, потому что сумма квадратов проекций плюс сумма квадратов расстояний от выбранной линии равна сумме квадратов расстояний от точки . Максимизируя сумму квадратов проекций, мы минимизируем сумму квадратов расстояний и наоборот, но это было только вдумчивое отступление, вернемся к доказательству сейчас.$0$

Что касается среднего значения проекций, давайте заметим, что является частью некоторого ортогонального базиса нашего пространства, и что если мы спроецируем наши точки данных на каждый вектор этого базиса, их сумма будет аннулирована (это так, потому что проецирование на векторы из базиса аналогичны записи точек данных в новый ортогональный базис). Таким образом, сумма всех проекций на вектор v (назовем сумму S v ) и сумма проекций на другие векторы из базиса (назовем это S o ) равна 0, потому что это среднее значение точек данных. Но S v ортогональна S o ! Это означает, что S o = S $v$$v$$S_v$$S_o$$S_v$$S_o$$S_o = S_v = 0$ .

Таким образом, среднее значение наших прогнозов равно . $0$Ну, это удобно, потому что это означает, что дисперсия - это просто сумма квадратов длин проекций или в символах

$$\sum_{i=1}^M (x_i' \cdot v)^2 = \sum_{i=1}^M v^T \cdot x_i'^T \cdot x_i' \cdot v = v^T \cdot (\sum_{i=1}^M x_i'^T \cdot x_i) \cdot v.$$

Что ж, вдруг ковариационная матрица выскочила. Давайте обозначим его просто . Это означает, что мы сейчас ищем единичный вектор v, который максимизирует v T ⋅ X ⋅ v для некоторой полуположительной определенной матрицы $X$$v$$v^T \cdot X \cdot v$$X$ .

Теперь возьмем собственные векторы и собственные значения матрицы и обозначим их через e 1 , e 2 , … , e n и λ 1 , … , λ n соответственно, так что λ 1 ≥ λ 2 , ≥ λ 3 … . Если значения λ не дублируются, собственные векторы образуют ортонормированный базис. Если они это сделают, мы выбираем собственные векторы таким образом, что они образуют ортонормированный базис.$X$$e_1, e_2, \dots , e_n$$\lambda_1 , \dots, \lambda_n$$\lambda_1 \geq \lambda_2 , \geq \lambda_3 \dots$$\lambda$

Теперь давайте посчитаем для собственного вектора e i . Мы имеем е Т я ⋅ Х ⋅ е я = е Т я ⋅ ( λ я е я ) = λ я ( ‖ е я | | 2 ) 2 = λ я$v^T \cdot X \cdot v$$e_i$

$$e_i^T \cdot X \cdot e_i = e_i^T \cdot (\lambda_i e_i) = \lambda_i (\|e_i\|_2)^2 = \lambda_i.$$

Довольно хорошо, это дает нам для e 1 . Теперь давайте возьмем произвольный вектор $\lambda_1$$e_1$$v$ . Так как собственные векторы образуют ортогональный базис, можно записать , и мы имеем Е п I = 1 ⟨ v , е я ⟩ 2 = 1 . Обозначим через & beta ; я = ⟨ v , е я$v = \sum_{i=1}^n e_i \langle v, e_i \rangle$$\sum_{i=1}^n \langle v, e_i \rangle^2 = 1$$\beta_i = \langle v, e_i \rangle$ .

Теперь давайте посчитаем . Мы переписываем v как линейную комбинацию e i и получаем: ( n $v^T \cdot X \cdot v$$v$$e_i$

$$(\sum_{i=1}^n \beta_i e_i)^T \cdot X \cdot (\sum_{i=1}^n \beta_i e_i) = (\sum_{i=1}^n \beta_i e_i) \cdot (\sum_{i=1}^n \lambda_i \beta_i e_i) = \sum_{i=1}^n \lambda_i (\beta_i)^2 (\|e_i\|_2)^2.$$

$v^T \cdot X \cdot v = \sum_{i=1}^n \lambda_i \beta_i^2$$\beta_i ^2$$1$ .

Это означает, что дисперсия проекции является средневзвешенным значением собственных значений. Конечно, оно всегда меньше наибольшего собственного значения, поэтому это должен быть наш выбор первого вектора PCA.

$\mathrm{lin}(e_2, e_3, \dots , e_n)$$e_2$

$\sum_{i=1}^k \lambda_i / \sum_{i=1}^n \lambda_i$

$k$$k$$v_1, \dots , v_k$

$$\sum_{j=1}^k \sum_{i=1}^n \lambda_i \beta_{ij}^2 = \sum_{i=1}^n \lambda_i \gamma_i$$ $\gamma_i = \sum_{j=1}^k \beta_{ij}^2.$

Теперь давайте напишем $e_i$$v_1, \dots , v_k$$u_1, \dots, u_{n-k}$$e_i = \sum_{j=1}^k \beta_{ij} v_j + \sum_{j=1}^{n-k} \theta_j \langle e_i, u_j \rangle$$\|e_i\|_2 = 1$$\sum_{j=1}^k \beta_{ij}^2 + \sum_{j=1}^{n-k} \theta_j^2 = 1$$\gamma_i \leq 1$$i$

$\sum_{i=1}^n \lambda_i \gamma_i$$\gamma_i \leq 1$$\sum_{i=1}^n \gamma_i = k$$\sum_{i=1}^k \lambda_i$$k$

Хорошо, я попробую. Несколько месяцев назад я порылся в большом количестве литературы, чтобы найти интуитивное объяснение, которое я мог бы объяснить не статистику. Я нашел выводы, которые используют множители Лагранжа, наиболее интуитивно понятны.

Допустим, у нас есть данные больших размеров - скажем, 30 измерений, сделанных на насекомом. У жуков есть разные генотипы и немного разные физические особенности в некоторых из этих измерений, но с такими данными большого размера трудно сказать, какие насекомые принадлежат к какой группе.

PCA - это метод уменьшения размеров за счет:

1. Взятие линейных комбинаций исходных переменных.
2. Каждая линейная комбинация объясняет наибольшую разницу в данных, которые она может.
3. Каждая линейная комбинация не связана с другими

Или в математических терминах:

1. $Y_j = a_j' x$ (линейная комбинация для j-го компонента)
2. $k > j$$V(Y_k) < V(Y_j)$
3. $a_k' a_j = 0$

Поиск линейных комбинаций, удовлетворяющих этим ограничениям, приводит нас к собственным значениям. Почему?

Я рекомендую почитать книгу «Введение в многомерный анализ данных». для полной деривации (стр. 50), но основная идея состоит в том, что задачи последовательной оптимизации (максимизация дисперсии) ограничены так, что a'a = 1 для коэффициентов a (чтобы предотвратить случай когда дисперсия может быть бесконечной) и ограничена, чтобы убедиться, что коэффициенты являются ортогональными.

Это приводит к оптимизации с использованием множителей Лагранжа, что, в свою очередь, показывает, почему используются собственные значения. Мне лень его печатать (извините!) Но этот PDF довольно хорошо проходит через это доказательство.

Я бы никогда не попытался объяснить это своей бабушке, но если бы мне пришлось говорить в основном о методах уменьшения размеров, я бы указал на этот тривиальный пример проекции (не PCA). Предположим, у вас есть мобильный телефон Calder, который очень сложный. Некоторые точки в трехмерном пространстве близки друг к другу, другие нет. Если мы повесили этот мобильный телефон на потолок и осветили его под одним углом, мы получим проекцию на плоскость меньшего размера (2-я стена). Теперь, если этот мобильный в основном широкий в одном направлении, но худой в другом, мы можем повернуть его, чтобы получить проекции, которые отличаются полезностью. Интуитивно понятно, что тощая фигура в одном измерении, спроецированная на стену, менее полезна - все тени перекрываются и не дают нам много информации. Тем не менее, если мы повернем его так, свет сияет на широкой стороне, мы получаем более четкую картину данных уменьшенного размера - точки распределены больше. Это часто то, что мы хотим. Я думаю, что моя бабушка могла понять это :-)

Попытка быть нетехнической ... Представьте, что у вас есть многомерные данные, многомерное облако точек. Когда вы вычисляете ковариационную матрицу тех, кого вы фактически (а) центрируете в облаке, т.е. ставите начало координат в качестве многомерного среднего, оси системы координат теперь пересекаются в центре облака, (б) зашифровывают информацию о форме облака и как оно ориентируется в пространстве посредством вариационно-ковариационных записей. Таким образом, большая часть важной информации о форме данных в целом хранится в ковариационной матрице.

Затем вы выполняете собственное разложение этой матрицы и получаете список собственных значений и соответствующее количество собственных векторов. Теперь, первый главный компонент - это новая скрытая переменная, которая может отображаться как ось, проходящая через начало координат и ориентированная вдоль направления максимальной дисперсии (толщины) облака. Дисперсия вдоль этой оси, т. Е. Дисперсия координат всех точек на ней, равнапервое собственное значение и ориентация оси в пространстве относительно исходных осей (переменных) определяются 1-м собственным вектором: его записи - это косинусы между ним и этими исходными осями. Вышеупомянутые координаты точек данных на 1-м компоненте являются значениями 1-го главного компонента или показателями компонента; они вычисляются как произведение (центрированной) матрицы данных и собственного вектора.

«После» 1-й пр. Компонент был измерен, он, так сказать, «удален» из облака со всей дисперсией, которую он составлял, и размерность облака уменьшается на единицу. Далее все повторяется со вторым собственным значением и вторым собственным вектором - 2-й пр. компонент записывается, а затем «удаляется». И т.п.

Итак, еще раз: собственные векторы являются косинусами направления для главных компонентов, в то время как собственные значения являются величиной (дисперсией) в главных компонентах. Сумма всех собственных значений равна сумме дисперсий, которые находятся на диагонали матрицы дисперсии-ковариации. Если вы передадите «магнитную» информацию, хранящуюся в собственных значениях, в собственные векторы, чтобы добавить ее к «ориентационной» информации, хранящейся в ней, вы получите то, что называется нагрузками главных компонентов ; Эти нагрузки - потому что они несут оба типа информации - являются ковариациями между исходными переменными и основными компонентами.

Позже PS Я хочу особо подчеркнуть здесь терминологическую разницу между собственными векторами и нагрузками . Многие люди и некоторые пакеты (в том числе некоторые из них ) легко используют оба термина взаимозаменяемо. Это плохая практика, потому что объекты и их значения разные. Собственными векторами являются направляющие косинусы, угол ортогонального «вращения», которым равна PCA. Нагрузки представляют собой собственные векторы, засеянные информацией об изменчивости или величине повернутых данных. Нагрузки представляют собой коэффициенты ассоциации между компонентами и переменными, и они прямо сопоставимы с коэффициентами ассоциации, вычисленными между переменными - ковариациями, корреляциями. , на котором вы основываете свой PCA. И собственные векторы, и нагрузки одинаковы в том отношении, что они служат регрессионными коэффициентами при прогнозировании переменных по компонентам (а не наоборот! Здесь или здесь .R или другими скалярными произведениями.$^1$). Собственные векторы - это коэффициенты для прогнозирования переменных с помощью необработанных оценок компонентов. Нагрузки - это коэффициенты для прогнозирования переменных по шкалированным (нормализованным) оценкам компонентов (неудивительно: нагрузки накапливают информацию об изменчивости, следовательно, используемые компоненты должны быть лишены ее). Еще одна причина, по которой не следует смешивать собственные векторы и нагрузки, заключается в том, что некоторые другие методы уменьшения размерности, помимо PCA, такие как некоторые формы факторного анализа, вычисляют нагрузки напрямую, минуя собственные векторы. Собственные векторы являются произведением собственного разложения или разложения по сингулярному значению; некоторые формы факторного анализа не используют эти разложения и приводят к нагрузкам с другой стороны. Наконец, это нагрузки, а не собственные векторы, с помощью которых вы интерпретируете компоненты или факторы (если вам нужно интерпретировать их). Загрузка - это вклад компонента в переменную: в PCA (или факторный анализ) компонент / фактор загружается в переменную, а не наоборот. В комплексных результатах PCA следует сообщать как собственные векторы, так и нагрузки, как показано, например,

Смотрите также о нагрузках против собственных векторов.

---

$^1$

ОК, совершенно не математический ответ:

Если у вас есть куча переменных по группе предметов и вы хотите уменьшить их до меньшего числа переменных по тем же предметам, при этом теряя как можно меньше информации, то PCA - это один из инструментов для этого.

Он отличается от факторного анализа, хотя они часто дают схожие результаты, поскольку FA пытается восстановить небольшое количество скрытых переменных из большего числа наблюдаемых переменных, которые, как полагают, связаны с латентными переменными.

Проще всего делать математику в 2D.

Каждая матрица соответствует линейному преобразованию. Линейные преобразования можно визуализировать, взяв запоминающуюся фигуру на плоскости и увидев, как эта фигура искажается линейным преобразованием:

(рис .: Фланиган и Каздан )

• $\tt{shear}$ .)
• $\times 1$ )
• 
  $\langle 1 \rangle = 23\% \cdot [1] + 46\% \cdot [2] + 39\% \cdot [3]$

$f(a\cdot x+b\cdot y)=a\cdot f(x)+b \cdot f(y)$$+$$\cdot$$a$$b$$x$$y$из какого-то интересного пространства. Например :

Сам PCA является еще одним примером, наиболее знакомым для статистиков. Некоторые другие ответы, такие как Freya, дают реальные приложения PCA.

$${}$$ $\dagger$$\overset{\text{similar how?}}{\longleftarrow\!\!\!-\!\!-\!\!-\!\!-\!\!-\!\!\!\longrightarrow}$$\mathrm{x}$$42.8\% [\mathrm{x}] \oplus 57.2\% [\mathrm{y}]$

После отличного поста JD Long в этой теме я искал простой пример и код R, необходимый для создания PCA, а затем вернулся к исходным данным. Это дало мне некоторую непосредственную геометрическую интуицию, и я хочу поделиться тем, что я получил. Набор данных и код можно напрямую скопировать и вставить в R-форму Github .

Я использовал набор данных, который я нашел в Интернете по полупроводникам здесь , и я обрезал его до двух измерений - «атомный номер» и «точка плавления» - для облегчения построения графиков.

---

В качестве предостережения идея является чисто иллюстративной для вычислительного процесса: PCA используется для сокращения более чем двух переменных до нескольких производных главных компонентов или для определения коллинеарности также в случае нескольких функций. Так что это не нашло бы большого применения в случае двух переменных, и не было бы необходимости вычислять собственные векторы матриц корреляции, как указано @amoeba.

---

Далее, я сократил наблюдения с 44 до 15, чтобы облегчить задачу отслеживания отдельных точек. Конечным результатом стал каркас данных ( dat1):

compounds   atomic.no      melting.point
AIN         10             498.0
AIP         14             625.0
AIAs        23             1011.5
...         ...            ... 

Столбец «Соединения» указывает химическое строение полупроводника и играет роль названия строки.

Это может быть воспроизведено следующим образом (готово для копирования и вставки на консоли R):

dat              <- read.csv(url("http://rinterested.github.io/datasets/semiconductors"))
colnames(dat)[2] <- "atomic.no"
dat1             <- subset(dat[1:15,1:3])
row.names(dat1)  <- dat1$compounds
dat1             <- dat1[,-1]

Затем данные были масштабированы:

X <- apply(dat1, 2, function(x) (x - mean(x)) / sd(x))
# This centers data points around the mean and standardizes by dividing by SD.
# It is the equivalent to `X <- scale(dat1, center = T, scale = T)`  

Далее следуют шаги линейной алгебры:

C <- cov(X)                                           # Covariance matrix (centered data)

$\begin{bmatrix} &\text{at_no}&\text{melt_p}\\ \text{at_no}&1&0.296\\ \text{melt_p}&0.296&1 \end{bmatrix}$

Функция корреляции cor(dat1)дает те же выходные данные для немасштабированных данных, что и функция cov(X)для масштабированных данных.

lambda        <- eigen(C)$values                      # Eigenvalues
lambda_matrix <- diag(2)*eigen(C)$values              # Eigenvalues matrix

$\begin{bmatrix} &\color{purple}{\lambda_{\text{PC1}}}&\color{orange}{\lambda_{\text{PC2}}}\\ &1.296422& 0\\ &0&0.7035783 \end{bmatrix}$

e_vectors     <- eigen(C)$vectors                     # Eigenvectors

$\frac{1}{\sqrt{2}}\begin{bmatrix} &\color{purple}{\text{PC1}}&\color{orange}{\text{PC2}}\\ &1&\,\,\,\,\,1\\ &1&-1 \end{bmatrix}$

$\sim \small [-0.7,-0.7]$$\small [0.7, 0.7]$

e_vectors[,1] = - e_vectors[,1]; colnames(e_vectors) <- c("PC1","PC2")

$\small 1.2964217$$\small 0.7035783$$\small 64.8\%$eigen(C)$values[1]/sum(eigen(C)$values) * 100$\sim\small 65\%$$35.2\%$

Мы включим оба собственных вектора, учитывая небольшой размер этого примера игрушечного набора данных, понимая, что исключение одного из собственных векторов приведет к уменьшению размерности - идея PCA.

Оценка матрица была определена в качестве матрицы умножения масштабированных данных ( X) с помощью матрицы собственных векторов (или «вращений») :

score_matrix <-  X %*% e_vectors    
# Identical to the often found operation: t(t(e_vectors) %*% t(X))

X$[0.7, 0.7]^{T}$$\text{PC}\,1$$[0.7, -0.7]^{T}$$\text{PC}\,2$

$[0.7, - 0.7]$

$1$

> apply(e_vectors, 2, function(x) sum(x^2))
PC1 PC2 
  1   1 

тогда как ( нагрузки ) являются собственными векторами, масштабированными по собственным значениям (несмотря на запутанную терминологию во встроенных R-функциях, показанных ниже). Следовательно, нагрузки могут быть рассчитаны как:

> e_vectors          %*% lambda_matrix
          [,1]      [,2]
[1,] 0.9167086  0.497505
[2,] 0.9167086 -0.497505

> prcomp(X)$rotation %*% diag(princomp(covmat = C)$sd^2)
                   [,1]      [,2]
atomic.no     0.9167086  0.497505
melting.point 0.9167086 -0.497505

Интересно отметить, что повернутое облако данных (график оценки) будет иметь дисперсию по каждому компоненту (ПК), равную собственным значениям:

> apply(score_matrix, 2, function(x) var(x))
       PC1        PC2 
53829.7896   110.8414 
> lambda
[1] 53829.7896   110.8414

---

Используя встроенные функции, результаты могут быть воспроизведены:

# For the SCORE MATRIX:
  prcomp(X)$x
# or...
  princomp(X)$scores # The signs of the PC 1 column will be reversed.

# and for EIGENVECTOR MATRIX:
  prcomp(X)$rotation
# or...
  princomp(X)$loadings

# and for EIGENVALUES:
  prcomp(X)$sdev^2
# or...
  princomp(covmat = C)$sd^2

$\text{U}\Sigma \text{V}^\text{T}$) метод может быть применен для расчета PCA вручную; на самом деле, это метод, используемый в prcomp(). Шаги могут быть прописаны как:

svd_scaled_dat <-svd(scale(dat1))
eigen_vectors <- svd_scaled_dat$v
eigen_values <- (svd_scaled_dat$d/sqrt(nrow(dat1) - 1))^2
scores<-scale(dat1) %*% eigen_vectors

Результат показан ниже, во-первых, расстояния от отдельных точек до первого собственного вектора, а на втором графике - ортогональные расстояния до второго собственного вектора:

Если бы вместо этого мы построили значения матрицы оценок (ПК1 и ПК2) - больше не «точки плавления» и «atomic.no», а действительно изменение базиса координат точки с собственными векторами в качестве основы, эти расстояния были бы сохраняется, но естественно становится перпендикулярным оси XY:

Хитрость была теперь в том, чтобы восстановить исходные данные . Точки были преобразованы путем простого умножения матрицы на собственные векторы. Теперь данные были повернуты обратно путем умножения на обратную матрицу собственных векторов с результирующим заметным изменением местоположения точек данных. Например, обратите внимание на изменение розовой точки «GaN» в левом верхнем квадранте (черный кружок на левом графике внизу), возвращаясь к своей начальной позиции в левом нижнем квадранте (черный кружок на правом графике внизу).

Теперь мы наконец восстановили исходные данные в этой «развернутой» матрице:

Помимо изменения координат вращения данных в PCA, результаты должны интерпретироваться, и этот процесс имеет тенденцию включать a biplot, на котором точки данных наносятся на график относительно координат нового собственного вектора, и исходные переменные теперь накладываются как векторы. Интересно отметить эквивалентность положения точек между графиками во втором ряду приведенных выше графиков вращения («Счета с осью xy = собственные векторы») (слева на следующих графиках) и biplot(к правильно):

Наложение исходных переменных в виде красных стрелок открывает путь для интерпретации PC1вектора в направлении (или с положительной корреляцией) с обоими atomic noи melting point; и PC2в качестве компонента вдоль растущих значений, atomic noно отрицательно коррелированных с melting point, соответствующих значениям собственных векторов:

PCA$rotation
                    PC1        PC2
atomic.no     0.7071068  0.7071068
melting.point 0.7071068 -0.7071068

---

Это интерактивное руководство Виктора Пауэлла дает немедленную обратную связь об изменениях собственных векторов при изменении облака данных.

От того, кто много использовал PCA (и пытался объяснить это нескольким людям), вот пример из моей собственной области нейробиологии.

Когда мы записываем с головы человека, мы делаем это с 64 электродами. Итак, в действительности у нас есть 64 числа в списке, которые представляют напряжение, выделяемое скальпом. Теперь, когда мы записываем с точностью до микросекунды, если у нас есть 1-часовой эксперимент (часто это 4 часа), то это дает нам 1e6 * 60 ^ 2 == 3 600 000 000 временных точек, в которых напряжение записывалось на каждом электроде, так что теперь мы иметь матрицу 3 600 000 000 x 64 Поскольку основное предположение PCA заключается в том, что ваши переменные коррелируют, это отличный способ уменьшить этот нелепый объем данных до объема, который можно отследить. Как уже было сказано много раз, собственные значения представляют величину дисперсии, объясняемой переменными (столбцами). В этом случае собственное значение представляет дисперсию напряжения в конкретный момент времени, вносимую конкретным электродом. Так что теперь мы можем сказать: «О, хорошо, электродxв данный момент yмы должны сосредоточиться на дальнейшем анализе, потому что именно здесь происходит наибольшее изменение ». Надеюсь, это поможет. Любить эти регрессионные графики!

Я мог бы быть плохим человеком, чтобы ответить на это, потому что я пресловутая бабушка, которая объяснила мне эту концепцию и не намного, но здесь идет:

Предположим, у вас есть население. Большая часть населения падает смертельно от сердечных приступов. Вы пытаетесь выяснить, что вызывает сердечные приступы.

У вас есть две части данных: рост и вес.

Теперь ясно, что есть НЕКОТОРЫЕ отношения между весом и сердечными приступами, но корреляция не очень сильна. Есть тяжелые люди, у которых много сердечных приступов, но некоторые нет.

Теперь вы делаете PCA, и он говорит вам, что вес, разделенный на рост («масса тела»), является гораздо более вероятным предиктором сердечных приступов, чем вес или рост, потому что, о чудо, «реальность» заключается в том, что это масса тела, которая вызывает сердечные приступы.

По сути, вы делаете PCA, потому что вы измеряете кучу вещей, и вы на самом деле не знаете, действительно ли это основные компоненты или есть какой-то более глубокий базовый компонент, который вы не измеряли.

[Пожалуйста, не стесняйтесь редактировать это, если это полностью с базы. Я действительно не понимаю концепцию более глубоко, чем это].

Вот один для бабушки:

В нашем городе есть улицы, идущие на север и юг, некоторые - на восток и запад, а некоторые - на северо-запад и юго-восток, некоторые с северо-запада на юго-запад. Однажды парень измеряет весь трафик на всех улицах, он обнаруживает, что большая часть трафика идет по диагонали, с северо-запада на юго-восток, вторая по величине перпендикулярна этому движению с северо-востока на юго-запад, а все остальное довольно мало. Поэтому он рисует большой квадрат и ставит большую линию слева направо и говорит, что это северо-запад к юго-востоку, а затем рисует другую линию вертикально вверх и вниз через середину. Он говорит, что это второе по загруженности направление движения (от NE к SW). Остальное мало, поэтому его можно игнорировать.

Левая правая линия - это первый собственный вектор, а линия вверх и вниз - второй собственный вектор. Общее количество автомобилей, идущих влево и вправо, является первым собственным значением, а число тех, которые идут вверх и вниз, является вторым собственным значением.

Этот ответ дает интуитивное и нематематическое толкование:

PCA предоставит вам набор ортогональных векторов в многомерном облаке точек. Порядок векторов определяется информацией, передаваемой в кормовой части, проецируя все точки на векторы.

Другими словами: первый главный компонент вектора расскажет вам больше всего о облаке точек после проецирования всех точек на вектор. Это интуитивная интерпретация, конечно.

Посмотрите на этот эллипсоид (перейдите по ссылке для 3D-модели) :

Если вам необходимо выбрать один вектор, образующий одномерное подпространство, на которое будут проецироваться точки точек эллипсоидов. Какой из них вы бы выбрали, потому что он передает больше информации об оригинальном наборе в 3 измерениях?

Я предполагаю, что красный вдоль самой длинной оси. И это на самом деле рассчитанный 1-й основной компонент! Какой следующий - я бы выбрал синий вдоль следующей самой длинной оси.

Обычно вы хотите проецировать набор точек из многомерного пространства на двухмерную плоскость или в трехмерное пространство .

---

http://www.joyofdata.de/blog/illustration-of-principal-component-analysis-pca/

Хотя приведено много примеров, дающих интуитивное понимание PCA, этот факт может с трудом понять с самого начала, по крайней мере, для меня.

«Что было общего в PCA, что общего у всех этих разных примеров из разных дисциплин?»

Что помогло мне интуитивно понять, так это пара математических параллелей, поскольку очевидно, что математика - это легкая часть для вас, хотя это не помогает объяснить это вашей бабушке ...

Подумайте о проблеме регуляризации, пытаясь получить

$$|| XB - Y || = 0$$

Или на английском разбить ваши данные $Y$на две другие матрицы, которые как-то проливают свет на данные? Если эти две матрицы работают хорошо, то ошибка между ними и$Y$ не должно быть слишком много.

СПС дает вам полезную факторизацию $Y$По всем причинам, которые сказали другие люди. Это нарушает матрицу данных, которые у вас есть,$Y$вниз на две другие полезные матрицы. В этом случае,$X$ будет матрица, где столбцы являются первыми $k$ ПК, которые вы сохранили, и $B$ это матрица, дающая вам рецепт для восстановления столбцов матрицы $Y$ используя столбцы $X$, $B$ это первый $k$ ряды $S$и все $V$транспонирование. Собственные значения на диагонали$S$в основном, вес, какие компьютеры являются наиболее важными. Вот как математика прямо говорит вам, какие компьютеры являются наиболее важными: каждый из них взвешивается по своим собственным значениям. Тогда матрица$V^\mathrm{T}$ рассказывает ПК как совмещать

Я думаю, что люди привели много интуитивных примеров, поэтому я просто хотел поделиться этим. Это помогло мне понять, как это работает. Существует множество интересных алгоритмов и методов, которые делают вещи, подобные PCA. Разреженное кодирование - это подполе машинного обучения, которое все о матрице факторинга$A$ на две другие полезные и интересные, которые отражают закономерности в $A$,

Вот математический ответ: первый главный компонент - самое длинное измерение данных. Посмотрите на это и спросите: где самые широкие данные? Это первый компонент. Следующий компонент - перпендикуляр. Таким образом, сигара данных имеет длину и ширину. Это имеет смысл для всего, что является продолговатым.

Я понимаю, что основные компоненты таковы: данные с несколькими переменными (рост, вес, возраст, температура, длина волны, процент выживания и т. Д.) Могут быть представлены в трех измерениях для построения взаимосвязи.

Теперь, если вы хотите как-то разобраться в «трехмерных данных», вы можете узнать, какие 2D-плоскости (сечения) этих трехмерных данных содержат наибольшую информацию для данного набора переменных. Эти 2D плоскости являются основными компонентами, которые содержат пропорции каждой переменной.

Думайте о главных компонентах как о самих переменных, с составными характеристиками из исходных переменных (эту новую переменную можно охарактеризовать как вес тела, рост, возраст и т. Д.). Когда вы наносите один главный компонент (X) на другой (Y), вы строите 2D-карту, которая может геометрически описывать корреляции между исходными переменными. Теперь полезная часть: поскольку каждый сравниваемый объект (наблюдение) связан со значениями для каждой переменной, субъекты (наблюдения) также находятся где-то на этой карте XY. Их расположение основано на относительном вкладе каждой базовой переменной (т.е. одно наблюдение может сильно зависеть от возраста и температуры, в то время как другое может в большей степени зависеть от роста и веса).

Во второй части я дам нематематический ответ и более детальный взгляд на мотивацию через математику.

---

Non-Mathy:

Нематематическое объяснение состоит в том, что PCA помогает для данных большого размера, позволяя вам видеть, в каких направлениях ваши данные имеют наибольшую дисперсию. Эти направления являются основными компонентами . Получив эту информацию, вы можете в некоторых случаях принять решение об использовании основных компонентов в качестве самих значимых переменных и значительно уменьшить размерность ваших данных, сохраняя только основные компоненты с наибольшей дисперсией ( объяснительная сила ).

Например, предположим, что вы раздаете анкету для политического опроса с 30 вопросами, на каждый из которых может быть дан ответ от 1 ( категорически не согласен ) до 5 ( полностью согласен ). Вы получаете тонны ответов, и теперь у вас есть 30-мерные данные, и вы не можете сделать из них головы или хвосты. Затем в отчаянии вы думаете запустить PCA и обнаружить, что 90% вашей дисперсии происходит в одном направлении, и это направление не соответствует ни одной из ваших осей. После дальнейшей проверки данных вы затем заключаете, что эта новая гибридная ось соответствует политическому лево-правому спектру, то есть демократическому / республиканскому спектру, и приступаете к рассмотрению более тонких аспектов в данных.

---

Mathy:

Иногда помогает уменьшить масштаб и взглянуть на математическую мотивацию, чтобы пролить свет на смысл.

Существует специальное семейство матриц, которые можно преобразовать в диагональные матрицы, просто изменив свою координатную ось. Естественно, они называются диагонализируемыми матрицами и, достаточно элегантно, новые координатные оси, необходимые для этого, действительно являются собственными векторами.

Как оказалось, ковариационная матрица симметрична и всегда будет диагонализируемой ! В этом случае собственные векторы называются главными компонентами, и когда вы выписываете ковариационную матрицу в координатах собственных векторов, диагональные элементы (оставшиеся единственными) соответствуют дисперсии в направлении ваших собственных векторов. Это позволяет нам знать, какие направления имеют наибольшее расхождение. Более того, поскольку ковариационная матрица диагональна в этих координатах, вы ловко устранили все корреляции между вашими переменными.

Как это часто бывает в практических приложениях, мы предполагаем, что наши переменные обычно распределены, и поэтому вполне естественно попытаться изменить наши координаты, чтобы увидеть простейшую картину. Зная ваши основные компоненты и соответствующие им собственные значения (дисперсию), вы сможете уменьшить размерность ваших данных, если это необходимо, а также получить краткую общую информацию о том, где находятся различия в ваших данных.

Но в конце концов, корень всего этого желательности исходит из того , что диагональные матрицы являются способом легче иметь дело с по сравнению с их Мессье, более общих родственников.

Я рассматриваю PCA как геометрический инструмент. Если вам дано множество точек в 3-мерном пространстве, которые в значительной степени расположены на прямой линии, и вы хотите выяснить уравнение этой линии, вы получите его через PCA (возьмите первый компонент). Если у вас есть группа точек в трехмерном пространстве, которые в основном плоские, и вы хотите узнать уравнение этой плоскости, сделайте это через PCA (возьмите наименьший значимый компонентный вектор, и он должен быть нормальным к плоскости).

Почему так собственные значения / собственные векторы?

При выполнении PCA вы хотите вычислить некоторый ортогональный базис путем максимизации прогнозируемой дисперсии для каждого базисного вектора.

Вычислив предыдущие базисные векторы, вы хотите, чтобы следующий был:

• ортогонально предыдущему
• норма 1
• максимизация прогнозируемой дисперсии, т.е. с максимальной нормой ковариации

Это ограниченная задача оптимизации, и множители Лагранжа (здесь для геометрической интуиции, см. Страницу википедии) говорят вам, что градиенты цели (прогнозируемая дисперсия) и ограничения (единичная норма) должны быть "параллельными" в оптимуме.

Это то же самое, что сказать, что следующий базисный вектор должен быть собственным вектором ковариационной матрицы. Лучший выбор на каждом шаге - выбрать тот, который имеет наибольшее собственное значение среди оставшихся.

По сути, PCA находит новые переменные, которые представляют собой линейные комбинации исходных переменных, так что в новом пространстве данные имеют меньше измерений. Представьте себе набор данных, состоящий из точек в трех измерениях на поверхности плоской пластины, удерживаемой под углом. В исходных осях x, y, z вам нужно 3 измерения для представления данных, но при правильном линейном преобразовании вам нужно только 2.

В основном то, что сказал @Joel, но только линейные комбинации входных переменных.

Некоторое время назад я попытался понять этот алгоритм PCA, и я хотел сделать заметку о собственных векторах и собственных значениях. В этом документе указывалось, что целью электромобилей является преобразование модели большого размера в модель очень малого размера.

Например, вместо того, чтобы строить сначала полноразмерный мост, а затем проводить на нем эксперименты и тесты, можно использовать электромобили для создания моста очень маленького размера, где все факторы / величины будут уменьшены с одинаковым запасом и, кроме того, фактический результат испытаний и стресс-тестов, проведенных на нем, может быть рассчитан и увеличен соответствующим образом в соответствии с необходимостью для исходной модели. В некотором смысле электромобили помогают создавать рефераты оригинала .

Для меня это объяснение имело глубокий смысл для того, что я пытался сделать! Надеюсь, это вам тоже поможет!

Представьте себе, что бабушка только что сделала свои первые фотографии и фильмы на цифровую камеру, которую вы подарили ей на Рождество, к сожалению, она опускает правую руку, нажимая на кнопку для фотографий, и во время кино тоже сильно трясется. Она замечает, что люди, деревья, заборы, здания, дверные проемы, мебель и т. Д. Не являются прямыми вверх и вниз, не вертикальны, а пол, земля, море и горизонт не очень горизонтальны, и фильмы тоже довольно шаткие. Она спрашивает, не могли бы вы помочь ей исправить их, все 3000 фотографий с отпуска и около 100 видеороликов дома и на пляже (она австралийка), открывая подарки, гуляя по стране. У нее есть это программное обеспечение для фотографий, которое позволяет вам делать то, что она говорит. Вы говорите ей, что это займет дни, и все равно не будет работать над видео, но вы знаете методы, называемые PCA и ICA, которые могут помочь. Вы объясняете, что ваше исследование на самом деле включает в себя именно такой вид поворота данных в естественные измерения, что эти методы находят наиболее важные направления в данных, в данном случае фотографии, и вращаются таким образом, что наиболее важным является горизонтальный, второй является вертикальным (и это может даже продолжаться для большего количества измерений, которые мы не можем вообразить очень хорошо, хотя время - также измерение в фильмах).

-

Техническая информация Фактически, вы, вероятно, могли бы заработать свою докторскую степень, сделав это для нее, и есть важная статья Белла и Сейновского (1997) о независимых компонентах изображений, соответствующих краям. Чтобы связать это с PCA: ICA использует PCA или SVD в качестве первого шага для уменьшения размерности и начальных приближений, но затем улучшает их, что учитывает не только ошибку второго порядка (SSE), такую ​​как PCA, но и ошибки высокого порядка - если это правда ICA, все высшие порядки, хотя многие алгоритмы ограничиваются 3-м или 4-м. На компоненты PCA низкого порядка действительно сильно влияют горизонтали и вертикали. Работа с движением камеры для фильмов также может использовать PCA / ICA. Как для 2D-фотографий, так и для 2½D-фильмов вам понадобится несколько изобразительных приемов для достижения этой цели.

Еще одно приложение, которое вы могли бы объяснить бабушке, - это собственные лица - собственные векторы высшего порядка могут аппроксимировать «7 основных эмоций» (среднее лицо для каждого из них и «масштабированное вращение» или линейную комбинацию для выполнения этого усреднения), но часто мы находим компоненты, которые связаны с полом и расой, а некоторые могут отличать людей или отдельные черты лица (очки, борода и т. д.). Это то, что происходит, если у вас мало фотографий какого-то одного человека и много эмоций / выражений, но вы получаете другой уклон, если у вас много лиц с нейтральными выражениями. Использование ICA вместо PCA на самом деле не очень помогает для основных эмоций, но Бартлетт и Сейновсики (1997) показали, что нашли полезные функции для распознавания лиц.

Я думаю, что все начинают объяснять PCA не с того конца: с собственных векторов. Мой ответ начинается в правильном месте: система координат. Собственные векторы и общая проблема в целом являются математическим инструментом, который используется для решения реальной проблемы, которая является неправильной системой координат. Я объясню.

Давайте начнем со строки. Что такое линия? Это одномерный объект. Таким образом, вам нужно только одно измерение для перемещения из одной точки в другую. На плоскости, хотя вы прикрепляете две координаты к любой точке линии. Это связано с тем, что по отношению к самой линии система координат выбирается произвольно. Я бы сказал, что система координат не отражает внутреннюю одномерную природу линии. Если бы только я всегда помещал начало координат своей декартовой системы координат на линию и поворачивал ее так, чтобы ее ось x была на линии, то мне больше не понадобилась бы ось y! Все мои точки находятся на одной оси, потому что линия - это одномерный объект.

Вот где должны начаться объяснения PCA. Собственная задача - это инструмент, который выполняет вращение, которое я описал, а де-значение переменных помещает начало координат в строку. PCA помогает выявить истинные размеры данных, пока отношения между переменными являются линейными .

Помните, что собственный вектор - это вектор, преобразование которого параллельно тому же входному вектору. Таким образом, собственный вектор с высоким собственным значением означает, что собственный вектор имеет высокую степень «параллельности» данным, что означает, что вы можете представлять данные только этим вектором и ожидать низкую ошибку в новом представлении. Если вы выберете дополнительные собственные векторы с более низкими собственными значениями, вы сможете представить более подробную информацию о данных, потому что вы будете представлять другие «параллели» - которые не так заметны, как первые, из-за более низких собственных значений.

PCA в основном представляет собой проекцию пространства более высокого измерения в пространство более низкого измерения, сохраняя при этом как можно больше информации.

Я написал сообщение в блоге, где я объясняю PCA через проектирование 3D-чайника ...

... на 2D-плоскость, сохраняя как можно больше информации:

Подробности и полный R-код можно найти в посте:
http://blog.ephorie.de/intuition-for-principal-component-analysis-pca

Возможно, поздно в этих анализах подразумевается предположение, что данные из группы I отличаются от группы II, и каждый пытается найти, какой компонент, вероятно, будет основным фактором, способствующим разнице.

Выполнение анализа PCA, которое приводит к идентичным эллипсоидам для 2 разных наборов, затем показывает, что эти два набора не отличаются ни по одному из измеренных вами параметров.