Я видел и наслаждался вопросом « Осмысление анализа главных компонентов» , и теперь у меня такой же вопрос для анализа независимых компонентов. Я имею в виду, я хочу задать всеобъемлющий вопрос об интуитивных способах понимания ICA?

Я хочу это понять . Я хочу получить цель этого. Я хочу почувствовать это. Я твердо верю, что:

Вы действительно не понимаете что-то, если не можете объяснить это своей бабушке.
-- Альберт Эйнштейн

Ну, я не могу объяснить эту концепцию непрофессионалу или бабушке

1. Почему МКА? В чем была необходимость этой концепции?
2. Как бы вы объяснили это непрофессионалу?

Вот моя попытка.

Фон

Рассмотрим следующие два случая.

1. Вы частный глаз на вечеринке. Внезапно вы видите, что кто-то из ваших старых клиентов разговаривает с кем-то, и вы можете услышать некоторые слова, но не совсем, потому что вы также слышите, что кто-то рядом с ним участвует в несвязанной дискуссии о спорте. Вы не хотите подходить ближе - он заметит вас. Вы решаете взять телефон своего партнера (который занят убеждением бармена в безалкогольном пиве, это здорово) и поставить его на расстоянии около 10 метров рядом с вами. Телефон записывает, и телефон также записывает разговор старого клиента и вмешивающегося спортивного парня. Вы берете свой собственный телефон и начинаете запись, откуда вы стоите. Примерно через 15 минут вы возвращаетесь домой с двумя записями: одна с вашего места, а другая с расстояния около 10 метров. Обе записи содержат ваш старый клиент и мистер Sporty,
2. Вы фотографируете симпатичную собаку лабрадора, которую видите за окном. Вы просматриваете изображение, и, к сожалению, вы видите отражение от окна, которое находится между вами и собакой. Вы не можете открыть окно (это одно из тех, да), и вы не можете выйти на улицу, потому что боитесь, что он убежит. Таким образом, вы берете (по какой-то непонятной причине) другое изображение из немного другой позиции. Вы по-прежнему видите отражение и собаку, но теперь они находятся в разных положениях, поскольку вы делаете снимок из другого места. Также обратите внимание, что положение изменилось равномерно для каждого пикселя в изображении, потому что окно плоское и не вогнутое / выпуклое.

В обоих случаях вопрос состоит в том, как восстановить разговор (в 1.) или изображение собаки (в 2.), учитывая два изображения, которые содержат одинаковые два «источника», но с немного отличающимися относительными вкладами каждого из них. , Конечно, мой образованный внук может понять это!

Интуитивное решение

Как мы можем, по крайней мере, в принципе, вернуть образ собаки из смеси? Каждый пиксель содержит значения, которые являются суммой двух значений! Что ж, если бы каждый пиксель был представлен без каких-либо других пикселей, наша интуиция была бы правильной - мы не смогли бы угадать точные относительные вклады каждого из пикселей.

Однако нам дается набор пикселей (или точек времени в случае записи), которые, как мы знаем, имеют те же отношения. Например, если на первом изображении собака всегда в два раза сильнее, чем отражение, а на втором изображении это как раз наоборот, тогда мы могли бы получить правильный вклад в конце концов. И тогда мы можем придумать правильный способ вычесть два изображения под рукой, чтобы отражение было точно отменено! [Математически это означает поиск матрицы обратной смеси.]

Погружаясь в детали

Допустим, у вас есть смесь двух сигналов:

и скажем, вы хотите получить обратно как функцию двух смесей, . И давайте также предположим, что вам нужна линейная комбинация: . Итак, все, что вам нужно сделать, это найти лучший вектор и вот он у вас. Аналогично для и .$S_1$$Y_1,Y_2$$S_1=b_{11} Y_1 + b_{12} Y_2$$(b_{11},b_{12})$$S_2$$(b_{21},b_{22})$

Но как вы можете найти его для общих сигналов? они могут выглядеть одинаково, иметь похожую статистику и т. д. Итак, давайте предположим, что они независимы. Это разумно, если у вас есть мешающий сигнал, такой как шум, или если два сигнала являются изображениями, мешающий сигнал может быть отражением чего-то другого (и вы взяли два изображения под разными углами).

Теперь мы знаем, что и являются зависимыми. Поскольку мы не можем точно восстановить , обозначим нашу оценку для этих сигналов как соответственно.Y 2 S 1 , S 2 X 1 , X $Y_1$$Y_2$$S_1,S_2$$X_1,X_2$

Как мы можем сделать как можно ближе к ? Поскольку мы знаем, что последние независимы, мы могли бы сделать настолько независимыми, насколько это возможно, путем перемешивания со значениями . В конце концов, если матрица обратима, мы можем найти некоторую матрицу которая инвертирует операцию микширования (и если она не обратима, мы можем приблизиться), и если мы делаем их независимыми, у нас есть все шансы восстановить наши сигналы .S 1 , S 2 X 1 , X 2 b i j { a i j } { b i j } S $X_1,X_2$$S_1,S_2$$X_1,X_2$$b_{ij}$$\{a_{ij}\}$$\{b_{ij}\}$$S_i$

Если вы уверены, что нам нужно найти такой который делает независимым, теперь нам нужно спросить, как это сделать.X 1 , X $\{b_{ij}\}$$X_1,X_2$

Итак, сначала рассмотрим это: если мы суммируем несколько независимых негауссовых сигналов, мы получим сумму «более гауссовской», чем компоненты. Почему? из-за центральной предельной теоремы, и вы также можете думать о плотности суммы двух индеп. переменные, которая является сверткой плотностей. Если мы суммируем несколько индеп. Для переменных Бернулли эмпирическое распределение будет все больше напоминать форму Гаусса. Будет ли это настоящий гауссиан? вероятно, нет (не каламбур), но мы можем измерить гауссовость сигнала по величине, которая напоминает гауссово распределение. Например, мы можем измерить его избыточный эксцесс. Если он действительно высокий, то он, вероятно, менее гауссовский, чем с той же дисперсией, но с избыточным эксцессом, близким к нулю.

Поэтому, если бы мы нашли весы смешивания, мы могли бы попытаться найти , сформулировав задачу оптимизации, которая на каждой итерации делает вектор немного менее гауссовским. Имейте в виду, что это не может быть действительно гауссовским на любом этапе, но мы просто хотим уменьшить гауссовость. Надеюсь, наконец, и если мы не застрянем в локальных минимумах, мы получим матрицу обратного микширования и получим нашу неопределенность. сигналы назад.X 1 , X 2 { b i j$\{b_{ij}\}$$X_1,X_2$$\{b_{ij}\}$

Конечно, это добавляет еще одно предположение - для начала оба сигнала должны быть негауссовыми.

Очень просто. Представьте, что вы, ваша бабушка и члены семьи собрались за столом. Большие группы людей, как правило, распадаются там, где тема чата специфична для этой подгруппы. Твоя бабушка сидит там и слышит шум всех людей, говорящих, что кажется просто какофонией. Если она обращается к одной группе, она может четко изолировать дискуссии в подростковой / молодежной группе, если она обращается к другой группе, она может изолировать чат взрослых людей.

Подводя итог, можно сказать, что ICA - это выделение или извлечение определенного сигнала (говорящий один человек или группа людей) из смеси сигналов (говорение в толпе).