Объяснение расстояния Махаланобиса снизу вверх?

Я изучаю распознавание образов и статистику, и почти в каждой книге, которую я открываю на эту тему, я сталкиваюсь с концепцией расстояния Махаланобиса . Книги дают интуитивно понятные объяснения, но все еще недостаточно хороши для того, чтобы я действительно мог понять, что происходит. Если бы кто-то спросил меня: «Каково расстояние Махаланобиса?» Я мог только ответить: «Это такая хорошая вещь, которая измеряет расстояние какой-то» :)

Определения, как правило, также содержат собственные векторы и собственные значения, с которыми у меня возникают небольшие проблемы при подключении к расстоянию Махаланобиса. Я понимаю определение собственных векторов и собственных значений, но как они связаны с расстоянием Махаланобиса? Это как-то связано с изменением базы в линейной алгебре и т. Д.?

Я также прочитал эти бывшие вопросы по этому вопросу:

• Что такое расстояние Махаланобиса и как оно используется в распознавании образов?

• Интуитивное объяснение функции распределения Гаусса и расстояния Махаланобиса (Math.SE)

Я также прочитал это объяснение .

Ответы хороши и фотографии хорошо, но все - таки я не очень понимаю ... У меня есть идея , но она по - прежнему в темноте. Может ли кто-нибудь дать объяснение «Как бы вы объяснили это своей бабушке», чтобы я мог наконец закончить это и никогда больше не задаваться вопросом, какого черта расстояние Махаланобиса? :) Откуда это взялось, что, почему?

ОБНОВИТЬ:

Вот что помогает понять формулу Махаланобиса:

https://math.stackexchange.com/questions/428064/distance-of-a-test-point-from-the-center-of-an-ellipsoid

Вот диаграмма рассеяния некоторых многомерных данных (в двух измерениях):

Что мы можем сделать из этого, когда оси не учтены?

Введите координаты, которые предлагаются самими данными.

Начало координат будет в центре тяжести точек (точки их средних значений). Первый координатная ось (синяя на следующем рисунке) будет проходить вдоль «позвоночника» точек, которые (по определению) являются любым направлением , в котором дисперсия является наибольшей. Вторая ось координат (красный на рисунке) будет распространяться перпендикулярно по отношению к первой. (В более чем двух измерениях оно будет выбрано в том перпендикулярном направлении, в котором дисперсия настолько велика, насколько это возможно, и т. Д.)

Нам нужен масштаб . Стандартное отклонение по каждой оси хорошо подходит для определения единиц по осям. Помните правило 68-95-99.7: около двух третей (68%) точек должны находиться в пределах одной единицы от начала координат (вдоль оси); около 95% должно быть в пределах двух единиц. Это облегчает поиск правильных единиц измерения. Для справки этот рисунок включает в себя круг единиц в этих единицах:

Это не похоже на круг, не так ли? Это потому, что эта картина искажена (о чем свидетельствуют различные расстояния между числами на двух осях). Давайте перерисоваем его с осями в их правильной ориентации - слева направо и снизу вверх - и с соотношением сторон, чтобы одна единица по горизонтали действительно равнялась одной по вертикали:

Вы измеряете расстояние Махаланобиса в этой картине, а не в оригинале.

Что здесь случилось? Мы позволим данным сказать нам, как построить систему координат для проведения измерений на диаграмме рассеяния. Вот и все. Хотя по пути у нас было несколько вариантов (мы всегда могли повернуть одну или обе оси в обратном направлении, а в редких случаях направления вдоль «шипов» - основные направления - не уникальны), они не изменяют расстояния в финальном сюжете.

---

Технические комментарии

(Не для бабушки, которая, вероятно, начала терять интерес, как только числа появились на графиках, но чтобы ответить на оставшиеся вопросы, которые были заданы.)

• Единичные векторы вдоль новых осей являются собственными векторами (либо ковариационной матрицы, либо ее обратной).

• Мы отметили, что неискажая эллипс, чтобы сделать круг, делит расстояние вдоль каждого собственного вектора на стандартное отклонение: квадратный корень из ковариации. Если обозначает функцию ковариации, то новое (махаланобисовое) расстояние между двумя точками и - это расстояние от до деленное на квадратный корень из . Соответствующие алгебраические операции, рассматривающие теперь с точки зрения его представления в виде матрицы и и с точки зрения их представления в качестве векторов, записываются в виде . Это работаетx y x y C ( x - y , x - y ) C x y $C$$x$$y$$x$$y$$C(x-y, x-y)$$C$$x$$y$$\sqrt{(x-y)'C^{-1}(x-y)}$независимо от того, какой базис используется для представления векторов и матриц. В частности, это правильная формула для расстояния Махаланобиса в исходных координатах.

• Величины, на которые оси расширяются на последнем шаге, представляют собой (квадратные корни) собственных значений обратной ковариационной матрицы. Эквивалентно, оси сжимаются (корнями) собственных значений ковариационной матрицы. Таким образом, чем больше разброс, тем больше сокращение, необходимое для преобразования этого эллипса в круг.

• Хотя эта процедура всегда работает с любым набором данных, она выглядит так (классическое футбольное облако) для данных, которые приблизительно многомерны. В других случаях, точка усреднения может не быть хорошим представлением центра данных, или «шипы» (общие тренды в данных) не будут точно определены с использованием дисперсии в качестве меры разброса.

• Смещение начала координат, вращение и расширение осей в совокупности образуют аффинное преобразование. Помимо этого начального сдвига, это изменение базиса от исходного (с использованием единичных векторов, указывающих в положительных направлениях координат) на новый (с использованием выбора единичных собственных векторов).

• Существует тесная связь с анализом основных компонентов (PCA) . Одно это в значительной степени объясняет вопросы «откуда это» и «почему» - если вы еще не были убеждены в элегантности и полезности того, что данные позволяют определять координаты, которые вы используете для их описания, и измерять их различия.

• Для многомерных нормальных распределений (где мы можем выполнить ту же конструкцию, используя свойства плотности вероятности вместо аналогичных свойств облака точек), расстояние Махаланобиса (до нового источника) появляется вместо « » в выражении , характеризующий плотность вероятности стандартного нормального распределения. Таким образом, в новых координатах многомерное нормальное распределение выглядит стандартным нормальнымexp ( - $x$$\exp(-\frac{1}{2} x^2)$когда проецируется на любую линию через начало координат. В частности, это стандартный Normal в каждой из новых координат. С этой точки зрения, единственный существенный смысл, в котором многомерные нормальные распределения различаются между собой, заключается в том, сколько измерений они используют. (Обратите внимание, что это число измерений может быть, а иногда и меньше, чем номинальное количество измерений.)

Моя бабушка готовит. Твой мог бы тоже. Кулинария - вкусный способ научить статистике.

Тыквенное печенье Habanero просто потрясающее! Подумайте о том, насколько чудесными могут быть корица и имбирь в рождественских угощениях, а затем осознайте, насколько они горячие сами по себе.

Ингредиенты:

• перец хабанеро (10 штук, мелко нарезанный)
• сахар (1,5 стакана)
• сливочное масло (1 стакан)
• экстракт ванили (1 чайная ложка)
• яйца (2 средних)
• мука (2,75 чашки)
• пищевая сода (1 чайная ложка)
• соль (1 чайная ложка)

Представьте, что ваши оси координат для вашего домена являются объемами ингредиентов. Сахар. Мучной. Поваренная соль. Пищевая сода. Изменения в этих направлениях, при прочих равных условиях, почти не влияют на качество вкуса, как изменение количества перца хабанеро. 10% -ное изменение муки или масла сделает его менее значительным, но не убийственным. Добавление небольшого количества хабанеро приведет вас к утонченному вкусу от захватывающего десерта до болевого контеста на основе тестостерона.

Махаланобис - это не столько расстояние в «объемах ингредиентов», сколько расстояние от «лучшего вкуса». Действительно «мощные» ингредиенты, очень чувствительные к вариациям, - это те, которые вы должны наиболее тщательно контролировать.

Если вы думаете о каком-либо распределении Гаусса по сравнению со стандартным нормальным распределением, в чем разница? Центр и шкала основаны на центральной тенденции (среднее значение) и тенденции изменения (стандартное отклонение). Одним является преобразование координат другого. Махаланобис - это трансформация. Он показывает вам, как выглядит мир, если ваше распределение интересов было пересчитано как стандартное нормальное значение вместо гауссовского.

$d(x,y)=\sqrt{\langle x,y \rangle}$$x$$y$$\mathbb R^{n}$$x$$y$$X$

$x$$y$

$x$$C$

Собирая вышеупомянутые идеи, мы достигаем вполне естественно

$$D(x,y)=\sqrt{(x-y)\,C^{-1}(x-y)}$$

$X_i$$X=(X_1,\dots,X_n)$$C_{ij}=\delta_{ij}$$X_i$$Var(X_i)=1$$D(x,y)$ $x$$y$$C(x,y)$

Давайте рассмотрим случай двух переменных. Видя эту картину двумерного нормального (спасибо @whuber), вы не можете просто утверждать, что AB больше, чем AC. Существует положительная ковариация; две переменные связаны друг с другом.

Вы можете применять простые евклидовы измерения (прямые линии, такие как AB и AC), только если переменные

1. независимый
2. иметь дисперсии, равные 1.

По сути, мера расстояния Махаланобиса делает следующее: она преобразует переменные в некоррелированные переменные с дисперсией, равной 1, а затем вычисляет простое евклидово расстояние.

Я постараюсь объяснить вам как можно проще:

Расстояние Махаланобиса измеряет расстояние от точки x до распределения данных. Распределение данных характеризуется средним значением и ковариационной матрицей, поэтому предполагается, что это многовариантный гауссов.

Он используется в распознавании образов как мера сходства между образцом (распределение данных обучающего примера класса) и тестовым примером. Ковариационная матрица дает форму распределения данных в пространстве признаков.

На рисунке обозначены три разных класса, а красная линия показывает одинаковое расстояние Махаланобиса для каждого класса. Все точки, лежащие на красной линии, имеют одинаковое расстояние от среднего значения класса, поскольку используется ковариационная матрица.

Ключевой особенностью является использование ковариации в качестве фактора нормализации.

Я хотел бы добавить немного технической информации к отличному ответу Уубер. Эта информация может не интересовать бабушку, но, возможно, ее внук сочтет ее полезной. Ниже приводится пояснительное объяснение соответствующей линейной алгебры.

$d(x,y)=\sqrt{(x-y)^T\Sigma^{-1}(x-y)}$$\Sigma$$\Sigma$$\Sigma$$\Sigma=Q^TDQ$$\Sigma^{-1}=QD^{-\frac{1}{2}}D^{-\frac{1}{2}}Q^T$$d(x,y)=\sqrt{\left[(x-y)^TQ\right]D^{-\frac{1}{2}}D^{-\frac{1}{2}}\left[Q^T(x-y)\right]}=\sqrt{z^Tz}$$Q$$(x-y)$$D^{-\frac{1}{2}}$$D^{-\frac{1}{2}}$$D^{-1}$$z^Tz$

Я мог бы немного опоздать на ответ на этот вопрос. Эта статья в здесь является хорошим началом для понимания расстояния Махаланобиса. Они предоставляют полный пример с числовыми значениями. Что мне нравится в этом, так это геометрическое представление проблемы.

Просто чтобы добавить к превосходным объяснениям выше, расстояние Махаланобиса естественным образом возникает в (многомерной) линейной регрессии. Это простое следствие некоторых связей между расстоянием Махаланобиса и гауссовским распределением, которые обсуждались в других ответах, но я думаю, что в любом случае это стоит разъяснить.

$(x_1, y_1), \ldots, (x_N, y_N)$$x_i \in \mathbb{R}^n$$y_i \in \mathbb{R}^m$$\beta_0 \in \mathbb{R}^m$$\beta_1 \in \mathbb{R}^{m \times n}$$y_i = \beta_0 + \beta_1 x_i + \epsilon_i$$\epsilon_1, \ldots, \epsilon_N$$m$$0$$C$$x_i$$y_i$$x_i$$\beta_0 + \beta_1 x_i$$C$

$y_i$$x_i$$\beta = (\beta_0, \beta_1)$

$$\begin{equation} -\log p(y_i \mid x_i; \beta) = \frac{m}{2} \log (2\pi\det C) + \frac{1}{2} (y_i - (\beta_0 + \beta_1 x_i))^\top C^{-1} (y_i - (\beta_0 + \beta x_i)). \end{equation}$$ $C$ $$\begin{equation} \operatorname{argmin}_\beta [-\log p(y_i \mid x_i; \beta)] = \operatorname{argmin}_\beta D_C(\beta_0 + \beta_1 x_i, y_i), \end{equation}$$ $$\begin{equation} D_C(\hat y, y) = \sqrt{(y - \hat y)^\top C^{-1} (y - \hat y)} \end{equation}$$ $\hat y, y \in \mathbb{R}^m$

В силу независимости логарифмическая вероятность из заданная задается суммой Следовательно, где фактор не влияет на argmin.$\log p({\bf y} \mid {\bf x}; \beta)$${\bf y} = (y_1, \ldots, y_N)$${\bf x} = (x_1, \ldots, x_N)$

$$\begin{equation} \log p({\bf y} \mid {\bf x}; \beta) = \sum_{i=1}^N \log p(y_i \mid x_i; \beta) \end{equation}$$ $$\begin{equation} \operatorname{argmin}_\beta [-\log p({\bf y} \mid {\bf x}; \beta)] = \operatorname{argmin}_\beta \frac{1}{N} \sum_{i=1}^N D_C(\beta_0 + \beta_1 x_i, y_i), \end{equation}$$ $1/N$

Таким образом, коэффициенты которые минимизируют отрицательное логарифмическое правдоподобие (т. Максимизируют вероятность) наблюдаемых данных, также минимизируют эмпирический риск данных с функцией потерь, определяемой расстоянием Махаланобиса.$\beta_0, \beta_1$

Расстояние Махаланобиса - это евклидово расстояние (естественное расстояние), которое учитывает ковариацию данных. Он придает больший вес шумному компоненту и поэтому очень полезен для проверки сходства между двумя наборами данных.

Как вы можете видеть в своем примере здесь, когда переменные коррелируют, распределение смещается в одном направлении. Вы можете удалить этот эффект. Если вы учитываете корреляцию на своем расстоянии, вы можете удалить эффект сдвига.