Как рассчитать вес критерия Фишера?

Я изучаю распознавание образов и машинное обучение, и я столкнулся со следующим вопросом.

Рассмотрим задачу классификации двух классов с равной вероятностью предшествующего класса

$$P(D_1)=P(D_2)= \frac{1}{2}$$

и распределение экземпляров в каждом классе, заданное

$$p(x|D_1)= {\cal N} \left( \begin{bmatrix} 0 \\0 \end{bmatrix}, \begin{bmatrix} 2 & 0 \\ 0 & 1 \end{bmatrix} \right),$$

$$p(x|D_2)= {\cal N} \left( \begin{bmatrix} 4 \\ 4 \end{bmatrix}, \begin{bmatrix} 1 & 0 \\ 0 & 1 \end{bmatrix} \right).$$

Как рассчитать вес критерия Фишера?

Обновление 2: Расчетный вес, предоставленный моей книгой: .$W=\begin{bmatrix} \frac{-4}{3} \\ \frac{-2}{9} \end{bmatrix}$

Обновление 3: Как намекнул @xeon, я понимаю, что должен определить линию проекции дискриминанта Фишера.

Обновление 4: Пусть будет направлением проекционной линии, тогда метод линейного дискриминанта Фишера находит, что наилучшим является тот, для которого функция критерия максимизирована. Оставшаяся проблема заключается в том, как мы можем получить численно вектор?W $W$$W$$W$

После статьи, на которую вы ссылаетесь (Mika et al., 1999) , мы должны найти которое максимизирует так называемый обобщенный фактор Рэлея ,$\mathbf{w}$

$$\frac{\mathbf{w}^\top \mathbf{S}_B \mathbf{w}}{\mathbf{w}^\top \mathbf{S}_W \mathbf{w}},$$

где для означает и ковариации C 1 , C 2 ,$\mathbf{m}_1, \mathbf{m}_2$$\mathbf{C}_1, \mathbf{C}_2$

$$\begin{align} \mathbf{S}_B &= (\mathbf{m}_1 - \mathbf{m}_2)(\mathbf{m}_1 - \mathbf{m}_2)^\top, & \mathbf{S}_W &= \mathbf{C}_1 + \mathbf{C}_2. \end{align}$$

$$\begin{align} \mathbf{S}_B\mathbf{w} = \lambda \mathbf{S}_W\mathbf{w}, \end{align}$$ $\lambda$ wSB-λSW=( 16 - 3 λ 16 16 16 - 2 λ ) $$\begin{align} \det(\mathbf{S}_B - \lambda \mathbf{S}_W) = 0 \end{align}$$ $\mathbf{w}$ $$\mathbf{S}_B - \lambda \mathbf{S}_W = \begin{pmatrix}16 - 3\lambda & 16 \\ 16 & 16 - 2\lambda\end{pmatrix}.$$

Собственный вектор с наибольшим собственным значением максимизирует фактор Рэлея. Вместо того чтобы делать расчеты вручную, я решил проблему обобщенной собственной значения в Python с использованием scipy.linalg.eigи получил который отличается от решения , которое вы нашли в своей книге. Ниже я изобразил оптимальную гиперплоскость вектора веса, который я нашел (черный), и гиперплоскости вектора веса, найденный в вашей книге (красный).

$$w_1 \approx 0.5547, w_2 \approx 0.8321,$$

$\hskip1in$

$\mathbf{SOLUTION 1:}$

После Дуда и соавт. (Pattern CLassification), который имеет альтернативное решение @lucas и в этом случае дает очень простое решение вручную. (Надеюсь, это альтернативное решение поможет! :))

В двух классах LDA целью является:

$\frac{w^TS_Bw}{w^TS_Ww}$ что просто означает, что увеличить дисперсию между классами и уменьшить дисперсию внутри класса.

где и , здесь - ковариационная матрица, а - средства класса 1 и 2 соответственно.$S_B = (m_1-m_2)(m_1-m_2)^T$$S_W = S_1 + S_2$$S_1,S_2$$m_1,m_2$

Решение этого обобщенного фактора Рэлея является обобщенной пробой собственного значения.

$S_Bw = \lambda S_Ww \rightarrow {S_W}^{-1}S_Bw = \lambda w$

Вышеуказанная композиция имеет раствор в закрытой форме. - матрица ранга 1 с базисом поэтому который может быть normlizd, чтобы получить ответ.$S_B$$m_1-m_2$$w \propto {S_W}^{-1}(m1-m2)$

Я только что вычислил и получил [0.5547; 0.8321].$w$

${S_W}^{-1}(m1-m2) = {(S_1 + S_2)}^{-1}(m1 - m2) = {(\begin{bmatrix} 2 & 0 \\ 0 & 1 \end{bmatrix} + \begin{bmatrix} 1 & 0 \\ 0 & 1 \end{bmatrix})}^{-1}(\begin{bmatrix} 0 \\ 0 \end{bmatrix} - \begin{bmatrix} 4 \\ 4 \end{bmatrix} ) ={(\begin{bmatrix} 1/3 & 0 \\ 0 & 1/2 \end{bmatrix})}(\begin{bmatrix} 0 \\ 0 \end{bmatrix} - \begin{bmatrix} 4 \\ 4 \end{bmatrix} ) = \begin{bmatrix} -1.3333 \\ -2.0000 \end{bmatrix} \propto \begin{bmatrix} 0.5547 \\ 0.8321 \end{bmatrix}$

Ссылка: шаблон классификации по Дуда, Харт, Аист

$\mathbf{SOLUTION 2:}$

Альтернативно, это может быть решено путем нахождения собственного вектора к обобщенной проблеме собственных значений. $S_Bw = \lambda S_Ww$

Многочлен в лямбде может быть сформирован и решения этого многочлена будут собственным значением для . Теперь предположим, что вы получили набор собственных значений качестве корней многочлена. Теперь замените и получите соответствующий собственный вектор в качестве решения линейной системы уравнений . Делая это для каждого i, вы можете получить набор векторов$determinant(S_B - \lambda S_W)$$S_Bw = \lambda S_Ww$$\lambda_1,\lambda_2, ..., \lambda_n,$$\lambda = \lambda_i, i \in \{1,2,..,n\}$$S_Bw_i = \lambda_i S_Ww_i$$\{w_i\}_{i=1}^{n}$ и это набор собственных векторов в качестве решений.

$determinant(S_B - \lambda S_W) = \begin{bmatrix} 16 - 3\lambda & 16 \\ 16 & 16 - 2\lambda \end{bmatrix} =6\lambda^2 - 80\lambda$ , поэтому собственные значения корни полинома .$6\lambda^2 - 80\lambda$

Таким образом, 0 и 40/3 - это два решения. Для LDA, собственный вектор, соответствующий наибольшему собственному значению, является решением.$\lambda=$

Решение системы уравнений и$(S_B - \lambda_i S_W)w_i = 0$$\lambda_i = 40/3$

который оказывается$\begin{bmatrix} 16 - 3\lambda & 16 \\ 16 & 16 - 2\lambda \end{bmatrix}w_i \propto \begin{bmatrix} -72 & 48 \\ 48 & -32 \end{bmatrix}w_i = 0$

Решение вышеуказанной системы уравнений: что совпадает с предыдущим решением.$\begin{bmatrix} -0.5547 \\ -0.8321 \end{bmatrix} \propto \begin{bmatrix} 0.5547 \\ 0.8321 \end{bmatrix}$

В качестве альтернативы мы можем сказать, что лежит в нулевом пространстве .[ - 72 48 48 - 32$\begin{bmatrix} 0.5547 \\ 0.8321 \end{bmatrix}$$\begin{bmatrix} -72 & 48 \\ 48 & -32 \end{bmatrix}$

Для двух классов LDA собственный вектор с наибольшим собственным значением является решением. В общем, для LDA класса C первые собственные векторы C - 1 с самыми высокими собственными значениями C - 1 составляют решение.

Это видео объясняет, как вычислить собственные векторы для простой задачи на собственные значения. ( https://www.khanacademy.org/math/linear-algebra/alternate_bases/eigen_everything/v/linear-algebra-finding-eigenvectors-and-eigenspaces-example )

Ниже приведен пример. http://www.sosmath.com/matrix/eigen2/eigen2.html

Мультиклассовый LDA: http://en.wikipedia.org/wiki/Linear_discriminant_analysis#Multiclass_LDA

Вычисление нулевого пространства матрицы: https://www.khanacademy.org/math/linear-algebra/vectors_and_spaces/null_column_space/v/null-space-2-calculating-the-null-space-of-a-matrix