Три версии дискриминантного анализа: различия и как их использовать

Кто-нибудь может объяснить различия и привести конкретные примеры, как использовать эти три анализа?

• LDA - линейный дискриминантный анализ
• FDA - дискриминантный анализ Фишера
• QDA - Квадратичный дискриминантный анализ

Я искал везде, но не смог найти реальных примеров с реальными значениями, чтобы увидеть, как используются эти анализы и как рассчитываются данные, только множество формул, которые трудно понять без реальных примеров. Как я пытался понять, было трудно определить, какие уравнения / формулы принадлежат LDA, а какие - FDA.

Например, допустим, есть такие данные:

x1 x2 class
1  2  a
1  3  a
2  3  a
3  3  a
1  0  b
2  1  b
2  2  b

И скажем некоторые данные тестирования:

x1 x2
2  4
3  5
3  6

Итак, как использовать такие данные со всеми этими тремя подходами? Было бы лучше увидеть, как все вычислить вручную, не используя какой-то математический пакет, который вычисляет все за кадром.

PS Я нашел только этот учебник: http://people.revoledu.com/kardi/tutorial/LDA/LDA.html#LDA . Это показывает, как использовать LDA.

«Дискриминантный анализ Фишера» - это просто LDA в ситуации 2 классов. Когда есть только 2 класса вычислений вручную, выполнимо, и анализ напрямую связан с множественной регрессией. LDA является прямым расширением идеи Фишера о ситуации любого числа классов и использует устройства матричной алгебры (такие как собственное разложение) для ее вычисления. Таким образом, термин «дискриминантный анализ Фишера» сегодня можно считать устаревшим. Вместо этого следует использовать «линейный дискриминантный анализ». Смотрите также . Дискриминантный анализ с классами 2+ (мультикласс) каноничен по своему алгоритму (извлекает дикриминанты как канонические вариации); редкий термин "канонический дискриминантный анализ"

Фишер использовал так называемые «функции классификации Фишера» для классификации объектов после вычисления дискриминантной функции. В настоящее время для классификации объектов используется более общий байесовский подход в рамках процедуры LDA.

На ваш запрос о объяснениях LDA я могу отправить вам следующие ответы: извлечение в LDA , классификация в LDA , LDA среди связанных процедур . Также это , это , это вопросы и ответы.

Так же, как ANOVA требует допущения о равных дисперсиях, LDA требует допущения о равных дисперсионно-ковариационных матрицах (между входными переменными) классов. Это предположение важно для классификационной стадии анализа. Если матрицы существенно различаются, наблюдения будут относиться к классу, где изменчивость больше. Чтобы преодолеть проблему, был изобретен QDA . QDA - это модификация LDA, которая учитывает вышеуказанную неоднородность ковариационных матриц классов.

Если у вас есть неоднородность (как выявлено, например, с помощью теста Бокса М), и у вас нет QDA под рукой, вы все равно можете использовать LDA в режиме использования отдельных ковариационных матриц (а не объединенной матрицы) дискриминантов при классификации , Это частично решает проблему, хотя и менее эффективно, чем в QDA, потому что - как только что указывалось - это матрицы между дискриминантами, а не между исходными переменными (матрицы которых различались).

Позвольте мне оставить анализ данных вашего примера для себя.

Ответить на ответ и комментарии @ zyxue

LDA - это то, что вы определили FDA в вашем ответе. LDA сначала извлекает линейные конструкции (так называемые дискриминанты), которые максимизируют расстояние между ними, а затем использует их для выполнения (гауссовой) классификации. Если бы (как вы говорите) LDA не было связано с задачей извлечения дискриминантов, LDA представлялось бы просто гауссовым классификатором, то имя «LDA» вообще не понадобилось бы.

$S_w$$S_w$s одинаковы, все упомянутые внутриклассовые ковариации идентичны; это право использовать их становится абсолютным.)

Гауссовский классификатор (вторая ступень LDA) использует правило Байеса для назначения наблюдений классам с помощью дискриминантов. Тот же результат может быть достигнут с помощью так называемых функций линейной классификации Фишера, которые напрямую используют оригинальные функции. Тем не менее, байесовский подход, основанный на дискриминантах, является несколько общим в том смысле, что он позволяет использовать отдельные дискриминантные ковариационные матрицы класса, в дополнение к стандартному способу использования единицы, пулированной. Кроме того, это позволит основывать классификацию на подмножестве дискриминантов.

Когда есть только два класса, оба этапа LDA могут быть описаны вместе в одном проходе, потому что «извлечение скрытых элементов» и «классификация наблюдений» сводятся к одной и той же задаче.

Мне трудно согласиться с тем, что FDA - это LDA для двух классов, как предложил @ttnphns.

Я рекомендую две очень информативные и красивые лекции на эту тему профессора Али Годси:

1. LDA & QDA . Кроме того, на странице 108 книги «Элементы статистического обучения» ( pdf ) есть описание LDA в соответствии с лекцией.
2. FDA

Для меня LDA и QDA похожи, так как они оба являются методами классификации с гауссовыми допущениями. Основное различие между ними заключается в том, что LDA предполагает, что ковариационные матрицы признаков обоих классов одинаковы, что приводит к линейной границе решения. В отличие от этого, QDA менее строгий и допускает разные ковариационные матрицы признаков для разных классов, что приводит к квадратичной границе решения. Посмотрите на следующий рисунок из scikit-learn для идеи, как выглядит граница квадратичного решения.

Некоторые комментарии к участкам :

• Верхний ряд: когда ковариационные матрицы действительно совпадают в данных, LDA и QDA приводят к одним и тем же границам принятия решений.
• Нижний ряд: когда ковариационные матрицы различны, LDA приводит к плохой производительности, так как его допущение становится недействительным, в то время как QDA выполняет классификацию намного лучше.

С другой стороны, FDA - это совсем другой вид, не имеющий ничего общего с предположением Гаусса. FDA пытается найти линейное преобразование, чтобы максимизировать среднее расстояние между классами при минимальной дисперсии внутри класса . Вторая лекция прекрасно объясняет эту идею. В отличие от LDA / QDA, FDA не выполняет классификацию, хотя функции, полученные после преобразования, обнаруженного FDA, могут использоваться для классификации, например, с использованием LDA / QDA, SVM или других.