T-SNE против MDS

В последнее время я читал некоторые вопросы о t-SNE ( t-распределенное стохастическое вложение соседей ), а также посетил некоторые вопросы о MDS ( многомерном масштабировании ).

Они часто используются аналогично, поэтому было бы неплохо задать этот вопрос, поскольку здесь есть много вопросов по обоим по отдельности (или по сравнению с PCA ).

Короче говоря, что отличает t-SNE и MDS? например. Какие тонкости иерархии данных они исследуют, разные предположения и т. Д.

Скорость сходимости? Как насчет использования ядер, оба соответствуют?

PCA выбирает влиятельные измерения путем собственного анализа N точек данных, в то время как MDS выбирает влиятельные измерения путем анализа точек данных матрицы парных расстояний. Это имеет эффект выделения отклонений от однородности в распределении. Считая матрицу расстояний аналогом тензора напряжений, MDS можно считать алгоритмом «силового направления», сложность выполнения которого составляет O ( d N a ), где 3 < a ≤ 4 . $N^2$$\mathcal O(dN^a)$$3 < a \leq 4$

$\mathcal O(dN^2)$$\mathcal O(dN\cdot \log(N))$$2 \leq d \leq 4$типичные наблюдаемые времена выполнения, как правило, длиннее, чем другие методы уменьшения размеров. Результаты часто более визуально интерпретируются, чем наивный собственный анализ, и в зависимости от распределения часто более интуитивны, чем результаты MDS, которые, как правило, сохраняют глобальную структуру за счет локальной структуры, сохраняемой t-SNE.

MDS уже является упрощением ядра PCA и должно быть расширяемым с помощью альтернативных ядер, а ядро ​​t-SNE описано в работе Gilbrecht, Hammer, Schulz, Mokbel, Lueks et al. Я практически не знаком с этим, но, возможно, другой респондент может быть.

Я склонен выбирать между MDS и t-SNE исходя из контекстуальных целей. Что бы ни разъясняло структуру, которую я заинтересован в выделении, какая структура обладает большей объяснительной силой, то есть алгоритм, который я использую. Это можно считать ловушкой, так как это форма степени свободы исследователя. Но свобода, используемая с умом, не так уж плоха.