Масштабируемое уменьшение размера

Учитывая постоянное число функций, t-SNE Барнса-Хата имеет сложность , случайные проекции и PCA имеют сложность что делает их «доступными» для очень больших наборов данных.$O(n\log n)$$O(n)$

С другой стороны, методы, основанные на многомерном масштабировании, имеют сложность .$O(n^2)$

Существуют ли другие методы уменьшения размерности (кроме тривиальных, как, например, просмотр первых столбцов), сложность которых ниже, чем ?$k$$O(n\log n)$

Интересным вариантом было бы изучение нейронного уменьшения размерности. Наиболее часто используемый тип сети для уменьшения размерности, автоэнкодер, может обучаться за счет , где представляет итерации обучения (это гиперпараметр, независимый от данных обучения) , Следовательно, сложность обучения упрощается до .$\mathcal{O}(i\cdot n)$$i$$\mathcal{O}(n)$

Вы можете начать с изучения работы Хинтона и Салахутдинова в 2006 году [1]. С тех пор многое изменилось. В настоящее время большая часть внимания достигается Variational Autoencoders [2], но основная идея (сеть, которая реконструирует вход на своем выходном уровне с промежуточным слоем) остается той же. Обратите внимание, что, в отличие от PCA и RP, автоэнкодеры выполняют нелинейное уменьшение размерности. Кроме того, в отличие от t-SNE, автоэнкодеры могут преобразовывать невидимые выборки без необходимости переобучения всей модели.

С практической точки зрения я рекомендую взглянуть на этот пост , в котором подробно рассказывается о том, как реализовать различные типы автоэнкодеров с помощью замечательной библиотеки Keras.

[1] Хинтон Г.Е., Салахутдинов Р.Р. (2006). Уменьшение размерности данных с помощью нейронных сетей. наука, 313 (5786), 504-507.

[2] Кингма Д.П. и Веллинг М. (2013). Авто-кодирование вариационных байесов. Препринт arXiv arXiv: 1312.6114.

$\mathcal{O}(k d N)$$N$$d$$k$

Немного поиска в Google даст вам очень недавние результаты, в частности, для редких наборов данных.

[1] Случайная проекция в уменьшении размерности: приложения к графическим и текстовым данным .