Вопросы с тегом «dimensionality-reduction»

Настройка проблемы У меня есть данные (изображения) высокой размерности (4096), которые я пытаюсь визуализировать в 2D. С этой целью я использую t-sne способом, подобным следующему примеру кода Karpathy . Документация Scikit-Learn рекомендует использовать PCA, чтобы сначала уменьшить размерность данных: Настоятельно рекомендуется использовать другой метод уменьшения размерности (например, PCA для плотных …

9 pca  dimensionality-reduction  high-dimensional  java  tsne 

В чем разница между многообразным обучением и нелинейным уменьшением размерности ? Я видел эти два термина взаимозаменяемо. Например: http://www.cs.cornell.edu/~kilian/research/manifold/manifold.html : Изучение многообразия (часто также называемое нелинейным уменьшением размерности) преследует цель встраивать данные, которые изначально лежат в многомерном пространстве, в низкоразмерное пространство, сохраняя при этом характерные свойства. http://www.stat.washington.edu/courses/stat539/spring14/Resources/tutorial_nonlin-dim-red.pdf : В этом …

9 terminology  dimensionality-reduction  manifold-learning 

Я беру фиктивные данные о температуре и продажах мороженого и классифицирую их по K-средним (n кластеров = 2), чтобы выделить 2 категории (полностью фиктивные). Сейчас я делаю анализ основных компонентов этих данных, и моя цель - понять, что я вижу. Я знаю, что цель PCA состоит в том, чтобы уменьшить …

9 pca  interpretation  k-means  dimensionality-reduction 

Учитывая постоянное число функций, t-SNE Барнса-Хата имеет сложность , случайные проекции и PCA имеют сложность что делает их «доступными» для очень больших наборов данных.O ( n logн )О(Nжурнал⁡N)O(n\log n)O ( n )О(N)O(n) С другой стороны, методы, основанные на многомерном масштабировании, имеют сложность .O ( n2)О(N2)O(n^2) Существуют ли другие методы уменьшения …

9 pca  dimensionality-reduction  large-data  multidimensional-scaling  tsne 

Автоэнкодерные сети кажутся более хитрыми, чем обычные классификаторы MLP сетей. После нескольких попыток использования лазаньи все, что я получаю в восстановленном выводе, в чем-то напоминает размытое усреднение всех изображений базы данных MNIST без различия того, что представляет собой входная цифра. Структура сетей, которую я выбрал, представляет собой следующие каскадные слои: …

9 machine-learning  neural-networks  dimensionality-reduction  unsupervised-learning  autoencoders 

В машинном обучении часто предполагается, что набор данных лежит на гладком низкоразмерном многообразии (предположение о многообразии), но есть ли способ доказать, что при условии выполнения определенных условий набор данных действительно (приблизительно) генерируется из низкоразмерного гладкого многообразия? Например, учитывая последовательность данных где (скажем, последовательность изображений лиц с разными углами) и соответствующая …

9 machine-learning  dimensionality-reduction  manifold-learning 

Я просмотрел документ на основе заявления о том, что применение PCA перед применением ICA (с использованием пакета fastICA). У меня вопрос, требует ли ICA (fastICA) сначала запуск PCA? В этой статье упоминается, что ... также утверждается, что предварительное применение PCA повышает производительность ICA за счет (1) отбрасывания небольших конечных собственных …

9 pca  dimensionality-reduction  pattern-recognition  ica 

Предположим, у меня есть набор точечных данных 2D, и я хочу определить направления всех локальных максимумов дисперсии в данных, например: PCA не помогает в этой ситуации, так как это ортогональное разложение и, следовательно, не может обнаружить обе линии, которые я указал синим цветом, скорее его вывод может выглядеть так, как …

9 pca  dimensionality-reduction 

Я хочу провести анализ основных компонентов (факторный анализ) по SPSS на основе 22 переменных. Однако некоторые из моих переменных очень искажены (асимметрия, рассчитанная по SPSS, колеблется от 2 до 80!). Итак, вот мои вопросы: Должен ли я оставить таким образом перекошенные переменные или я могу преобразовать переменные при анализе главных …

9 pca  factor-analysis  dimensionality-reduction  skewness 

Я не понимаю, почему сокращение размеров важно. Какая польза от сбора некоторых данных и уменьшения их размера?

9 dimensionality-reduction  svd 

Я выполнил декомпозицию SVD и многомерное масштабирование 6-мерной матрицы данных, чтобы лучше понять структуру данных. К сожалению, все сингулярные значения имеют один и тот же порядок, подразумевая, что размерность данных действительно равна 6. Однако я хотел бы иметь возможность интерпретировать значения сингулярных векторов. Например, первый кажется более или менее равным …

9 pca  interpretation  dimensionality-reduction  svd