Вопросы с тегом «sparse»

Я где-то видел, что классические расстояния (например, евклидово расстояние) становятся слабо дискриминирующими, когда у нас имеются многомерные и разреженные данные. Почему? У вас есть пример двух разреженных векторов данных, где евклидово расстояние не работает хорошо? В этом случае какое сходство мы должны использовать?

72 machine-learning  clustering  data-mining  sparse  euclidean 

Я узнал о PCA несколько лекций назад в классе, и, узнав больше об этой увлекательной концепции, я узнал о редких PCA. Я хотел спросить, если я не ошибаюсь, это то, что является редким PCA: В PCA, если у вас есть точек данных с переменными, вы можете представить каждую точку данных …

24 machine-learning  pca  sparse 

Существует ли реализация случайного леса R, которая хорошо работает с очень разреженными данными? У меня есть тысячи или миллионы логических входных переменных, но только сотни или около того будут ИСТИНА для любого данного примера. Я относительно новичок в R и заметил, что существует пакет Matrix для работы с разреженными данными, …

23 r  random-forest  sparse 

Каковы основные различия между разреженными данными и отсутствующими данными? И как это влияет на машинное обучение? В частности, как редкие и отсутствующие данные влияют на алгоритмы классификации и регрессионные (прогнозирующие числа) типы алгоритмов. Я говорю о ситуации, когда процент пропущенных данных значителен, и мы не можем удалить строки, содержащие пропущенные …

20 machine-learning  dataset  missing-data  sparse 

Закрыто. Этот вопрос не по теме . В настоящее время не принимает ответы. Хотите улучшить этот вопрос? Обновите вопрос, чтобы он соответствовал теме перекрестной проверки. Закрыто 5 лет назад . Я пытаюсь составить список алгоритмов кластеризации, которые: Реализовано в R Работа с разреженными матрицами данных (а не матрицами сходства), например, …

18 r  clustering  sparse 

норма является уникальной (по крайней мере частично) , потому что находится на границе между невыпуклые и выпуклы. норма является «наиболее разреженным» выпуклая норма (правда?).L1L1L_1p=1p=1p=1L1L1L_1 Я понимаю, что евклидова норма имеет корни в геометрии и имеет четкую интерпретацию, когда измерения имеют одинаковые единицы. Но я не понимаю, почему он используется преимущественно …

13 regression  regularization  sparse 

Я пытаюсь классифицировать сообщения по различным категориям, используя SVM. Я составил список желаемых слов / символов из учебного набора. Для каждого вектора, который представляет сообщение, я устанавливаю соответствующую строку, 1если слово присутствует: "корпус" это: [Мария, маленькая, ягненок, звезда, мерцание] первое сообщение: "у марии был маленький ягненок" -> [1 1 1 …

12 classification  svm  sparse 

В последнее время я видел много статей о разреженных представлениях, и большинство из них используют норму и выполняют некоторую минимизацию. Мой вопрос: что норма и смешанная норма? И как они имеют отношение к регуляризации?ℓ p ℓ p , qℓpℓp\ell_pℓpℓp\ell_pℓp,qℓp,q\ell_{p, q} благодаря

12 machine-learning  regularization  sparse 

Классический метод анализа основных компонентов (PCA) состоит в том, чтобы сделать это на матрице входных данных, столбцы которой имеют нулевое среднее значение (тогда PCA может «максимизировать дисперсию»). Это может быть легко достигнуто путем центрирования колонн. Тем не менее, когда входная матрица является разреженной, центрированная матрица теперь будет более разреженной и, …

10 pca  algorithms  dimensionality-reduction  large-data  sparse 

Я работаю над набором данных. После использования некоторых методов идентификации моделей я разработал модель ARIMA (0,2,1). Я использовал detectIOфункцию в пакете TSAв R, чтобы обнаружить инновационный выброс (IO) на 48-м наблюдении за моим исходным набором данных. Как включить этот выброс в мою модель, чтобы я мог использовать его для целей …

10 r  time-series  arima  outliers  hypergeometric  fishers-exact  r  time-series  intraclass-correlation  r  logistic  glmm  clogit  mixed-model  spss  repeated-measures  ancova  machine-learning  python  scikit-learn  distributions  data-transformation  stochastic-processes  web  standard-deviation  r  machine-learning  spatial  similarities  spatio-temporal  binomial  sparse  poisson-process  r  regression  nonparametric  r  regression  logistic  simulation  power-analysis  r  svm  random-forest  anova  repeated-measures  manova  regression  statistical-significance  cross-validation  group-differences  model-comparison  r  spatial  model-evaluation  parallel-computing  generalized-least-squares  r  stata  fitting  mixture  hypothesis-testing  categorical-data  hypothesis-testing  anova  statistical-significance  repeated-measures  likert  wilcoxon-mann-whitney  boxplot  statistical-significance  confidence-interval  forecasting  prediction-interval  regression  categorical-data  stata  least-squares  experiment-design  skewness  reliability  cronbachs-alpha  r  regression  splines  maximum-likelihood  modeling  likelihood-ratio  profile-likelihood  nested-models 

Хорошо известно (например, в области измерения сжатия), что норма является «вызывающей разреженность» в том смысле, что если минимизировать функционал (для фиксированной матрицы и вектора ), для достаточно большого размера \ lambda> 0 , у многих вариантов A , \ vec {b} и \ lambda, вероятно, будет много точно нулевых записей …

10 regression  matrix  normalization  regularization  sparse 

Я пытаюсь сгенерировать корреляционную матрицу (симметричный psd) с заранее заданной разреженной структурой (указанной графом на узлах). Узлы, которые связаны в графе, имеют корреляцию , все остальные равны 0, а диагональ равна 1.р × рп×пp\times pппpρ∼U(0,1)ρ~U(0,1)\rho \sim U(0,1) Я пытался сгенерировать эту матрицу несколько раз, но только редко получал действительную матрицу …

9 correlation  matrix  sparse  correlation-matrix 

У меня очень разреженные входы, например, расположение определенных функций на входном изображении. Кроме того, каждая функция может иметь несколько обнаружений (не уверен, что это повлияет на конструкцию системы). Это я буду представлять как двоичное изображение k-канала с включенными пикселями, представляющими наличие этой функции, и наоборот. Мы можем видеть, что такой …

9 neural-networks  deep-learning  sparse 

У кого-нибудь есть опыт подходов к выбору количества разреженных главных компонентов для включения в регрессионную модель?

9 pca  sparse  regression-strategies