Вопросы с тегом «algorithms»

Я хочу оценить квантиль некоторых данных. Данные настолько огромны, что их невозможно разместить в памяти. И данные не являются статичными, новые данные продолжают поступать. Кто-нибудь знает какой-либо алгоритм для мониторинга квантилей данных, наблюдаемых до сих пор с очень ограниченными памятью и вычислениями? Я считаю, что алгоритм P2 полезен, но он …

24 algorithms  quantiles 

Каждый учебник, который я видел до сих пор, описывает алгоритмы ML и способы их реализации. Есть ли также учебник, который строит теоремы и доказательства поведения этих алгоритмов? например, заявив, что в условиях градиентный спуск всегда будет приводить к ?х , у, zИкс,Y,Zx,y,zA , B , CA,В,СA,B,C

23 machine-learning  mathematical-statistics  references  algorithms 

Этот вопрос касается эффективного способа вычисления основных компонентов. Многие тексты по линейному PCA рекомендуют использовать разложение по регистру данных по сингулярным значениям . То есть, если у нас есть данные и мы хотим заменить переменные (их столбцы ) на главные компоненты, мы делаем SVD: , особые значения (квадратные корни из …

22 pca  algorithms  svd  matrix-decomposition 

Я должен немедленно уточнить, что я являюсь практикующим разработчиком программного обеспечения, а не статистиком, и что мой класс по статистике в колледже был очень давно ... Тем не менее, я хотел бы знать, существует ли метод для накопления набора описательной статистики, который затем может быть использован для создания коробочного графика, …

22 algorithms  median  quantiles 

Я прочитал довольно много скрытых марковских моделей и смог сам написать довольно простую версию. Но есть два основных способа, которыми я, кажется, учусь. Один из них - прочитать и внедрить его в код (что и делается), а второй - понять, как он применяется в различных ситуациях (чтобы я мог лучше …

21 algorithms  markov-process 

После выполнения анализа главных компонентов (PCA) я хочу спроецировать новый вектор на пространство PCA (т.е. найти его координаты в системе координат PCA). Я рассчитал PCA на языке R, используя prcomp. Теперь я должен быть в состоянии умножить свой вектор на матрицу вращения PCA. Должны ли главные компоненты в этой матрице …

21 r  pca  r  variance  heteroscedasticity  misspecification  distributions  time-series  data-visualization  modeling  histogram  kolmogorov-smirnov  negative-binomial  likelihood-ratio  econometrics  panel-data  categorical-data  scales  survey  distributions  pdf  histogram  correlation  algorithms  r  gpu  parallel-computing  approximation  mean  median  references  sample-size  normality-assumption  central-limit-theorem  rule-of-thumb  confidence-interval  estimation  mixed-model  psychometrics  random-effects-model  hypothesis-testing  sample-size  dataset  large-data  regression  standard-deviation  variance  approximation  hypothesis-testing  variance  central-limit-theorem  kernel-trick  kernel-smoothing  error  sampling  hypothesis-testing  normality-assumption  philosophical  confidence-interval  modeling  model-selection  experiment-design  hypothesis-testing  statistical-significance  power  asymptotics  information-retrieval  anova  multiple-comparisons  ancova  classification  clustering  factor-analysis  psychometrics  r  sampling  expectation-maximization  markov-process  r  data-visualization  correlation  regression  statistical-significance  degrees-of-freedom  experiment-design  r  regression  curve-fitting  change-point  loess  machine-learning  classification  self-study  monte-carlo  markov-process  references  mathematical-statistics  data-visualization  python  cart  boosting  regression  classification  robust  cart  survey  binomial  psychometrics  likert  psychology  asymptotics  multinomial 

У меня возникают проблемы при создании набора стационарных цветных временных рядов, учитывая их ковариационную матрицу (их спектральные плотности мощности (PSD) и спектральные плотности перекрестных мощностей (CSD)). Я знаю, что, учитывая два временных ряда и , я могу оценить их спектральные плотности мощности (PSD) и кросс-спектральные плотности (CSD), используя многие широко …

20 time-series  sampling  algorithms  simulation  covariance 

мигрировал из math.stackexchange . Я обрабатываю длинный поток целых чисел и рассматриваю возможность отслеживания нескольких моментов, чтобы иметь возможность приблизительно рассчитать различные процентили для потока без сохранения большого количества данных. Какой самый простой способ вычислить процентили из нескольких моментов. Есть ли лучший подход, который предполагает хранение небольшого количества данных?

20 algorithms  mathematical-statistics  moments 

Я не эксперт по случайным лесам, но я четко понимаю, что ключевая проблема со случайным лесом - это (случайное) генерирование деревьев. Можете ли вы объяснить мне, как создаются деревья? (т.е. что такое используемый дистрибутив для генерации дерева?) Заранее спасибо !

20 machine-learning  r  algorithms  cart  random-forest 

Я пытаюсь сравнить сложность вычислений / скорость оценки трех групп методов для линейной регрессии, как это различается в Hastie et al. «Элементы статистического обучения» (2-е изд.), Глава 3: Выбор подмножества Методы усадки Методы с использованием производных направлений ввода (PCR, PLS) Сравнение может быть очень грубым, просто чтобы дать некоторое представление. …

18 machine-learning  estimation  feature-selection  algorithms  time-complexity 

Является ли ER более эффективной реализацией (что-то вроде Extreme Gradient Boostingповышения градиента) - важно ли различие с практической точки зрения? Существует пакет R, который их реализует. Это новый алгоритм, который преодолевает «универсальную» реализацию (пакет RandomForest от R) не только с точки зрения эффективности или также в некоторых других областях? Экстремальный …

18 r  machine-learning  algorithms  random-forest 

Мне нужно рассчитать выборочное расстояние Махаланобиса в R между каждой парой наблюдений в матрице ковариат n×pn×pn \times p . Мне нужно решение, которое является эффективным, то есть только n(n−1)/2n(n−1)/2n(n-1)/2 Е. Рассчитываются расстояний, и желательно, чтобы они были реализованы в C / RCpp / Fortran и т. Д. Я предполагаю, что …

18 r  algorithms  distance 

При меньших размерах окна n log nсортировка может работать. Есть ли лучшие алгоритмы для достижения этой цели?

18 algorithms  median 

Можно выполнить логит-регрессию в R, используя такой код: > library(MASS) > data(menarche) > glm.out = glm(cbind(Menarche, Total-Menarche) ~ Age, + family=binomial(logit), data=menarche) > coefficients(glm.out) (Intercept) Age -21.226395 1.631968 Похоже, что алгоритм оптимизации сходится - есть информация о количестве шагов алгоритма Фишера: Call: glm(formula = cbind(Menarche, Total - Menarche) ~ Age, …

17 r  generalized-linear-model  optimization  algorithms  logit 

Предположим , что у меня плотную матрицу AA \textbf{A} из m×nm×nm \times n размера, с SVD разложения A=USV⊤.A=USV⊤.\mathbf{A}=\mathbf{USV}^\top.В Rможно вычислить СВД следующим образом : svd(A). Если в добавлена новая -я строка , можно ли вычислить новую декомпозицию SVD на основе старой (т. Е. Используя , и ), без пересчета СВД …

17 algorithms  svd  linear-algebra  matrix-decomposition  numerics