Статистика и большие данные

Я видел термин "инвариантная перестановка" версия задачи распознавания цифр MNIST. Что это означает?

14 machine-learning  neural-networks  terminology  conv-neural-network  definition 

Уведомление после таблицы ANOVA после анализа K-средних указывает на то, что уровни значимости не следует рассматривать как критерий равных средних, поскольку кластерное решение было получено на основе евклидова расстояния для максимизации расстояния. Какой тест я должен использовать, чтобы показать, отличаются ли средства переменных кластеризации между кластерами? Я видел это предупреждение …

14 anova  k-means 

Я сталкивался с термином «Машины факторизации» в рекомендательных системах. Я знаю, что такое матричная факторизация для рекомендательных систем, но никогда не слышала о факторизационных машинах. Так в чем же разница?

14 machine-learning  data-mining  recommender-system 

Мое общее понимание состоит в том, что AIC имеет дело с компромиссом между добротностью соответствия модели и сложностью модели. А яС= 2 k - 2 l n ( L )AяСзнак равно2К-2LN(L)AIC =2k -2ln(L) = количество параметров в моделиККk = вероятностьLLL Байесовский информационный критерий BIC тесно связан с AIC. AIC штрафует …

14 cross-validation  lasso  aic  ridge-regression  bic 

На странице Scikit Learn по выбору модели упоминается использование вложенной перекрестной проверки: >>> clf = GridSearchCV(estimator=svc, param_grid=dict(gamma=gammas), ... n_jobs=-1) >>> cross_validation.cross_val_score(clf, X_digits, y_digits) Два цикла перекрестной проверки выполняются параллельно: один с помощью оценщика GridSearchCV для установки гаммы, а другой с помощью cross_val_score для измерения эффективности прогнозирования оценщика. Полученные оценки являются …

14 machine-learning  cross-validation  scikit-learn 

Я понимаю, что тест Бартлетта связан с определением, являются ли ваши выборки из групп с равными отклонениями. Если образцы взяты из популяций с одинаковыми отклонениями, то мы не можем отклонить нулевую гипотезу теста, и поэтому анализ основных компонентов неуместен. Я не уверен, где проблема в этой ситуации (с набором гомоскедастических …

14 variance  pca  heteroscedasticity 

На самом деле, я думал, что понял, что можно показать на графике частичной зависимости, но на очень простом гипотетическом примере я немного озадачился. В следующем фрагменте кода я генерирую три независимые переменные ( a , b , c ) и одну зависимую переменную ( y ), где c показывает тесную …

14 r  random-forest  boosting  partial-plot 

В линейной регрессии мы часто получаем несколько R и R в квадрате. Каковы различия между ними?

14 regression  r-squared 

Может ли кто-нибудь объяснить простым языком, в чем разница между эмпирическими правилами Скотта и Сильвермана для выбора пропускной способности? В частности, когда один лучше другого? Это связано с основным распределением? Количество образцов? PS Я имею в виду код в SciPy .

14 kernel-smoothing 

DBSCAN - наиболее цитируемый алгоритм кластеризации, согласно некоторым литературным источникам, и он может найти кластеры произвольной формы на основе плотности. У него есть два параметра eps (как радиус окрестности) и minPts (как минимальные соседи, рассматривающие точку как точку ядра), которые, я считаю, сильно зависят от них. Есть ли какой-либо рутинный …

14 clustering  dbscan 

Я смотрел на страницу Википедии для корреляции расстояний, где она, кажется, характеризуется тем, как ее можно рассчитать. В то время как я мог делать вычисления, я изо всех сил пытаюсь получить, какие меры корреляции расстояния и почему вычисления выглядят, как они делают. Есть ли (или многие) более интуитивная характеристика дистанционной …

14 correlation  distance  intuition  distance-covariance 

Используя эти данные: head(USArrests) nrow(USArrests) Я могу сделать PCA следующим образом: plot(USArrests) otherPCA <- princomp(USArrests) Я могу получить новые компоненты в otherPCA$scores и доля дисперсии объясняется компонентами с summary(otherPCA) Но что, если я хочу знать, какие переменные в основном объясняются какими основными компонентами? И наоборот: например, ПК1 или ПК2 в …

14 r  pca  dimensionality-reduction  regression-strategies 

В эконометрике, что подразумевается под сокращенной формой? Кроме того, что люди ищут, когда говорят: «Я хотел бы видеть сокращенные оценки формы». Это было распространено на работе, а отдельные объяснения и поиски в Google носят слишком технический характер. Надеюсь, что кто-то может привести простой пример.

14 regression  multiple-regression  econometrics 

Пройдя немного лаконичную математику, я думаю, что у меня есть небольшая интуиция оценки плотности ядра. Но я также знаю, что оценка многомерной плотности для более чем трех переменных может быть не очень хорошей идеей с точки зрения статистических свойств ее оценок. Итак, в каких ситуациях я должен оценивать, скажем, двумерную …

14 nonparametric  pdf  kernel-smoothing  bivariate  density-estimation 

Какова асимптотическая временная сложность регрессии Лассо по мере роста числа строк или столбцов?

14 lasso  time-complexity