Статистика и большие данные

Есть несколько постов о том, как выбирать функции. Один из методов описывает важность функции на основе t-статистики. В R, varImp(model)примененном к линейной модели со стандартизованными характеристиками, используется абсолютное значение t-статистики для каждого параметра модели. Итак, в основном мы выбираем функцию на основе ее t-статистики, то есть, насколько точным является коэффициент. …

12 regression  p-value  feature-selection 

У меня есть траектория объекта в 2D-пространстве (поверхности). Траектория задается в виде последовательности (x,y)координат. Я знаю, что мои измерения шумят, и иногда у меня есть очевидные выбросы. Итак, я хочу отфильтровать свои наблюдения. Насколько я понял фильтр Калмана, он делает именно то, что мне нужно. Итак, я пытаюсь использовать это. …

12 python  kalman-filter  smoothing 

Что такое лучший способ объяснить , почему , это не является хорошим показателем, скажем, по сравнению с F1?Точность + ОтзывPrecision+Recall\text{Precision} + \text{Recall}

12 precision-recall 

В R у меня есть выборка из 348 мер, и я хочу знать, могу ли я предположить, что она обычно распространяется для будущих тестов. По сути, следуя другому ответу из стека , я смотрю на график плотности и график QQ: plot(density(Clinical$cancer_age)) qqnorm(Clinical$cancer_age);qqline(Clinical$cancer_age, col = 2) У меня нет большого опыта …

12 r  normal-distribution 

В курсе машинного обучения я узнал, что одним из распространенных применений PCA ( анализ основных компонентов ) является ускорение других алгоритмов машинного обучения. Например, представьте, что вы тренируете модель логистической регрессии. Если у вас есть обучающий набор для i от 1 до n, и оказывается, что размер вашего вектора x …

12 machine-learning  pca 

Я изучал линейную регрессию и попробовал ее на приведенном ниже множестве {(x, y)}, где x указал площадь дома в квадратных футах, а y - цену в долларах. Это первый пример в Andrew Ng Notes . 2104.400 1600.330 2400.369 1416.232 3000.540 Я разработал пример кода, но когда я его запускаю, стоимость …

12 regression  least-squares  gradient-descent  supervised-learning 

В документе, представляющем DQN « Игра Atari с глубоким обучением подкреплению », упоминалось: Обратите внимание, что при обучении с помощью повторного опыта необходимо учиться вне политики (поскольку наши текущие параметры отличаются от тех, которые используются для генерации образца), что мотивирует выбор Q-обучения. Я не совсем понял, что это значит. Что …

12 reinforcement-learning 

Я слышу эти слова все больше и больше, когда изучаю машинное обучение. Фактически, некоторые люди выиграли медаль Филдса, работающую над закономерностями уравнений. Итак, я думаю, что это термин, который переносится от статистической физики / математики к машинному обучению. Естественно, некоторые люди, которых я спросил, просто не могли это интуитивно объяснить. …

12 machine-learning  self-study  terminology  regularization  definition 

Вот проблема наименьшего абсолютного отклонения в данной области:, Я знаю, что это может быть перестроено как проблема LP следующим образом:argminwL(w)=∑ni=1|yi−wTx|arg⁡minwL(w)=∑i=1n|yi−wTx| \underset{\textbf{w}}{\arg\min} L(w)=\sum_{i=1}^{n}|y_{i}-\textbf{w}^T\textbf{x}| min∑ni=1uimin∑i=1nui\min \sum_{i=1}^{n}u_{i} ui≥xTw−yii=1,…,nui≥xTw−yii=1,…,nu_i \geq \textbf{x}^T\textbf{w}- y_{i} \; i = 1,\ldots,n ui≥−(xTw−yi)i=1,…,nui≥−(xTw−yi)i=1,…,nu_i \geq -\left(\textbf{x}^T\textbf{w}-y_{i}\right) \; i = 1,\ldots,n Но я понятия не имею, чтобы решить это шаг за шагом, …

12 regression  optimization  quantile-regression  linear-programming  least-absolute-deviations 

В чем разница между наименьшими квадратами и линейной регрессией? Это то же самое?

12 regression  least-squares  terminology 

Рассмотрим эксперимент, который выводит отношение между 0 и 1. То, как это соотношение получается, не должно быть уместным в этом контексте. Он был разработан в предыдущей версии этого вопроса , но удален для ясности после обсуждения мета .ИксяXiX_i Этот эксперимент повторяется раз, пока мало (около 3-10). Предполагается, что независимы и …

12 confidence-interval 

В своей книге «Анализ байесовских данных» Джон Крушке утверждает, что при использовании JAGS из R ... оценка режима из выборки MCMC может быть довольно нестабильной, поскольку оценка основана на алгоритме сглаживания, который может быть чувствителен к случайным ударам и пульсациям в выборке MCMC. ( Выполнение байесовского анализа данных , стр. …

12 bayesian  mcmc  mode 

Я использую Orange Canvas, и я создал точечный график. У меня есть возможность дрожать непрерывных переменных, но я действительно не знаю, зачем мне это делать. В чем суть джиттера?

12 data-visualization  scatterplot 

Я учусь использовать пакет BTYD, который использует модель Парето / NBD, чтобы предсказать, когда клиент вернется. Тем не менее, вся литература по этой модели полна математики, и, похоже, нет простого / концептуального объяснения работы этой модели. Можно ли понять модель Парето / NBD для нематематиков? Я прошел через эту знаменитую …

12 distributions  gamma-distribution  marketing  pareto 

Ортогональные многочлены в одномерном наборе точек - это многочлены, которые производят значения в этих точках таким образом, что их произведение точек и попарная корреляция равны нулю. R может создавать ортогональные многочлены с функцией poly . Эта же функция имеет вариант polym, который создает ортогональные полиномы на множестве многовариантных точек. В …

12 r  multiple-regression  polynomial  orthogonal