Статистика и большие данные

Я изо всех сил пытаюсь понять разницу между стандартной ошибкой и стандартным отклонением. Чем они отличаются и почему нужно измерять стандартную ошибку?

96 mean  standard-deviation  standard-error  intuition 

При использовании SVM нам нужно выбрать ядро. Интересно, как выбрать ядро. Какие-либо критерии выбора ядра?

96 machine-learning  svm  kernel-trick 

Определенные гипотезы могут быть проверены с использованием t- критерия Стьюдента (возможно, с использованием поправки Уэлча для неравных отклонений в случае двух выборок) или с помощью непараметрического теста, такого как парный критерий Уилкоксона со знаком, ранговый критерий Уилкоксона-Манна-Уитни, или парный тест знака. Как мы можем принять принципиальное решение о том, какой …

96 hypothesis-testing  t-test  nonparametric  small-sample  wilcoxon-mann-whitney 

Существуют ли какие-либо справочные документы, в которых содержится полный список функций активации в нейронных сетях вместе с их плюсами / минусами (и в идеале некоторые ссылки на публикации, где они были успешными или не очень успешными)?

95 neural-networks  references 

Многие книги и учебные пособия по нейронной сети тратят много времени на алгоритм обратного распространения, который по сути является инструментом для вычисления градиента. Давайте предположим, что мы строим модель с ~ 10K параметров / весов. Можно ли запустить оптимизацию, используя некоторые алгоритмы оптимизации без градиента? Я думаю, что вычисление числового …

94 machine-learning  neural-networks  optimization  backpropagation 

Какая разница между скоростью обучения и снижением веса в контексте нейронных сетей?

94 neural-networks  terminology 

Фраза p- взлома (также: «выемка данных» , «отслеживание» или «промысел») относится к различным видам статистической халатности, в которой результаты становятся искусственно статистически значимыми. Есть много способов добиться «более значительного» результата, включая, но не ограничиваясь: анализ только «интересного» подмножества данных , в котором был найден паттерн; отсутствие правильной настройки для многократного …

94 hypothesis-testing  statistical-significance  p-value  model-selection  reproducible-research 

Какую книгу вы бы порекомендовали ученым, которые не являются статистиками? Чистая доставка наиболее ценится. А также объяснение соответствующих методов и методов для типичных задач: анализ временных рядов, представление и агрегация больших наборов данных.

94 references 

Предположим, у меня есть большой набор многомерных данных, по крайней мере, с тремя переменными. Как я могу найти выбросы? Парные диаграммы рассеяния не будут работать, поскольку выброс может существовать в трех измерениях, который не является выбросом ни в одном из двухмерных подпространств. Я имею в виду не проблему регрессии, а …

94 multivariate-analysis  outliers 

В своей работе я часто работаю с наборами данных других людей, неспециалисты приносят мне клинические данные, и я помогаю им обобщать их и выполнять статистические тесты. Проблема, с которой я сталкиваюсь, состоит в том, что наборы данных, которые я привожу, почти всегда полны опечаток, несоответствий и других проблем. Мне интересно …

93 dataset  outliers  checking 

Интересно, как вычислить точность и вспомнить использование путаницы для решения задачи классификации нескольких классов. В частности, наблюдение может быть назначено только его наиболее вероятному классу / метке. Я хотел бы вычислить: Точность = TP / (TP + FP) Напомним = TP / (TP + FN) для каждого класса, а затем …

92 machine-learning  classification  precision-recall  multi-class 

Я понимаю, что стационарный временной ряд - это тот, чье среднее значение и дисперсия постоянны во времени. Может кто-нибудь объяснить, почему мы должны убедиться, что наш набор данных является стационарным, прежде чем мы сможем запустить на нем различные модели ARIMA или ARM? Относится ли это также к нормальным регрессионным моделям, …

92 regression  time-series  stationarity 

Когда кто-то начинает интересоваться статистикой, дихотомия «Частый» и «Байесовский» вскоре становится обычным явлением (а кто вообще не читал « Сигнал и шум» Нейта Сильвера ?). В беседах и вводных курсах точка зрения является чрезвычайно частой ( MLE , значения), но есть небольшая часть времени, посвященная восхищению формулой Байеса и касанием …

92 bayesian  mathematical-statistics  inference  bayes  frequentist 

Как можно использовать вложенную перекрестную проверку для выбора модели ? Из того, что я читаю онлайн, вложенное резюме работает следующим образом: Существует внутренний цикл CV, где мы можем проводить поиск по сетке (например, запустив K-fold для каждой доступной модели, например, комбинацию гиперпараметров / функций) Существует внешняя петля CV, где мы …

92 cross-validation  model-selection 

Я много раз слышал о проклятии размерности, но почему-то до сих пор не могу понять идею, все туманно. Может ли кто-нибудь объяснить это наиболее интуитивно понятным способом, как вы объясните это ребенку, чтобы я (и другие, сбитые с толку, как я) могли понять это навсегда? РЕДАКТИРОВАТЬ: Теперь предположим, что ребенок …

92 machine-learning  dimensionality-reduction  high-dimensional