Статистика и большие данные

Во время мини-пакетного обучения нейронной сети я слышал, что важной практикой является перетасовывание данных обучения перед каждой эпохой. Может кто-нибудь объяснить, почему тасование в каждую эпоху помогает? Из поиска Google, я нашел следующие ответы: это помогает тренировке сходиться быстро предотвращает смещение во время тренировки это мешает модели узнать порядок обучения …

15 neural-networks 

Что такое функция генерации момента (MGF)? Можете ли вы объяснить это с точки зрения непрофессионала и вместе с простым и легким примером? Пожалуйста, ограничьте использование формальных математических обозначений, насколько это возможно.

15 moments  intuition  mgf 

Я читал об оптимизаторе Адама для глубокого обучения и натолкнулся на следующее предложение в новой книге Бегнио, Гудфеллоу и Кортвилла « Глубокое обучение »: Адам включает поправки смещения к оценкам как моментов первого порядка (члена импульса), так и (нецентрированных) моментов второго порядка, чтобы учесть их инициализацию в начале координат. Кажется, …

15 machine-learning  neural-networks  optimization  conv-neural-network  adam 

Использует ли сравнение элементов F-regressionто же самое, что и сопоставление элементов с меткой по отдельности и соблюдение значения ?р2R2R^2 Я часто видел, как мои коллеги использовали F regressionдля выбора функций в своем конвейере машинного обучения из sklearn: sklearn.feature_selection.SelectKBest(score_func=sklearn.feature_selection.f_regression...)` Некоторые, пожалуйста, скажите мне - почему это дает те же результаты, что …

15 feature-selection  python  scikit-learn  r-squared  f-test 

Места, которые я читал о проклятии размерности, объясняют его в первую очередь в связи с kNN и линейными моделями в целом. Я регулярно вижу топ-рейтингов в Kaggle, использующих тысячи функций в наборе данных, который вряд ли имеет 100 тыс. Точек данных. Они в основном используют Boosted деревья и NN, среди …

15 neural-networks  svm  k-means  k-nearest-neighbour  high-dimensional 

В базовом машинном обучении нас учат следующим «правилам большого пальца»: а) размер ваших данных должен как минимум в 10 раз превышать размер VC вашего набора гипотез. б) нейронная сеть с N соединениями имеет размерность VC приблизительно N. Итак, когда в нейронной сети с глубоким обучением говорят, миллионы единиц, значит ли …

15 machine-learning  neural-networks  deep-learning  vc-dimension 

Я искал способы сделать тест отношения правдоподобия в R, чтобы сравнить подгонки модели. Сначала я сам его кодировал, затем нашел и anova()функцию по умолчанию, и также lrtest()в lmtestпакете. Когда я проверял, тем не менее, anova()всегда выдает немного другое значение p, чем у двух других, даже если для параметра «test» установлено …

15 r  anova  likelihood-ratio 

Закрыто. Этот вопрос не по теме . В настоящее время он не принимает ответы. Хотите улучшить этот вопрос? Обновите вопрос, чтобы он соответствовал теме перекрестной проверки. Закрыто 3 года назад . Я строю логистическую регрессию в R, используя метод LASSO с функциями cv.glmnetдля выбора lambdaи glmnetдля окончательной модели. Я уже …

15 r  logistic  categorical-data  lasso  glmnet 

Если где , то есть все - это нормальные случайные переменные нулевого среднего с одинаковыми дисперсиями, затемY=∑i=1NX2iY=∑i=1NXi2Y=\sum_{i=1}^{N}X_i^2Xi∼N(0,σ2)Xi∼N(0,σ2)X_i \sim \mathcal{N}(0,\sigma^2)XiXiX_iY∼Γ(N2,2σ2).Y∼Γ(N2,2σ2).Y \sim \Gamma\left(\frac{N}{2},2\sigma^2\right). Я знаю , что хи-квадрат распределение является частным случаем гамма - распределения, но не может получить распределение хи-квадрат для случайной величины . Любая помощь, пожалуйста?YYY

15 chi-squared  gamma-distribution 

Я ищу метод для преобразования моего набора данных из его текущего среднего значения и стандартного отклонения в целевое среднее значение и целевое стандартное отклонение. По сути, я хочу уменьшить / расширить дисперсию и масштабировать все числа до среднего. Это не работает, чтобы сделать два отдельных линейных преобразования, одно для стандартного …

15 data-transformation  standard-deviation  mean 

В общих настройках алгоритма градиентного спуска мы имеем где - текущая точка, - размер шага, а - градиент оценивается в . х п η г г д я е н т х п х пИксn + 1= хN- η∗ гр а дя е н тИксNxn+1=xn−η∗gradientxnx_{n+1} = x_{n} - \eta * …

15 algorithms  optimization 

Я хочу использовать при распределении для моделирования доходности активов с коротким интервалом в байесовской модели. Я хотел бы оценить обе степени свободы (наряду с другими параметрами в моей модели) для распределения. Я знаю, что доходность активов совершенно ненормальная, но я не знаю слишком много за этим. Что является подходящим, слегка …

15 distributions  bayesian  modeling  prior 

Я обучил две модели (двоичные классификаторы с использованием h2o AutoML) и хочу выбрать одну для использования. У меня есть следующие результаты: model_id auc logloss logloss_train logloss_valid gini_train gini_valid DL_grid_1 0.542694 0.287469 0.092717 0.211956 0.872932 0.312975 DL_grid_2 0.543685 0.251431 0.082616 0.186196 0.900955 0.312662 aucи loglossстолбцы метрики кросс-валидации (кросс проверки использует только …

15 model-selection  validation  auc  gini  log-loss 

В дискриминантном анализе зависимая переменная является категориальной, но могу ли я использовать категориальную переменную (например, статус проживания: сельский, городской) вместе с некоторой другой непрерывной переменной в качестве независимой переменной в линейном дискриминантном анализе?

15 logistic  categorical-data  discriminant-analysis  regression-strategies 

При использовании начальной загрузки для оценки модели я всегда думал, что образцы из пакета были непосредственно использованы в качестве тестового набора. Однако, похоже, что это не относится к устаревшему подходу scikit-learnBootstrap , который, похоже, строит тестовый набор из чертежа с заменой из подмножества данных из пакета. Что за статистическое обоснование …

15 cross-validation  bootstrap  random-forest  scikit-learn  bagging