Статистика и большие данные

Вот небольшой пример: MyDf<-data.frame(x=c(1,2,3,4), y=c(1.2, .7, -.5, -3)) Теперь с base::lm: > lm(y~x, data=MyDf) %>% summary Call: lm(formula = y ~ x, data = MyDf) Residuals: 1 2 3 4 -0.47 0.41 0.59 -0.53 Coefficients: Estimate Std. Error t value Pr(>|t|) (Intercept) 3.0500 0.8738 3.491 0.0732 . x -1.3800 0.3191 …

12 r  regression  p-value  linear-model 

Я хочу знать разницу между линейной регрессией в обычном анализе машинного обучения и линейной регрессией в условиях «глубокого обучения». Какие алгоритмы используются для линейной регрессии в условиях глубокого обучения.

12 regression  machine-learning  deep-learning 

Термины «повышающая дискретизация» и «транспонированная свертка» используются, когда вы делаете «деконволюцию» (<- не очень хороший термин, но позвольте мне использовать его здесь). Первоначально я думал, что они означают одно и то же, но мне кажется, что они разные после того, как я прочитал эти статьи. кто-нибудь может уточнить, пожалуйста? Транспонировать …

12 machine-learning  neural-networks  conv-neural-network  transposed-convolution 

У меня есть набор данных, состоящий из пропорций, которые измеряют «уровень активности» отдельных головастиков, поэтому устанавливаются значения между 0 и 1. Эти данные были собраны путем подсчета количества перемещений человека за определенный промежуток времени (1 для движения, 0 для отсутствия движения), а затем усредняется, чтобы создать одно значение на человека. …

12 r  mixed-model  random-effects-model  beta-distribution  beta-regression 

Я читал статью « Глубокое остаточное обучение для распознавания изображений», и мне было трудно со 100% -ной уверенностью понять, что остаточный блок влечет за собой в вычислительном отношении. Читая их бумагу, у них есть рисунок 2: который иллюстрирует то, что должен быть Остаточный Блок. Является ли вычисление остаточного блока просто …

12 machine-learning  neural-networks  deep-learning  conv-neural-network  residual-networks 

Я понимаю связь между анализом главных компонентов и разложением по сингулярным значениям на алгебраическом / точном уровне. Мой вопрос о реализации scikit-learn . Документация гласит: « [TruncatedSVD] очень похож на PCA, но работает непосредственно с векторами выборки, а не с ковариационной матрицей », что будет отражать алгебраическое различие между обоими …

12 pca  scikit-learn  svd  scipy 

На этом посте вы можете прочитать заявление: Модели обычно представлены точками θθ\theta на конечномерном многообразии. В дифференциальной геометрии и статистике Майкла К. Мюррея и Джона В. Райса эти понятия объясняются в прозе, читаемой даже без учета математических выражений. К сожалению, иллюстраций очень мало. То же самое касается этого поста на …

12 distributions  manifold-learning  information-geometry  topologies 

Байесовская книга Крушке гласит, что использование бета-дистрибутива для подбрасывания монеты Например, если у нас нет никаких предварительных знаний, кроме знания о том, что у монеты есть сторона головы и сторона хвоста, это равносильно тому, что ранее наблюдались одна голова и один хвост, что соответствует a = 1 и b = …

12 probability  bayesian  beta-distribution 

Я выполняю задачу бинарной классификации, где вероятность исхода довольно низкая (около 3%). Я пытаюсь решить, следует ли оптимизировать AUC или потерю журнала. Насколько я понял, AUC максимизирует способность модели различать классы, в то время как потери в журнале штрафуют расхождение между фактической и оценочной вероятностями. В моей задаче крайне важно …

12 classification  binary-data  auc  log-loss 

В машинном обучении (для проблем регрессии) я часто вижу среднеквадратическую ошибку (MSE) или среднюю абсолютную ошибку (MAE), используемую в качестве функции ошибки для минимизации (плюс термин регуляризации). Мне интересно, есть ли ситуации, когда использование коэффициента корреляции было бы более уместным? если такая ситуация существует, то: В каких ситуациях коэффициент корреляции …

12 regression  machine-learning  svm  optimization  deep-learning 

Я читаю здесь статью о статистических моделях в Википедии , и я несколько озадачен значением «непараметрических статистических моделей», а именно: Статистическая модель является непараметрической, если множество параметров бесконечномерно. Статистическая модель является полупараметрической, если она имеет как конечномерные, так и бесконечномерные параметры. Формально, если d - размерность Θ, а n - …

12 nonparametric  model 

В настоящее время я работаю над созданием прогнозирующей модели для двоичного результата на наборе данных с ~ 300 переменными и 800 наблюдениями. Я много читал на этом сайте о проблемах, связанных со ступенчатой ​​регрессией, и почему бы не использовать ее. Я изучал регрессию LASSO и ее способность выбирать функции и …

12 multiple-regression  predictive-models  interpretation  regression-coefficients  lasso 

Я начал с изучения нейронных сетей с помощью учебника по нейронным сетям и углублённому изучению точек. В частности, в 3-й главе есть раздел о функции кросс-энтропии, который определяет потерю кросс-энтропии как: С= - 1NΣИксΣJ( уJперaLJ+ ( 1 - уJ) пер( 1 - аLJ) )C=−1n∑x∑j(yjln⁡ajL+(1−yj)ln⁡(1−ajL))C = -\frac{1}{n} \sum\limits_x \sum\limits_j (y_j \ln …

12 neural-networks  loss-functions  softmax  cross-entropy 

Я хочу использовать начальную загрузку для оценки доверительных интервалов для оценочных параметров из набора панельных данных с N = 250 фирмами и T = 50 месяцем. Оценка параметров является вычислительно дорогой (несколько дней вычислений) из-за использования фильтрации Калмана и сложной нелинейной оценки. Поэтому отбор (с заменой) B (сотнями и более) …

12 confidence-interval  bootstrap  nonlinear-regression  kalman-filter 

Недавно я обновлял свои знания в области прогнозирования, работая над некоторыми ежемесячными прогнозами на работе и читая книгу Роба Хиндмана, но я борюсь за то, чтобы использовать модель экспоненциального сглаживания по сравнению с моделью ARIMA. Есть ли эмпирическое правило, где вы должны использовать одну методологию против другой? Кроме того, поскольку …

12 forecasting  arima  exponential-smoothing