Статистика и большие данные

В нескольких ответах, которые я видел, пользователи CrossValidated предлагают OP найти ранние статьи о Lasso, Ridge и Elastic Net. Для потомков, каковы основополагающие работы в Lasso, Ridge и Elastic Net?

10 references  lasso  regularization  ridge-regression  elastic-net 

Если у меня есть проектная матрица , где - число наблюдений измерения , какова сложность решения для с LASSO, без и ? Я думаю, что ответ должен относиться к тому, как масштабируется одна итерация LASSO с этими параметрами, а не к тому, как масштабируется количество итераций (сходимость), если вы не …

10 optimization  lasso  regularization  time-complexity 

Я экспериментировал с отношением между ошибками и невязками, используя несколько простых симуляций в R. Одна вещь, которую я обнаружил, заключается в том, что независимо от размера выборки или дисперсии ошибок, я всегда получаю ровно для наклона, когда вы подходите к модели111 е т г о т ы ~ β0+ β1× …

10 regression  least-squares  residuals 

Интересно, в чем разница между этими двумя видами приоры: Неинформативных неподходящий

10 bayesian  prior  improper-prior 

Я столкнулся с вопросом об интервью для работы, на которой интервьюер спросил меня, предположим, что ваш очень низок (от 5 до 10%) для модели ценовой эластичности. Как бы вы решили этот вопрос?R2R2R^2 Я не мог думать ни о чем другом, кроме того факта, что я буду проводить регрессионную диагностику, чтобы …

10 regression  self-study  theory 

Почему я получаю разные прогнозы для ручного полиномиального расширения и использую polyфункцию R ? set.seed(0) x <- rnorm(10) y <- runif(10) plot(x,y,ylim=c(-0.5,1.5)) grid() # xp is a grid variable for ploting xp <- seq(-3,3,by=0.01) x_exp <- data.frame(f1=x,f2=x^2) fit <- lm(y~.-1,data=x_exp) xp_exp <- data.frame(f1=xp,f2=xp^2) yp <- predict(fit,xp_exp) lines(xp,yp) # using poly …

10 r  regression  polynomial 

Я понимаю механизм вычисления весов, используя оценки склонности : а затем применяют веса в регрессионном анализе, и эти веса служат для «контролировать» или разъединять эффекты ковариат в группах лечения и контрольной группы с переменной результата.w i , j = t r e a tp(xi)p(xi)p(x_i)wi,j=treatwi,j=control=1p(xi)=11−p(xi)wi,j=treat=1p(xi)wi,j=control=11−p(xi)\begin{align} w_{i, j={\rm treat}} &= \frac{1}{p(x_i)} \\[5pt] …

10 intuition  weighted-regression  propensity-scores 

Как мне выбрать образец из следующего дистрибутива? x ∼ B ( α , β) , х > к x∼B(α,β), x>k x \sim B(\alpha, \beta),\space x > k Если не слишком велико, то выборка отклонения может быть лучшим подходом, но я не уверен, как действовать, когда k велико. Возможно, есть какое-то …

10 random-generation  beta-distribution  truncation 

Я пытаюсь проверить способность случайного леса классифицировать выборки между 2 группами; Для классификации используются 54 образца и различное количество переменных. Мне было интересно, почему оценки «вне сумки» могут отличаться на 5% друг от друга, даже если я использую 50 000 деревьев? Может ли это помочь с начальной загрузкой?

10 machine-learning  random-forest 

Недавно я принимал участие в нескольких обсуждениях статистики по Лассо (регуляризация), и постоянно поднимается вопрос: мы не очень понимаем, почему Лассо работает или почему он так хорошо работает. Мне интересно, к чему относится это утверждение. Очевидно, я понимаю, почему Лассо работает технически, путем предотвращения переоснащения путем сокращения параметров, но мне …

10 machine-learning  lasso  regularization 

Может ли любая непрерывная функция на [a, b], где a и b являются действительными числами, быть аппроксимированной или произвольно близкой к функции (в некоторой норме) гауссовскими процессами (регрессия)?

10 gaussian-process  approximation 

Я пытаюсь использовать радиочастотную регрессию для прогнозирования производительности бумажной фабрики. У меня есть поминутные данные для входных данных (скорость и количество поступающей древесной массы и т. Д.), А также для производительности машины (произведенная бумага, мощность, потребляемая машиной), и я собираюсь сделать прогноз на 10 минут впереди на переменных производительности. У …

10 time-series  forecasting  cross-validation  random-forest  autoregressive 

При обсуждении показателей достижения результатов, есть ли способ показать, что 0 из 20 попыток "хуже", чем 0 из 10 попыток?

10 probability  sampling 

Я следую учебнику по Mensist Tensorflow ( https://github.com/tensorflow/tensorflow/blob/master/tensorflow/examples/tutorials/mnist/mnist_softmax.py ). Учебник использует tf.train.Optimizer.minimize(конкретно tf.train.GradientDescentOptimizer). Я не вижу каких-либо аргументов, передаваемых где-либо для определения градиентов. Тензорный поток использует числовое дифференцирование по умолчанию? Есть ли способ передать градиенты, как вы можете с scipy.optimize.minimize?

10 python  optimization  tensorflow 

Я видел это обозначение для обычных наименьших квадратов здесь . минвес∥ Xж - у∥22minw‖Xw−y‖22 \min_w \left\| Xw - y \right\|^2_2 Я никогда не видел двойных баров и 2 внизу. Что означают эти символы? У них есть определенная терминология для них?

10 regression  least-squares  linear-model  linear-algebra  notation