Статистика и большие данные

После года, проведенного в аспирантуре, мое понимание «взвешенных наименьших квадратов» таково: пусть , будет некоторой матрицей проектирования, \ boldsymbol \ beta \ in \ mathbb {R} ^ p - вектор параметров, \ boldsymbol \ epsilon \ in \ mathbb {R} ^ n - вектор ошибок, такой что \ boldsymbol \ …

12 r  linear-model  weighted-regression 

В книге Бишопа « Распознавание образов и машинное обучение» я прочитал следующее сразу после того, как была представлена ​​плотность вероятности :p(x∈(a,b))=∫bap(x)dxp(x∈(a,b))=∫abp(x)dxp(x\in(a,b))=\int_a^bp(x)\textrm{d}x При нелинейном изменении переменной плотность вероятности преобразуется не так, как в простой функции, благодаря фактору Якоби. Например, если мы рассмотрим замену переменных , то функция становится . Теперь рассмотрим …

12 machine-learning  probability 

Недавно я рассмотрел алгоритм XGBoost и заметил, что этот алгоритм может обрабатывать недостающие данные (не требуя вменения) на этапе обучения. Мне было интересно, может ли XGboost обрабатывать недостающие данные (не требуя вменения), когда он используется для прогнозирования новых наблюдений или необходимо вменять недостающие данные. Заранее спасибо.

12 machine-learning  missing-data  data-imputation  xgboost 

Я заметил, что при построении моделей регрессии случайных лесов, по крайней мере, в R, прогнозируемое значение никогда не превышает максимальное значение целевой переменной, видимое в данных обучения. В качестве примера см. Код ниже. Я строю регрессионную модель для прогнозирования mpgна основе mtcarsданных. Я строю модели OLS и случайных лесов и …

12 r  random-forest 

Я собираюсь использовать тест Колмогорова-Смирнова, чтобы проверить нормальность MYDATA в R. Это пример того, что я делаю ks.test(MYDATA,"pnorm",mean(MYDATA),sd(MYDATA)) Вот результат, который дает мне R: data: MYDATA D = 0.13527, p-value = 0.1721 alternative hypothesis: two-sided Warning message: In ks.test(MYDATA, "pnorm", mean(MYDATA), sd(MYDATA)) : ties should not be present for the …

12 kolmogorov-smirnov  ties 

Я читаю статью « Распространение ошибок методом Монте-Карло в геохимических расчетах», Anderson (1976), и есть кое-что, что я не совсем понимаю. Рассмотрим некоторые измеренные данные и программу, которая обрабатывает их и возвращает заданное значение. В статье эта программа используется, чтобы сначала получить лучшее значение, используя средства данных (то есть: ).{ …

12 bootstrap  monte-carlo  error 

LASSO и адаптивный LASSO - это разные вещи, верно? (Для меня штрафы выглядят по-другому, но я просто проверяю, что я что-то упускаю.) Когда вы вообще говорите об эластичной сетке, это особый случай LASSO или адаптивный LASSO? Что делает пакет glmnet, если вы выберете alpha = 1? Адаптивный LASSO работает в …

12 lasso  glmnet  elastic-net  oracle 

Часто я вижу, что авторы оценивают модель «логарифмической разницы», например log(yt)−log(yt−1)=log(yt/yt−1)=α+βxtlog⁡(yt)−log⁡(yt−1)=log⁡(yt/yt−1)=α+βxt\log (y_t)-\log(y_{t-1}) = \log(y_t/y_{t-1}) = \alpha + \beta x_t Я согласен, что уместно соотносить с процентным изменением тогда как - это .y t log ( y t ) I ( 1 )ИксTxTx_tYTYTy_tжурнал( уT)журнал⁡(YT)\log (y_t)я( 1 )я(1)I(1) Но логарифмическая разница является …

12 time-series  forecasting  data-transformation  econometrics  logarithm 

Я хочу сделать выборку из одномерной плотности но я знаю только соотношение:еИксеИксf_X еИкс( х ) = ∫еИкс| Y( х | у) fY( у) гY,еИкс(Икс)знак равно∫еИкс|Y(Икс|Y)еY(Y)dY,f_X(x) = \int f_{X\vert Y}(x\vert y)f_Y(y) dy. Я хочу избежать использования MCMC (непосредственно на интегральном представлении) и, так как и f Y ( y ) легко …

12 sampling  conditional-probability  monte-carlo  marginal 

Я читал о метриках регрессии в питоне scikit учиться ручным и даже если каждый из них имеет свою собственную формулу, я не могу сказать , интуитивно , что разница между и дисперсией баллами и поэтому , когда использовать один или другой , чтобы оценить мои модели.р2р2R^2

12 regression  variance  scikit-learn  r-squared  model-evaluation 

Есть несколько сводных статистических данных. Если вы хотите описать разброс распределения, вы можете использовать, например, стандартное отклонение или коэффициент Джини . Я знаю, что стандартное отклонение основано на центральной тенденции, то есть отклонении от среднего, а коэффициент Джини является общим измерением дисперсии. Я также знаю, что коэффициент Джини имеет нижнюю …

12 standard-deviation  descriptive-statistics  gini 

Это моя первая попытка того, чтобы кто-то из лагеря для частых людей сделал анализ байесовских данных. Я прочитал несколько учебников и несколько глав из Байесовского анализа данных А. Гельмана. В качестве первого более или менее независимого примера анализа данных я выбрал время ожидания поезда. Я спросил себя: каково распределение времени …

12 bayesian  pymc 

Я сейчас изучаю рандомизированные тесты. Мне на ум приходят два вопроса: Да, легко и интуитивно понятно, как значение p вычисляется с помощью теста рандомизации (который, я думаю, совпадает с тестом перестановки?). Тем не менее, как мы можем также генерировать 95% доверительный интервал, как мы делаем с обычными параметрическими тестами? Когда …

12 confidence-interval  p-value  permutation-test 

В обучении с подкреплением линейное приближение функции часто используется, когда присутствуют большие пространства состояний. (Когда поиск таблиц становится невозможным.) Форма значения с приближением линейной функции определяется какQ−Q−Q- Q(s,a)=w1f1(s,a)+w2f2(s,a)+⋯,Q(s,a)=w1f1(s,a)+w2f2(s,a)+⋯,Q(s,a) = w_1 f_1(s,a) + w_2 f_2(s,a) + \cdots, где - веса, а - характеристики.wiwiw_ififif_i Функции предопределены пользователем. У меня вопрос, как распределяются …

12 machine-learning  feature-selection  reinforcement-learning 

В классической модели посредничества у нас есть пути, показанные на диаграмме ниже , на котором первый шаг тестирования посреднического эффекта М между X и Y заключается в том, что X значительно коррелирует с Y (как показано на панели A на рисунке). Тем не менее, я столкнулся с ситуацией, когда путь …

12 mediation  path-model