Статистика и большие данные

Есть ли простой способ объяснить, почему процедура Бенджамини и Хохберга (1995) фактически контролирует частоту ложного обнаружения (FDR)? Эта процедура настолько элегантна и компактна, и все же доказательство того, почему она работает в условиях независимости (см. В приложении к статье 1995 года ), не очень доступно.

14 intuition  false-discovery-rate  teaching 

Мне нравится понимать разницу между моделью пересечения или без нее в логистической регрессии Есть ли какая-то разница между ними, за исключением того, что при пересечении коэффициенты относятся к логарифму (коэффициенту шансов) относительно базовой группы, а без пересечения они относятся к логу (коэффициенту)? из того, что я видел, коэффициенты одинаковы в …

14 regression  logistic  interpretation  model  intercept 

Scikit имеет CalibratedClassifierCV , который позволяет нам калибровать наши модели по определенной паре X, Y. В нем также четко указано, чтоdata for fitting the classifier and for calibrating it must be disjoint. Если они должны быть непересекающимися, законно ли обучать классификатор следующим? model = CalibratedClassifierCV(my_classifier) model.fit(X_train, y_train) Я боюсь, что, …

14 cross-validation  scikit-learn  validation  train  calibration 

Меня действительно смущает различие в значении относительно контекста линейной регрессии следующих терминов: F статистика R в квадрате Остаточная стандартная ошибка Я нашел эту веб-страницу, которая дала мне отличное понимание различных терминов, связанных с линейной регрессией, однако упомянутые выше термины выглядят довольно много (насколько я понимаю). Я процитирую то, что я …

14 linear-model  nonlinear-regression  linear  f-statistic 

Какова формула (приблизительная или точная) для интервала предсказания для биномиальной случайной величины? Предположим, что Y∼Binom(n,p)Y∼Binom(n,p)Y \sim \mathsf{Binom}(n, p) , и мы наблюдаем yyy (взятый из YYY ). nnn известно. Наша цель состоит в том, чтобы получить интервал прогнозирования на 95% для нового розыгрыша от YYY . Оценка точка np^np^n\hat{p} , …

14 confidence-interval  binomial  prediction-interval 

Я понимаю процедуру и то, что она контролирует. Итак, какова формула для скорректированного значения p в процедуре ЧД для множественных сравнений? Только сейчас я понял, что исходная ЧД не выдает скорректированные значения p, а только скорректировала (не) условие отклонения: https://www.jstor.org/stable/2346101 . Гордон Смит в любом случае ввел скорректированные p-значения ЧД …

14 hypothesis-testing  p-value  multiple-comparisons  false-discovery-rate 

Опросы, проводимые там (скажем, Gallup), показывают неимоверно низкое количество людей по сравнению с численностью населения (например, возможно, тысяча человек из сотен миллионов). Теперь для меня выборка населения как средство оценки статистики населения имеет смысл, когда у вас есть веские основания полагать, что выборки являются репрезентативными для населения (или, аналогично, других …

14 sampling  sample-size 

Я хочу знать, является ли процесс, описанный ниже, действительным / приемлемым и доступно ли любое обоснование. Идея: контролируемые алгоритмы обучения не предполагают базовых структур / распределений данных. В конце дня они выводят точечные оценки. Я надеюсь как-то количественно оценить неопределенность оценок. Теперь процесс построения модели ML по своей природе является …

14 machine-learning  confidence-interval  bootstrap  supervised-learning  gbm 

Я видел оператор do(x)do(x)do(x) везде в обзоре литературы, который я делаю о причинности (см., Например, эту запись в Википедии ). Однако я не могу найти формальное и общее определение этого оператора. Может кто-нибудь указать мне хорошую ссылку на это? Меня интересует общее определение, а не его интерпретация в конкретном эксперименте.

14 references  causality  definition 

У меня возникли некоторые трудности в понимании интерпретации теста 2S KS и того, чем он отличается от обычного t теста между двумя группами. Допустим, у меня есть мужчины и женщины, выполняющие какое-то задание, и я собираю несколько баллов по этому заданию. Моя конечная цель - определить, по-разному ли мужчины и …

14 distributions  t-test  interpretation  kolmogorov-smirnov 

Традиционно мы используем смешанную модель для моделирования продольных данных, то есть таких данных, как: id obs age treatment_lvl yield 1 0 11 M 0.2 1 1 11.5 M 0.5 1 2 12 L 0.6 2 0 17 H 1.2 2 1 18 M 0.9 мы можем предположить случайный перехват или …

14 machine-learning  data-transformation  random-forest  panel-data  large-data 

Я знаю, что R имеет библиотеки gam и mgcv для обобщенных аддитивных моделей. Но я испытываю трудности с поиском их аналогов в экосистеме Python (у statsmodels есть только прототип в песочнице). Кто-нибудь знает о существующих библиотеках Python? Кто знает, что это может быть хорошим проектом для развития / содействия scikit-learn, …

14 gam 

В регрессии гребня целевая функция, которая должна быть минимизирована: RSS+λ∑β2j.RSS+λ∑βj2.\text{RSS}+\lambda \sum\beta_j^2. Можно ли это оптимизировать с помощью метода множителей Лагранжа? Или это прямая дифференциация?

14 regression  regularization  ridge-regression 

Контекст : Я хочу , чтобы нарисовать линию в диаграмме рассеяния , что не появляется параметрическими, поэтому я использую geom_smooth()в ggplotв R. Он автоматически возвращает geom_smooth: method="auto" and size of largest group is >=1000, so using gam with formula: y ~ s(x, bs = "cs"). Use 'method = x' to …

14 r  gam  splines  loess  r  data-visualization  boxplot  mathematical-statistics  theory  sufficient-statistics  machine-learning  classification  correlation  svm  feature-selection  probability  stochastic-processes  machine-learning  reinforcement-learning 

Я не могу понять Тэмпсон Сэмплинг и как это работает. Я читал о Multi Arm Bandit и после прочтения Upper Confidence Bound Algorithm многие тексты предположили, что сэмплинг Thompson работает лучше, чем UCB. Что такое Тэмпсон Сэмплинг, с точки зрения непрофессионала или просто? Не стесняйтесь предоставлять справочные статьи для дальнейшего …

14 machine-learning  definition  multiarmed-bandit