Вопросы с тегом «hypothesis-testing»

Я отвечаю за представление результатов A / B-тестов (на разных сайтах) в моей компании. Мы запускаем тест в течение месяца, а затем регулярно проверяем p-значения до тех пор, пока не достигнем значимости (или откажемся, если значимость не будет достигнута после длительного выполнения теста), что я сейчас выясняю, что это ошибочная …

13 hypothesis-testing  statistical-significance  bias  ab-test  optimal-stopping 

Какие методы используются для тестирования алгоритмов генерации случайных величин?

12 algorithms  hypothesis-testing  random-variable  random-generation 

Тесты, такие как Z, t и некоторые другие, предполагают, что данные основаны на случайной выборке. Почему? Предположим, что я занимаюсь экспериментальными исследованиями, в которых мне важнее внутренняя достоверность, чем внешняя. Итак, если моя выборка может быть немного предвзятой, хорошо, поскольку я согласился не делать вывод о гипотезе для всего населения. …

12 hypothesis-testing  sampling  parametric  randomness 

Я изучал статистику несколько лет назад и забыл все это, поэтому они могут показаться общими концептуальными вопросами, а не чем-то конкретным, но вот моя проблема. Я работаю на сайте электронной коммерции как UX Designer. У нас есть система A / B-тестирования, созданная много лет назад, и я начинаю сомневаться в …

12 hypothesis-testing  sample-size  sequential-analysis 

контекст Группа социологов и статистиков ( Benjamin et al., 2017 ) недавно предположила, что типичный ложноположительный показатель ( = .05), используемый в качестве порога для определения «статистической значимости», должен быть скорректирован до более консервативного порога. ( = .005). Противоборствующая группа социологов и статистиков ( Lakens et al., 2018 ) ответила, …

12 hypothesis-testing  p-value  power  type-i-and-ii-errors 

Соревнования Kaggle определяют итоговые рейтинги на основе проведенного тестового набора. Выдержанный тестовый набор является образцом; он не может быть репрезентативным для моделируемого населения. Поскольку каждое представление похоже на гипотезу, алгоритм, выигравший соревнование, может, совершенно случайно, в конечном итоге соответствовать тестовому набору лучше, чем другие. Другими словами, если бы был выбран …

12 machine-learning  probability  hypothesis-testing  sample  kaggle 

Предположим, что у меня есть iid и я хочу сделать проверку гипотезы, что равно 0. Предположим, у меня большое n и я могу использовать центральную предельную теорему. Я также мог бы проверить, что равно 0, что должно быть эквивалентно проверке, что равно 0. Кроме того, сходится к хи-квадрату, где сходится …

12 hypothesis-testing  convergence  delta-method 

Некоторое время я использовал линейные модели для проведения тестов пропорции 2 образцов, но понял, что это может быть не совсем правильно. Похоже, что использование обобщенной линейной модели с биномиальной связью семейство + тождественность дает в точности результаты пула для 2-выборочной пропорции. Однако использование линейной модели (или glm с семейством гауссов) …

12 r  hypothesis-testing  generalized-linear-model  proportion 

Я имею в виду вопрос и его ответы: как сравнить (вероятностную) прогностическую способность моделей, разработанных на основе логистической регрессии? @ Clark Chong и ответы / комментарии @Frank Harrell. и к вопросу о Степени свободы в тесте Хосмера-Лемешоуχ2χ2\chi^2 и комментариях. Я прочитал статью DW Hosmer, T. Hosmer, S. Le Cessie, S. …

12 hypothesis-testing  logistic  predictive-models  regression-strategies  hosmer-lemeshow-test 

В литературе оба термина часто используются как синонимы или переплетаются. Сейчас я пытаюсь найти четкое различие между обоими терминами. С моей точки зрения, гипотеза обычно выражается через модель. Поэтому, даже если мы проверяем гипотезу «ноль против альтернативы», с моей точки зрения, мы делаем выбор модели. Может ли кто-нибудь дать мне …

12 hypothesis-testing  model-selection  regression-strategies 

У меня очень большой набор данных и около 5% случайных значений отсутствуют. Эти переменные связаны друг с другом. В следующем примере набор данных R - просто игрушечный пример с фиктивными коррелированными данными. set.seed(123) # matrix of X variable xmat <- matrix(sample(-1:1, 2000000, replace = TRUE), ncol = 10000) colnames(xmat) <- …

12 r  random-forest  missing-data  data-imputation  multiple-imputation  large-data  definition  moving-window  self-study  categorical-data  econometrics  standard-error  regression-coefficients  normal-distribution  pdf  lognormal  regression  python  scikit-learn  interpolation  r  self-study  poisson-distribution  chi-squared  matlab  matrix  r  modeling  multinomial  mlogit  choice  monte-carlo  indicator-function  r  aic  garch  likelihood  r  regression  repeated-measures  simulation  multilevel-analysis  chi-squared  expected-value  multinomial  yates-correction  classification  regression  self-study  repeated-measures  references  residuals  confidence-interval  bootstrap  normality-assumption  resampling  entropy  cauchy  clustering  k-means  r  clustering  categorical-data  continuous-data  r  hypothesis-testing  nonparametric  probability  bayesian  pdf  distributions  exponential  repeated-measures  random-effects-model  non-independent  regression  error  regression-to-the-mean  correlation  group-differences  post-hoc  neural-networks  r  time-series  t-test  p-value  normalization  probability  moments  mgf  time-series  model  seasonality  r  anova  generalized-linear-model  proportion  percentage  nonparametric  ranks  weighted-regression  variogram  classification  neural-networks  fuzzy  variance  dimensionality-reduction  confidence-interval  proportion  z-test  r  self-study  pdf 

Мы изучаем байесовское статистическое тестирование и сталкиваемся со странным (по крайней мере, мне) явлением. Рассмотрим следующий случай: мы заинтересованы в измерении того, какая популяция, A или B, имеет более высокий коэффициент конверсии. Для проверки мы устанавливаем , то есть вероятность конверсии одинакова в обеих группах. Мы генерируем искусственные данные, используя …

12 hypothesis-testing  bayesian  binomial  python  beta-distribution 

У меня есть две сильно искаженные выборки, и я пытаюсь использовать начальную загрузку, чтобы сравнить их с помощью t-статистики. Как правильно это сделать? Процесс, который я использую Я обеспокоен целесообразностью использования стандартной ошибки исходных / наблюдаемых данных на последнем этапе, когда я знаю, что это обычно не распространяется. Вот мои …

12 hypothesis-testing  t-test  bootstrap 

Р-значение определяется вероятностью получения тест-статистики, по крайней мере, такой же экстремальной, как и наблюдаемая, при условии, что нулевая гипотеза верна. Другими словами, P(X≥t|H0)P(X≥t|H0)P( X \ge t | H_0 ) Но что если тест-статистика является бимодальной по распределению? означает ли p-значение что-либо в этом контексте? Например, я собираюсь смоделировать некоторые бимодальные …

12 hypothesis-testing  statistical-significance  p-value  descriptive-statistics  bimodal 

Y=μ+σGY=μ+σGY=\mu+\sigma Gμμ\muWWWGGGRnRn\mathbb{R}^nFFFH0:{μ∈U}H0:{μ∈U}H_0\colon\{\mu \in U\}U⊂WU⊂WU \subset Wf=ϕ(2logsupμ∈W,σ>0L(μ,σ|y)supμ∈U,σ>0L(μ,σ|y)).f=ϕ(2log⁡supμ∈W,σ>0L(μ,σ|y)supμ∈U,σ>0L(μ,σ|y)).f=\phi\left( 2\log \frac{\sup_{\mu \in W, \sigma>0} L(\mu, \sigma | y)}{\sup_{\mu \in U, \sigma>0} L(\mu, \sigma | y)} \right). Как мы можем знать, что эта статистика обеспечивает самый мощный тест для (возможно, после отбрасывания необычных частных случаев)? Это не вытекает из теоремы Неймана-Пирсона, потому что эта …

12 hypothesis-testing  normal-distribution  linear-model  power  likelihood-ratio