Вопросы с тегом «ab-test»

Я только что наткнулся на эту статью , в которой описывается, как вычислить повторяемость (или надежность, или внутриклассовую корреляцию) измерения с помощью моделирования смешанных эффектов. Код R будет: #fit the model fit = lmer(dv~(1|unit),data=my_data) #obtain the variance estimates vc = VarCorr(fit) residual_var = attr(vc,'sc')^2 intercept_var = attr(vc$id,'stddev')[1]^2 #compute the unadjusted …

28 mixed-model  reliability  intraclass-correlation  repeatability  spss  factor-analysis  survey  modeling  cross-validation  error  curve-fitting  mediation  correlation  clustering  sampling  machine-learning  probability  classification  metric  r  project-management  optimization  svm  python  dataset  quality-control  checking  clustering  distributions  anova  factor-analysis  exponential  poisson-distribution  generalized-linear-model  deviance  machine-learning  k-nearest-neighbour  r  hypothesis-testing  t-test  r  variance  levenes-test  bayesian  software  bayesian-network  regression  repeated-measures  least-squares  change-scores  variance  chi-squared  variance  nonlinear-regression  regression-coefficients  multiple-comparisons  p-value  r  statistical-significance  excel  sampling  sample  r  distributions  interpretation  goodness-of-fit  normality-assumption  probability  self-study  distributions  references  theory  time-series  clustering  econometrics  binomial  hypothesis-testing  variance  t-test  paired-comparisons  statistical-significance  ab-test  r  references  hypothesis-testing  t-test  normality-assumption  wilcoxon-mann-whitney  central-limit-theorem  t-test  data-visualization  interactive-visualization  goodness-of-fit 

Я - инженер-программист, желающий создать инструмент A / B-тестирования . У меня нет основательной статистики, но за последние несколько дней я немного читал. Я следую методологии, описанной здесь, и суммирую соответствующие пункты ниже. Этот инструмент позволит дизайнерам и экспертам по доменам настраивать веб-сайт для разделения трафика, получаемого по определенному URL-адресу, …

22 hypothesis-testing  statistical-significance  proportion  ab-test 

Я разработчик программного обеспечения, работающий над системами A / B-тестирования. Я не обладаю достаточным опытом в области статистики, но последние несколько месяцев собираю знания. Типичный тестовый сценарий предполагает сравнение двух URL-адресов на веб-сайте. Посетитель посещает, LANDING_URLа затем случайным образом перенаправляется либо на, URL_CONTROLлибо URL_EXPERIMENTAL. Посетитель представляет собой образец, и условие …

18 power-analysis  ab-test  sequential-analysis  optimal-stopping 

Я отвечаю за представление результатов A / B-тестов (на разных сайтах) в моей компании. Мы запускаем тест в течение месяца, а затем регулярно проверяем p-значения до тех пор, пока не достигнем значимости (или откажемся, если значимость не будет достигнута после длительного выполнения теста), что я сейчас выясняю, что это ошибочная …

13 hypothesis-testing  statistical-significance  bias  ab-test  optimal-stopping 

У нас есть две когорты по 1000 образцов в каждой. Мы измеряем 2 величины в каждой когорте. Первая - это двоичная переменная. Второе - действительное число, которое следует за распределением тяжелых хвостов. Мы хотим оценить, какая группа лучше всего подходит для каждой метрики. Есть много статистических тестов на выбор: люди …

12 ab-test 

На вебинаре, проведенном на днях компанией по тестированию a / b, их резидент «Data Scientist» объяснил, что вам следует проверить свои результаты, повторно выполнив эксперимент. Исходя из этого, если вы выбрали 95% достоверности, существует вероятность 5% (1/20) ложного срабатывания. Если вы повторно запустите свой эксперимент с теми же ограничениями, то …

11 probability  hypothesis-testing  statistical-significance  ab-test 

Я использую формулу из байесовского ab-тестирования , чтобы вычислить результаты теста AB, используя байесовскую методологию. Pr ( pВ> рA) = ∑я = 0αВ- 1B ( αA+ я , βВ+ βA)( βВ+ i ) B ( 1 + i , βВ) B ( αA, βA)Pr(пВ>пA)знак равноΣязнак равно0αВ-1В(αA+я,βВ+βA)(βВ+я)В(1+я,βВ)В(αA,βA) \Pr(p_B > p_A) = …

10 r  bayesian  ab-test