tl; dr: Начиная с набора данных, сгенерированного под нулевым значением, я повторно проанализировал случаи с заменой и провел проверку гипотезы для каждого повторно выбранного набора данных. Эти проверки гипотез отклоняют ноль более 5% времени.
В приведенном ниже очень простом моделировании я генерирую наборы данных с и подгоняю простую модель OLS для каждого. Затем для каждого набора данных я генерирую 1000 новых наборов данных путем повторной выборки строк исходного набора данных с заменой (алгоритм, специально описанный в классическом тексте Дэвисона и Хинкли как подходящий для линейной регрессии). Для каждого из них мне подходит одна и та же модель OLS. В конечном итоге, около 16% тестов гипотез в загрузочных выборках отклоняют ноль , тогда как мы должны получить 5% (как мы делаем в исходных наборах данных).
Я подозревал, что это как-то связано с повторными наблюдениями, вызывающими завышенные ассоциации, поэтому для сравнения я попробовал два других подхода в приведенном ниже коде (закомментировано). В методе 2 я исправляю , а затем заменяю остатками с передискретизацией из модели OLS в исходном наборе данных. В методе 3 я рисую случайную подвыборку без замены. Обе эти альтернативы работают, то есть их тесты на гипотезы отклоняют ноль в 5% случаев.
Мой вопрос: прав ли я, что повторные наблюдения являются виновником? Если это так, учитывая, что это стандартный подход к начальной загрузке, где именно мы нарушаем стандартную теорию начальной загрузки?
Обновление № 1: Больше симуляций
# note: simulation takes 5-10 min on my laptop; can reduce boot.reps
# and n.sims.run if wanted
# set the number of cores: can change this to match your machine
library(doParallel)
registerDoParallel(cores=8)
boot.reps = 1000
n.sims.run = 1000
for ( j in 1:n.sims.run ) {
# make initial dataset from which to bootstrap
# generate under null
d = data.frame( X1 = rnorm( n = 1000 ), Y1 = rnorm( n = 1000 ) )
# fit OLS to original data
mod.orig = lm( Y1 ~ X1, data = d )
bhat = coef( mod.orig )[["X1"]]
se = coef(summary(mod.orig))["X1",2]
rej = coef(summary(mod.orig))["X1",4] < 0.05
# run all bootstrap iterates
parallel.time = system.time( {
r = foreach( icount( boot.reps ), .combine=rbind ) %dopar% {
# Algorithm 6.2: Resample entire cases - FAILS
# residuals of this model are repeated, so not normal?
ids = sample( 1:nrow(d), replace=TRUE )
b = d[ ids, ]
# # Method 2: Resample just the residuals themselves - WORKS
# b = data.frame( X1 = d$X1, Y1 = sample(mod.orig$residuals, replace = TRUE) )
# # Method 3: Subsampling without replacement - WORKS
# ids = sample( 1:nrow(d), size = 500, replace=FALSE )
# b = d[ ids, ]
# save stats from bootstrap sample
mod = lm( Y1 ~ X1, data = b )
data.frame( bhat = coef( mod )[["X1"]],
se = coef(summary(mod))["X1",2],
rej = coef(summary(mod))["X1",4] < 0.05 )
}
} )[3]
###### Results for This Simulation Rep #####
r = data.frame(r)
names(r) = c( "bhat.bt", "se.bt", "rej.bt" )
# return results of each bootstrap iterate
new.rows = data.frame( bt.iterate = 1:boot.reps,
bhat.bt = r$bhat.bt,
se.bt = r$se.bt,
rej.bt = r$rej.bt )
# along with results from original sample
new.rows$bhat = bhat
new.rows$se = se
new.rows$rej = rej
# add row to output file
if ( j == 1 ) res = new.rows
else res = rbind( res, new.rows )
# res should have boot.reps rows per "j" in the for-loop
# simulation rep counter
d$sim.rep = j
} # end loop over j simulation reps
##### Analyze results #####
# dataset with only one row per simulation
s = res[ res$bt.iterate == 1, ]
# prob of rejecting within each resample
# should be 0.05
mean(res$rej.bt); mean(s$rej)
Обновление № 2: ответ