Что такое правило .632+ в начальной загрузке?

Здесь @gung ссылается на правило .632+. Быстрый поиск в Google не дает простого для понимания ответа о том, что означает это правило и для какой цели оно используется. Кто-нибудь, пожалуйста, проясните правило .632+?

Я доберусь до оценки 0,632, но это будет несколько долгое развитие:

Предположим, что мы хотим предсказать с помощью используя функцию , где может зависеть от некоторых параметров, которые оцениваются с использованием данных , например,$Y$$X$$f$$f$$(\mathbf{Y}, \mathbf{X})$$f(\mathbf{X}) = \mathbf{X}\mathbf{\beta}$

Наивной оценкой ошибки предсказания является где - некоторая функция потерь, например возведение в квадрат ошибок. Это часто называют ошибкой обучения. Efron et al. называет это очевидной частотой ошибок или частотой повторного замещения. Это не очень хорошо, так как мы используем наши данные чтобы соответствовать . Это приводит к вниз. Вы хотите знать, насколько хорошо ваша модель справляется с предсказанием новых значений.

$$\overline{err} = \dfrac{1}{N}\sum_{i=1}^N L(y_i,f(x_i))$$ $L$$(x_i,y_i)$$f$$\overline{err}$$f$

Часто мы используем перекрестную проверку как простой способ оценки ожидаемой ошибки прогнозирования для дополнительной выборки (насколько хорошо наша модель работает с данными, не входящими в наш обучающий набор?).

$$Err = \text{E}\left[ L(Y, f(X))\right]$$

Популярный способ сделать это - сделать перекрестную проверку в кратном размере. Разделите ваши данные на групп (например, 10). Для каждой группы поместите вашу модель в оставшиеся группы и протестируйте ее в й группе. Наша перекрестно проверенная ошибка прогноза для дополнительной выборки - это просто среднее значение где - это некоторая индексная функция, которая указывает раздел, которому назначено наблюдение а - это прогнозируемое значение использующее данные, не в -й набор.$K$$K$$k$$K-1$$k$

$$Err_{CV} = \dfrac{1}{N}\sum_{i=1}^N L(y_i, f_{-\kappa(i)}(x_i))$$ $\kappa$$i$$f_{-\kappa(i)}(x_i)$$x_i$$\kappa(i)$

Эта оценка приблизительно несмещенная для истинной ошибки предсказания , когда и имеет большую дисперсию , и является более дорогим в вычислительном отношении для увеличения . Итак, еще раз мы видим компромисс между отклонением и дисперсией в игре.$K=N$$K$

Вместо перекрестной проверки мы могли бы использовать начальную загрузку для оценки ошибки прогнозирования для дополнительной выборки. Bootstrap resampling может использоваться для оценки распределения выборки любой статистики. Если наши обучающие данные , то мы можем подумать о том, чтобы взять загрузочных примеров (с заменой) из этого набора где каждый - это набор из выборок. Теперь мы можем использовать наши образцы начальной загрузки для оценки ошибки прогнозирования дополнительной выборки: где - это прогнозируемое значение в из модели, подходящей для$\mathbf{X} = (x_1,\ldots,x_N)$$B$$\mathbf{Z}_1,\ldots,\mathbf{Z}_B$$\mathbf{Z}_i$$N$

$$Err_{boot} = \dfrac{1}{B}\sum_{b=1}^B\dfrac{1}{N}\sum_{i=1}^N L(y_i, f_b(x_i))$$ $f_b(x_i)$$x_i$$b$ й набор данных начальной загрузки. К сожалению, это не особенно хорошая оценка, потому что образцы начальной загрузки, используемые для получения могли содержать . оставляющий один, предлагает улучшение, имитируя перекрестную проверку, и определяется как: где - набор индексов для примеров начальной загрузки, которые не содержат наблюдения , аколичество таких образцов. $f_b(x_i)$$x_i$ $$Err_{boot(1)} = \dfrac{1}{N}\sum_{i=1}^N\dfrac{1}{|C^{-i}|}\sum_{b\in C^{-i}}L(y_i,f_b(x_i))$$ $C^{-i}$$i$$|C^{-i}|$$Err_{boot(1)}$решает проблему переоснащения, но все еще смещена (эта смещена вверх). Смещение связано с нечеткими наблюдениями в образцах начальной загрузки, которые являются результатом выборки с заменой. Среднее число отдельных наблюдений в каждой выборке составляет около (см. Этот ответ для объяснения того, почему в среднем каждая загрузочная выборка содержит примерно две трети наблюдений? ). Чтобы решить проблему смещения, Эфрон и Тибширани предложили оценку 0.632: где$0.632N$ $$Err_{.632} = 0.368\overline{err} + 0.632Err_{boot(1)}$$ $$\overline{err} = \dfrac{1}{N}\sum_{i=1}^N L(y_i,f(x_i))$$ Наивная оценка ошибки прогнозирования, часто называемая ошибкой обучения. Идея состоит в том, чтобы усреднить смещенную вниз оценку и смещенную вверх оценку.

Однако, если у нас есть функция прогнозирования с чрезмерным превышением (то есть ), то даже оценка 0,632 будет смещена вниз. Оценщик .632+ разработан для того, чтобы быть менее предвзятым компромиссом между и . с где - частота ошибок при отсутствии информации, оцененная путем оценки модели прогнозирования для всех возможных комбинаций целевые значения и предикторы .$\overline{err}=0$$\overline{err}$$Err_{boot(1)}$

$$Err_{.632+} = (1 - w) \overline{err} + w Err_{boot(1)}$$ $$w = \dfrac{0.632}{1 - 0.368R} \quad\text{and}\quad R = \dfrac{Err_{boot(1)} - \overline{err}}{\gamma - \overline{err}}$$ $\gamma$$y_i$$x_i$

$$\gamma = \dfrac{1}{N^2}\sum_{i=1}^N\sum_{j=1}^N L(y_i, f(x_j))$$ .

Здесь измеряет относительную скорость переоснащения. Если нет переобучения (R = 0, когда ) это равно оценке .632.$R$$Err_{boot(1)} = \overline{err}$

Вы найдете больше информации в разделе 3 этого ¹ документа. Но если подвести итог, если вы называете выборкой из чисел из отобранных случайным образом и с заменой, содержит в среднем приблизительно уникальных элементов.$S$$n$$\{1:n\}$$S$$(1-e^{-1})\,n \approx 0.63212056\, n$

Аргументация заключается в следующем. Мы заполняем путем выборки раз (случайным образом и с заменой) из . Рассмотрим конкретный индекс . $S=\{s_1,\ldots,s_n\}$$i=1,\ldots,n$$\{1:n\}$$m\in\{1:n\}$

Затем:

$$P(s_i=m)=1/n$$

а также

$$P(s_i\neq m)=1-1/n$$

и это верно (интуитивно, поскольку мы производим выборку с заменой, вероятности не зависят от )$\forall 1\leq i \leq n$$i$

таким образом

$$P(m\in S)=1-P(m\notin S)=1-P(\cap_{i=1}^n s_i\neq m)\\ \;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;=1-\prod_{i=1}^n P(s_i\neq m)=1-(1-1/n)^n\approx 1-e^{-1}$$

Вы также можете выполнить это небольшое моделирование, чтобы эмпирически проверить качество аппроксимации (которая зависит от ):$n$

n <- 100
fx01 <- function(ll,n){
    a1 <- sample(1:n, n, replace=TRUE)
    length(unique(a1))/n
}
b1 <- c(lapply(1:1000,fx01,n=100), recursive=TRUE)
mean(b1)

1. Брэдли Эфрон и Роберт Тибширани (1997). Улучшения в перекрестной проверке: метод начальной загрузки .632+ . Журнал Американской Статистической Ассоциации , Vol. 92, № 438, с. 548-560.

По моему опыту, в первую очередь основанном на моделировании, варианты начальной загрузки 0.632 и 0.632+ были необходимы только из-за серьезных проблем, вызванных использованием неправильного правила оценки точности, а именно пропорции, «классифицированной» правильно. Когда вы используете правильные (например, на основе отклонения или оценки Бриера) или полусобственные (например, -index = AUROC) правила подсчета очков, стандартный загрузчик оптимизма Эфрона-Гонга работает просто отлично.$c$

Эти ответы очень полезны. Я не смог найти способ продемонстрировать это с помощью математики, поэтому я написал немного кода на Python, который работает довольно хорошо:

    from numpy import mean
    from numpy.random import choice

    N = 3000

    variables = range(N)

    num_loop = 1000
    # Proportion of remaining variables
    p_var = []

    for i in range(num_loop):
        set_var = set(choice(variables, N))
        p=len(set_var)/float(N)
        if i%50==0:
            print "value for ", i, " iteration ", "p = ",p
        p_var.append(p)

    print "Estimator of the proportion of remaining variables, ", mean(p_var)