фон:
в xgboost в итерационным подгоняет дерево ф т по всему п примерам , которые сводят к минимуму следующей цели:
где сначала порядок и производные второго порядка над нашей предыдущей лучшей оценки у (от итерации т - 1 ):
и наша функция потерь.
Вопрос (наконец):
При построении и рассмотрении конкретной функции k в определенном разбиении они используют следующую эвристику для оценки только некоторых кандидатов разделения: они сортируют все примеры по их x k , передают отсортированный список и суммируют свою вторую производную h i . Они считают разделенного кандидата только тогда, когда сумма меняется больше чем на ϵ . Почему это???
Объяснение, которое они дают, ускользает от меня:
Они утверждают, что мы можем переписать предыдущее уравнение следующим образом:
и я не могу следовать алгебре - вы можете показать, почему она равна?
И затем они утверждают, что «это точно взвешенный квадрат с потерями с метками и весами h i » - с этим соглашением я согласен, но я не понимаю, как это связано с алгоритмом разделения кандидатов, который они используют. ..
Спасибо и извините, если это слишком долго для этого форума.