Нужна помощь в понимании приблизительного предложения точек разделения xgboost


12

фон:

в xgboost в итерационным подгоняет дерево ф т по всему п примерам , которые сводят к минимуму следующей цели:tftn

i=1n[gift(xi)+12hift2(xi)]

где сначала порядок и производные второго порядка над нашей предыдущей лучшей оценки у (от итерации т - 1 ):gi,hiy^t1

  • gi=dy^l(yi,y^)
  • hi=dy^2l(yi,y^)

и наша функция потерь.l


Вопрос (наконец):

При построении и рассмотрении конкретной функции k в определенном разбиении они используют следующую эвристику для оценки только некоторых кандидатов разделения: они сортируют все примеры по их x k , передают отсортированный список и суммируют свою вторую производную h i . Они считают разделенного кандидата только тогда, когда сумма меняется больше чем на ϵ . Почему это???ftkxkhiϵ

Объяснение, которое они дают, ускользает от меня:

Они утверждают, что мы можем переписать предыдущее уравнение следующим образом:

i=1n12hi[ft(xi)gi/hi]2+constant

и я не могу следовать алгебре - вы можете показать, почему она равна?

И затем они утверждают, что «это точно взвешенный квадрат с потерями с метками и весами h i » - с этим соглашением я согласен, но я не понимаю, как это связано с алгоритмом разделения кандидатов, который они используют. ..gi/hihi

Спасибо и извините, если это слишком долго для этого форума.

Ответы:


8

Я не буду вдаваться в подробности, но следующее должно помочь вам понять идею.

{x1,,x100}10{x10,x20,,x90}ϵϵNϵ=0.01100{1%,2%,...,99%}ϵϵ

1010%10%


Я вошел в систему, чтобы дать вам возможность проголосовать. Спасибо за простое объяснение.
Пакпум Тивакорнкит

3

Просто добавив алгебраическую часть к ответу @Winks:

Второе уравнение должно иметь обратный знак, как в:

i=1n12hi[ft(xi)(gi/hi)]2+constant=i=1n12hi[ft2(xi)+2ft(xi)gihi+(gi/hi)2]=i=1n[gift(xi)+12hift2(xi)+gi22hi]

gihift

gi/hihi

Авторы благодарны Ярону и Ави из моей команды за то, что они объяснили мне это.


0

И затем они утверждают, что «это точно взвешенный квадрат с потерями с метками gi / higi / hi и weights hihi» - с этим соглашением я согласен, но я не понимаю, как это связано с алгоритмом разделения кандидатов, который они используют .. ,

  1. wtthw=gi/hi(ft(gi/hi))2

  2. wavg(gi)/constsigma(gi)/sigma(hi)whigiwhi

hi

Используя наш сайт, вы подтверждаете, что прочитали и поняли нашу Политику в отношении файлов cookie и Политику конфиденциальности.
Licensed under cc by-sa 3.0 with attribution required.