Классификация с градиентным ускорением: как сохранить прогноз в [0,1]

Вопрос

Я изо всех сил пытаюсь понять, как прогнозирование сохраняется в интервале $[0,1]$ при выполнении бинарной классификации с градиентным повышением.

Предположим , что мы работаем над бинарной проблемы классификации, и наша целевая функция является потеря журнала, $-\sum y_i \log(H_m(x_i)) + (1-y_i) \log(1-H_m(x_i))$ где $y$ - целевая переменная $\in \{0,1\}$ а $H$ - наша текущая модель.

При обучении следующего слабого ученика $h_i$ , чтобы наша новая модель была $H_i = H_{i-1} + h_i$ , каков механизм, который должен поддерживать $H_i \in [0,1]$ ? Или, может быть, более актуальный вопрос, есть ли такой механизм?

---

Больше информации о том, что я делаю

Я пытаюсь реализовать повышение градиента, используя деревья регрессии. Чтобы этого избежать, нужно умножить $h_i$ на коэффициент $c \in [0,c_{\text{max}}]$ , чтобы $H + c_{\text{max}}h$ не опускался ниже нуля или выше единицы, и я выбираю $c$ в этом диапазоне, который минимизирует функция потерь.

Это приводит к следующей проблеме: после нескольких раундов у меня есть одна точка, которая отлично классифицируется, и наилучшее из доступных разделений, чтобы толкать классификатор в направлении градиента, хочет переместить эту точку выше единицы, что, я уверен, не произойдет установка . Таким образом, вся следующая итерация выберет тот же сплит и тот же самый c = 0 .$c = 0$$c = 0$

Я попробовал общие практики регуляризации

• Уменьшение скорости обучения путем умножения на μ = 0,01 . Это только задерживает проблему.$c$$\mu = 0.01$
• Субдискретизация пространства объектов, но некоторые из точек очень легко классифицировать, они отмечают почти все флажки «это положительный результат?» форма, и почти каждый «хороший раскол» показывает это поведение.

Я думаю, что это не проблема параметров, и должен быть более надежный способ исправить это. Я не отказываюсь от возможности того, что моя реализация сломана, но я не нашел ничего, что решало бы эту проблему.

То, чем мы манипулируем в контексте логистической потери, должно быть вероятностью, так как же нам ее избежать?

---

Моя интуиция состояла бы в том, чтобы поместить модель, которую мы строим, , в сигмовидную функцию так, чтобы она была ограничена [ 0 , 1 ] , и я думаю, что это сработало бы, но я хочу знать, есть ли другие решения. Поскольку усиление градиента, по-видимому, успешно используется в задачах классификации, должно существовать «правильное» (т.е. с обоснованием) решение.$H$$[0,1]$

Мне нравится думать об этом по аналогии со случаем линейных моделей и их распространением на GLM (обобщенные линейные модели).

В линейной модели мы подбираем линейную функцию, чтобы предсказать наш ответ

$$\hat y = \beta_0 + \beta_1 x_1 + \cdots \beta_n x_n$$

Чтобы обобщить на другие ситуации, мы вводим функцию связи, которая преобразует линейную часть модели в масштаб ответа (технически это обратная связь, но я думаю, что проще думать об этом таким образом, преобразовывая линейный предиктор в ответ, чем преобразование ответа в линейный предиктор).

Например, логистическая модель использует функцию сигмоида (или логита)

$$\hat y = \frac{1}{1 + \exp(-(\beta_0 + \beta_1 x_1 + \cdots \beta_n x_n))}$$

и пуассоновская регрессия использует экспоненциальную функцию

$$\hat y = \exp(\beta_0 + \beta_1 x_1 + \cdots \beta_n x_n)$$

Чтобы построить аналогию с градиентным повышением, мы заменим линейную часть этих моделей на сумму увеличенных деревьев. Так, например, случай Гаусса (аналогичный линейной регрессии) становится общеизвестным

$$\hat y = \sum_i h_i$$

где - наша последовательность слабых учеников. Биномиальный случай аналогичен логистической регрессии (как вы отметили в своем ответе)$h_i$

$$\hat y = \frac{1}{1 + \exp\left(-\sum_i h_i\right)}$$

и повышение Пуассона аналогично регрессии Пуассона

$$\hat y = \exp\left(\sum_i h_i\right)$$

$\sum_i \beta_i x_i$

Например, биноминальная потеря обычно встречается как

$$\sum_i y_i \log(p_i) + (1 - y_i)\log(1 - p_i)$$

$p_i$$p_i$$L_i$$L_i$

$$\sum_i y_i L_i - \log(1 + \exp(L_i))$$

$L$

Только в самом конце, когда мы хотим создать прогнозы для пользователя, мы применяем функцию связи к конечной последовательности слабых учеников, чтобы поставить прогнозы в том же масштабе, что и ответ. При подборе модели мы все время работаем в линейном масштабе.

После некоторых исследований кажется, что моя интуиция и комментарий Алекса Р. верны .

Для того, чтобы построить непрерывную модель с прогнозами в $[0,1]$можно поставить модель $H$в логистическую функцию (Wikipedia) , такую, что для$H \in \mathbb{R}$, у нас есть

$$\frac{1}{1 + e^{-H}} \in [0,1]$$ Затем шаги повышения градиента принимают производную по $H$ и обновить модель, как если бы логистическая функция была частью функции стоимости, и она работает.

Это было предложено в статье Аддитивная логистическая регрессия: статистическое представление Фридмана, Хасти и Тибширани о том, как создать LogitBoost (Википедия) , адаптацию AdaBoost (Википедия) к логистическим потерям.

В самых основных терминах, если возможно перейти от линейной регрессии к логистической регрессии путем добавления сигмоида, то это также работает для преобразования усиления регрессии в повышение классификации.