Почему силовые или логарифмические преобразования не преподаются в машинном обучении?


24

Машинное обучение (ML) активно использует методы линейной и логистической регрессии. Он также опирается на особенность инженерных методов ( feature transform, kernel, и т.д.).

Почему нет ничего о variable transformation(например power transformation) , упомянутые в ML? (Например, я никогда не слышал о получении root или log к объектам, они обычно просто используют полиномы или RBF.) Аналогично, почему эксперты ML не заботятся о преобразованиях объектов для зависимой переменной? (Например, я никогда не слышал о том, чтобы взять преобразование журнала у; они просто не преобразовывают у.)

Редактирование: Может быть, вопрос не совсем точно, мой вопрос на самом деле: «Является ли преобразование мощности в переменные не важными в ОД?»


4
Я хотел бы знать, почему это было понижено; это на самом деле интересный вопрос.
Shadowtalker

1
Я думаю, что большинство людей прошли бы курс линейной регрессии до своего первого курса ML. Конечно, курс LR на фондовом рынке будет содержать главу об этих вещах (трансформациях). Кстати, я не понизил вопрос.
user603

Ответы:


12

Книга Кун и Джонсона « Прикладное прогнозирующее моделирование » - это высоко ценимая практическая книга по машинному обучению с большим разделом по преобразованию переменных, включая Бокс-Кокса. Авторы утверждают, что многие алгоритмы машинного обучения работают лучше, если функции имеют симметричное и унимодальное распределения. Преобразование таких функций является важной частью «разработки функций».


8

Ну, с моей точки зрения, довольно часто меня интересует прогнозирующее распределение переменной ответа, а не просто условное среднее, и в этом случае лучше использовать вероятность, которая более правильно представляет целевое распределение. Например, я предпочитаю использовать линейные модели с ядрами, а не (скажем) поддержку векторной регрессии, потому что я могу использовать вероятность Пуассона, если захочу. Поскольку многие люди, обучающиеся машинному обучению, являются байесовцами, я подозреваю, что использование другой вероятности будет казаться более изящным, чем преобразования (выбор подходящей вероятности обычно является первым шагом).


0

Вот мои последующие мысли.

Я думаю, это потому, что ML в основном имеет дело с классификацией, и классификация не нуждается в преобразовании y (y является категоричным). ML обычно имеет дело с большими независимыми переменными (например, тысячи в НЛП), и логистическая регрессия не требует нормальности; Я думаю, именно поэтому они не используют преобразование мощности Бокса-Кокса из-за соображений скорости. (примечание: я не знаком с преобразованием власти.)

Используя наш сайт, вы подтверждаете, что прочитали и поняли нашу Политику в отношении файлов cookie и Политику конфиденциальности.
Licensed under cc by-sa 3.0 with attribution required.