Являются ли алгоритмы дерева решений линейными или нелинейными

21

Недавно моего друга спросили, являются ли алгоритмы дерева решений линейными или нелинейными алгоритмами в интервью. Я пытался найти ответы на этот вопрос, но не смог найти удовлетворительного объяснения. Может кто-нибудь ответить и объяснить решение этого вопроса? Кроме того, каковы некоторые другие примеры нелинейных алгоритмов машинного обучения?

— user2966197
источник

Интересно, в каком контексте они имели в виду регрессию, линейно разделяемые данные?

— image_doctor

1

Они, вероятно, имели в виду границу между классами; состоит из гиперплоскостей или нет.

— Эмре

17

Дерево решений - это нелинейное отображение Xна y. Это легко увидеть, если вы возьмете произвольную функцию и создадите дерево с максимальной глубиной.

Например:

if x = 1, y = 1
if x = 2, y = 15
if x = 3, y = 3
if x = 4, y = 27
...

Конечно, это полностью переопределенное дерево и не будет обобщать. Но это демонстрирует, почему дерево решений является нелинейным отображением.

— инверсия
источник

10

Недавно моего друга спросили, является ли алгоритм дерева решений линейным или нелинейным алгоритмом в интервью

Деревья решений - это нелинейный классификатор, такой как нейронные сети и т. Д. Он обычно используется для классификации нелинейно разделимых данных.

Даже если вы рассмотрите пример регрессии, дерево решений является нелинейным.

Например, линия линейной регрессии будет выглядеть примерно так:

Красные точки - это точки данных.

И график регрессии дерева решений будет выглядеть примерно так:

Таким образом, очевидно, что деревья решений являются нелинейными

— Dawny33
источник

Увеличение глубины дерева приведет к большему переоснащению и, следовательно, к более нелинейной структуре.

— Dawny33

3

Деревья решений являются нелинейными. В отличие от линейной регрессии, нет уравнения для выражения взаимосвязи между независимыми и зависимыми переменными.

Пример:

Линейная регрессия - Цена фруктов = b0 + b1 * Свежесть + b2 * Размер

Дерево решений - Узлы: Спелый - Да или нет | Свежий - да или нет | Размер - <5,> 5, но <10 и> 10 |

Во втором случае не существует линейной зависимости между независимыми и зависимыми переменными.

3

Как отмечалось многими, дерево регрессии / принятия решений является нелинейной моделью. Однако обратите внимание, что это кусочно-линейная модель: в каждой окрестности (определенной нелинейным образом) она линейна. На самом деле модель является просто локальной константой.

$\theta$

y_{i} = α_{1} 1 (x_{i} < θ) + α_{2} 1 (x_{i} \geq θ) + ϵ_{i}

$y_i = \alpha_1 1(x_i < \theta) + \alpha_2 1(x_i \geq \theta) + \epsilon_i$

$1(A)$

— Matifou
источник

2

$VC$ $2^d$ $d$ $2^{2^d}$ $m$ $d$ $min(2^d, m)$ ID3C4.5

— СМИ
источник