Учитывая две модели линейной регрессии, какая модель будет работать лучше?

Я взял курс машинного обучения в моем колледже. В одной из викторин был задан этот вопрос.

Модель 1:
$y = θ x + ϵ$ $y = \theta x + \epsilon$ Модель 2: $y = θ x + θ^{2} x + ϵ$ $y = \theta x + \theta^2 x + \epsilon$
Какая из вышеперечисленных моделей подойдет для данных лучше? (предположим, что данные могут быть смоделированы с использованием линейной регрессии)

Правильный ответ (по словам профессора) заключается в том, что обе модели будут работать одинаково хорошо. Однако я считаю, что первая модель подойдет лучше.

Это причина моего ответа. Вторая модель, которую можно переписать как $\alpha x + \epsilon$ , $\alpha = \theta + \theta^2$ , не будет такой же, как первая модель. $\alpha$ самом деле является параболой и, следовательно, имеет минимальное значение ( в данном случае $-0.25$ ). Теперь из-за этого диапазон $\theta$ в первой модели больше, чем диапазон $\alpha$ во второй модели. Следовательно , если данные были такими , что лучше всего подходит имел наклон меньше $-0.25$ , вторая модель будет выполнять очень плохо , по сравнению с первым. Однако в случае, если наклон наилучшего соответствия был больше, чем $-0.25$ , обе модели будут работать одинаково хорошо.

Так что, первый лучше или оба одинаковы?

— Куш
источник

Я думаю, что вы правы. Требование, чтобы параметр

был выразим как

(для некоторого

), действительно накладывает ограничение на то, что

возможны. Это означает, что вторая модель может выражать меньше связей, чем первая, так как по существу она является теперь проблемой ограниченной оптимизации. Твои рассуждения кажутся мне убедительными.

α

$\alpha$

θ + θ^{2}

$\theta + \theta^2$

θ

$\theta$

α

$\alpha$

— Мэтью Друри

@MatthewDrury Я только что выяснил, где я ошибся, взгляните на ответ ниже (и комментарий)

— kush

Я вижу ваш комментарий, но это довольно серьезная гимнастика, предполагающая, что

будет принимать сложные значения. Я бы определенно присутствовал на некоторых офисных часах, чтобы обсудить это с вашим профессором. В любом случае вы получите хорошее обсуждение этого вопроса.

θ

$\theta$

— Мэтью Друри

Мне не понятно откуда взято -0.25. Вы можете уточнить?

— Безумный Джек

Мне было бы интересно узнать, как ваш профессор подгонит каждую модель к двухточечному набору данных

. С моделью 1 и

подбор идеален, но как он оценит

в модели 2, чтобы получить идеальное соответствие?

{(1, - 1), (2, - 2)}

$\{(1,-1),(2,-2)\}$

θ = - 1

$\theta=-1$

θ

$\theta$

— whuber

Ответы:

Модель 2 может быть записана как: Это похоже на модель 1, но с другими обозначениями для гиперпараметров ( ). Тем не менее, для модели 1 можно записать

y = (θ + θ^{2}) x + ϵ = β x + ϵ .

$y=(\theta + \theta^{2}) x+\epsilon=\beta x+\epsilon.$

θ, β

$\theta, \beta$

\hat{θ} = (X^{^{'}} X)^{- 1} X^{^{'}} y .

$\hat{\theta}=(X^{'}X)^{-1}X^{'}y.$

Но так как в модели 2 мы имеем , что то , как вы упомянули , действительно диапазон должен принадлежать для & . Что приведет к разнице в этих 2 моделях.

β = θ + θ^{2},

$\beta=\theta + \theta^{2},$

\hat{β}

$\hat{\beta}$

[- 0.25, + \infty]

$[-0.25,+\infty]$

θ \in R

$\theta \in R$

Таким образом , в модели 2 вы сдерживая свою оценку коэффициента в отличие от модели 1. Для того, чтобы сделать это более ясным, следует отметить , что в модели получается путем минимизации квадратичной функции потерь $\hat{\theta}$ Однако в модели 2 оценка получаетсяпомощью

\hat{θ} = \arg min_{θ \in R} (y - X θ)^{^{'}} (y - X θ) = (X^{^{'}} X)^{- 1} X^{^{'}} y .

$\hat{\theta}=\arg\min_{\theta\in{R}} \ \ (y-X\theta)^{'}(y-X\theta)=(X^{'}X)^{-1}X^{'}y.$

что может привести к другому результату.

\hat{β} = \arg min_{β \geq - 0.25} (y - X β)^{^{'}} (y - X β)

$\hat{\beta}=\arg\min_{\beta\geq-0.25} \ \ (y-X\beta)^{'}(y-X\beta)$

— Прем
источник

θ

$\theta$

θ + θ^{2}

$\theta + \theta^2$

θ

$\theta$

@kush Пожалуйста , проверьте мой отредактированный ответ , который также адреса вашего беспокойства

— И

Не уверен, что понимаю ваши рассуждения. Если вы берете:

y = α x + ϵ

$y = \alpha x+\epsilon$

y = θ x + ϵ

$y = \theta x + \epsilon$

$\alpha$ $\theta$ $\alpha$ $\theta$ $R^2$ $\theta$ $\alpha = \theta + \theta^2$

— akeenlogician
источник

θ

$\theta$

(- \infty, \infty)

$(- \infty, \infty)$

α

$\alpha$

(- 0.25, \infty)

$(- 0.25, \infty)$

x

$x$