Что означает «линейный по параметрам»?

13

Модель линейной регрессии является линейной по параметрам.

Что это на самом деле означает?

regression linear-regression

1

Больше ссылок, если это возможно? Что-то выше или ниже этой строки (из текста, который вы нашли это)?

— Dawny33

Это выглядит, и его трудно понять из-за отсутствия контекста, вопроса статистики, и, вероятно, он должен быть в расширенной форме на сайте обмена стеками статистики.

— Spacedman

13

Рассмотрим уравнение вида

$y = \beta_0 + \beta_1x_1 + \beta_2x_2 + \epsilon$

где - переменные, а - параметры. Здесь y - линейная функция от (линейная по параметрам), а также линейная функция от (линейная по переменным). Если вы измените уравнение на $x$ $\beta$ $\beta$ $x$

$y = \beta_0 + \beta_1x_1 + \beta_2x_1^2 + \epsilon$

Тогда он больше не является линейным по переменным (из-за квадрата), но по-прежнему линейным по параметрам. И для (множественной) линейной регрессии это все, что имеет значение, потому что, в конце концов, вы пытаетесь найти набор , который минимизирует функцию потерь. Для этого вам необходимо решить систему линейных уравнений . Учитывая его хорошие свойства, он имеет решение в закрытой форме, что делает нашу жизнь проще. Все становится сложнее, когда вы имеете дело с нелинейными уравнениями. $\beta$

Предположим, вы не имеете дело с регрессионной моделью, но вместо этого у вас есть проблема математического программирования: вы пытаетесь минимизировать целевую функцию вида учетом ряда ограничений: и . Это задача линейного программирования в том смысле, что она линейна по переменным. В отличие от регрессионной модели, вы пытаетесь найти набор (переменных), который удовлетворяет ограничениям и минимизирует целевую функцию. Это также потребует от вас решения систем линейных уравнений, но здесь оно будет линейным по переменным. Ваши параметры не будут влиять на эту систему линейных уравнений. $c^Tx$ $Ax \geq b$ $x\geq0$ $x$

— Айхан
источник

5

Это просто означает, что где - параметры. Переменные могут содержать нелинейные отношения; например, $Y = A X$ $A$ $X$ , но является линейной функцией . $X = [\alpha\; \alpha \beta\; \beta^2]^T$ $Y$ $X$

— Эмре
источник

1

Спасибо! В вашем контексте, разве он не рассматривает X как переменную, а A как параметр?

— Альберт Гао

2

Вы уверены, что X это параметры? Я бы сказал, что матрица А это параметры. , ,

— Нил Слэйтер

X

$X$

A

$A$

2

Модель является линейной, когда каждый член является либо константой, либо произведением параметра и предиктора. Линейное уравнение строится путем сложения результатов для каждого члена. Это ограничивает уравнение только одной основной формой:

$Response = constant + parameter * predictor + ... + parameter * predictor$

«Линейный по параметрам» в линейной регрессии означает, что ни один параметр не отображается в качестве показателя степени, не умножается и не делится на другой параметр.

— Параг Джиоти Датта
источник