«Наименьшие квадраты» и «Линейная регрессия», это синонимы?

В чем разница между наименьшими квадратами и линейной регрессией? Это то же самое?

regression least-squares terminology

Я бы сказал, что обычные наименьшие квадраты - это один из методов оценки в более широкой категории линейной регрессии . Возможно, что некоторые авторы используют «наименьшие квадраты» и «линейную регрессию», как если бы они были взаимозаменяемыми.

— Мэтью Ганн

Если вы делаете обычные наименьшие квадраты , я бы использовал этот термин. Это менее двусмысленно.

— Мэтью Ганн

Смотрите также, что такое модель регрессии .

— Ричард Харди

Ответы:

Линейная регрессия предполагает линейную зависимость между независимой и зависимой переменной. Это не говорит вам, как модель установлена. Подгонка наименьшего квадрата - просто одна из возможностей. Другие методы обучения линейной модели есть в комментарии.

Нелинейные наименьшие квадраты распространены ( https://en.wikipedia.org/wiki/Non-linear_least_squares ). Например, популярный алгоритм Левенберга – Марквардта решает что-то вроде:

\hat{β} знак равно \underset{β}{argmin} S (β) \equiv \underset{β}{argmin} Σ_{я знак равно 1}^{м} {[Y_{я} - е ({Икс}_{я}, β)]}^{2}

$\hat\beta=\mathop{\textrm{argmin}}_\beta S(\beta)\equiv \mathop{\textrm{argmin}}_\beta\sum_{i=1}^{m}\left[ y_i-f(x_i,\beta) \right]^2$

Это оптимизация методом наименьших квадратов, но модель не линейная.

Они не одно и то же .

— Привет, мир
источник

В дополнение к правильному ответу @Student T, я хочу подчеркнуть, что наименьшие квадраты - это функция потенциальных потерь для задачи оптимизации, тогда как линейная регрессия - это проблема оптимизации.

Для определенного набора данных используется линейная регрессия, чтобы найти наилучшую возможную линейную функцию, которая объясняет связь между переменными.

В этом случае «наилучшее» из возможных определяется функцией потерь, сравнивая прогнозные значения линейной функции с фактическими значениями в наборе данных. Наименьшие квадраты - это возможная функция потерь.

Статья о наименьших квадратах в Википедии также показывает изображения с правой стороны, на которых показано использование наименьших квадратов для других задач, кроме линейной регрессии, таких как:

конический-фитинг
подходящая квадратичная функция

Следующий рисунок из статьи в Википедии показывает несколько различных полиномиальных функций, подгоненных к набору данных с использованием метода наименьших квадратов. Только один из них является линейным (полином 1). Это взято из немецкой статьи в Википедии по теме.

— Николас Рибл
источник

Мы можем утверждать, что нелинейные примеры в анимации на самом деле все еще линейны по параметрам.

— Firebug

Правда, пока модель отношения между целью и входной переменной не является линейной. Вы бы еще назвали примерку «линейной регрессией»? Я бы не.

— Николас Рибл

Мы должны различать «линейные наименьшие квадраты» и «линейную регрессию», поскольку прилагательное «линейный» в обоих случаях относится к разным вещам. Первое относится к подгонке, которая является линейной по параметрам, а второе относится к подгонке к модели, которая является линейной функцией независимой (ых) переменной (ей).

— JM не является статистиком

@JM Многие источники утверждают, что «линейная» в «линейной» регрессии означает «линейная по параметрам», а не «линейная по IV». Статья WIkipedia о линейной регрессии является примером, примером. Вот еще и еще . Многие статистические тексты делают то же самое; Я бы сказал, что это соглашение.

— Glen_b

@Glen, более поздняя разработка, чем материал, который я прочитал (я в этом опытный человек); они ограничивали «линейную регрессию» подгонкой модели .

y = m x + b

$y=mx+b$

— JM не является статистиком