Что обычного, в обычных наименьших квадратах?

Мой друг недавно спросил, что же такого обычного, в отношении наименьших квадратов. Похоже, мы ни к чему не привели в обсуждении. Мы оба согласились, что OLS является частным случаем линейной модели, она имеет много применений, хорошо известна и является частным случаем многих других моделей. Но действительно ли это все?

Поэтому я хотел бы знать:

Откуда на самом деле пришло название?
Кто первым использовал это имя?

— Repmat
источник

Это обычное дело, потому что сейчас есть другие варианты. Weighted. Robust. нелинейный. ... Обычным является то, как вы не допускаете путаницы с чем-то другим.

— EngrStudent

Предполагается, что OLS, вероятно, является первым алгоритмом численного подбора, разработанным в 1805 году нашей эры . Название обычное было, вероятно, добавлено после того, как были разработаны вариации на тему.

— Карл

Наименьшие квадраты в часто называют обычными наименьшими квадратами (OLS), потому что это была первая в истории статистическая процедура, разработанная примерно в 1800 году, см. Историю . Это эквивалентно минимизации нормы : . Впоследствии взвешенные наименьшие квадраты, минимизация других норм (например, ), обобщенные наименьшие квадраты , оценка М , двумерная минимизация (например, регрессия Деминга), непараметрическая регрессия, регрессия максимального правдоподобия, регуляризация (например, Тихонов, Ридж) и были разработаны другие методы обратной задачи и множество других инструментов. До сих пор существует спор о том, кто первым применил его: Гаусс или Лежандр (см. $y$ $L_2$ $||Y-f(X)||_2$ $L_1$ ссылка ). Термин «обычный» (подразумевающий в ), очевидно, был добавлен к «наименьшим квадратам» только после того, как возникло так много альтернативных методов, что (все еще большинство) популярных OLS необходимо было дифференцировать от множества других минимизаций, которые стали доступны. Когда происходит точное добавление обычных наименьших квадратов , будет трудно отследить, поскольку это произошло, когда это стало естественным или очевидным. $y$ $+$

— деревенщина
источник

Вы также можете сравнить OLS с WLS, взвешенными наименьшими квадратами, что минимизирует взвешенные квадраты.

— AdamO

Это на самом деле там уже несколько по "другим" нормам, например,взвешен

| | 1 - \frac{Y}{f (x)} | |

$||1-\frac{Y}{f(x)}||$

— Карл

Это старый вопрос, если я правильно помню, мне было действительно интересно (в то время) выяснить, кто впервые использовал термин OLS ... Думаю, я никогда не узнаю ... Хороший ответ tho +1

— Repmat

Я никогда не слышал, чтобы «наименьшие квадраты» использовались для описания минимизации, которая не является нормой . (Обратите внимание, что «энергетические нормы», такие как используемые в регуляризации Тихонова, являются просто преобразованного вектора.) Более общим термином будет просто «регрессия» или, возможно, « оценка М ».

L_{2}

$L_2$

L_{2}

$L_2$

— GeoMatt22

Я согласен с @AdamO, что обычный против взвешенного * кажется вероятным контрастом. (Скорее, «Обобщенный» . В вычислительной науке я думаю, что это все еще будет называться взвешенным? Почему весовая матрица должна быть диагональной?)

— GeoMatt22