Почему вертикальные расстояния?

11

Почему оценка OLS включает взятие вертикальных отклонений точек к линии, а не горизонтальных расстояний?

least-squares

— user333
источник

1

Старый вопрос, но я думаю, что просмотр данных как образца распределения вероятностей, параметризованного x, полезен

— Бенди

12

OLS ( обычные наименьшие квадраты ) предполагает, что значения, представленные горизонтальными расстояниями, либо предопределены экспериментатором, либо измерены с высокой точностью (относительно вертикальных расстояний). Когда возникает вопрос неопределенности горизонтальных расстояний, вам не следует использовать OLS, вместо этого следует изучить модели с ошибками в переменных или, возможно, анализ главных компонентов .

— Whuber
источник

«Ортогональная регрессия» - это еще одна вещь, с которой можно столкнуться при поиске методов борьбы с загрязненными абсциссами и ординатами.

— JM не статистика

+1 Это пока ниша только в статистике; более сложные методы наименьших квадратов (не только добавление X-изменчивости, но и различные штрафы для точек, основанные на приближениях ошибок) распространены в экспериментальной физике; ROOT Framework имеет десятки таких.

1

Интересный вопрос. Мой ответ будет таким: когда мы подбираем модель OLS, мы неявно и в первую очередь пытаемся предсказать / объяснить имеющуюся зависимую переменную - «Y» в «Y против X». Таким образом, нашей главной задачей было бы минимизировать расстояние от нашей подогнанной линии до фактических наблюдений относительно результата, что означает минимизацию вертикального расстояния. Это, конечно, определяет остатки.

Кроме того, формулы наименьших квадратов легче вывести, чем большинство других конкурирующих методов, поэтому, возможно, поэтому он появился первым. :П

Как намекает на вышеизложенное, существуют и другие подходы, в которых X и Y рассматриваются с равным акцентом при подборе наиболее подходящей линии. Один такой подход, о котором я знаю, - это регрессия «главных линий» или «главных кривых», которая минимизирует ортогональные расстояния между точками и линией (вместо вертикальных линий ошибок у вас есть линии под углом 90 градусов к подгоночной линии) , Я размещаю одну ссылку ниже для вашего чтения. Это долго, но очень доступно и поучительно.

Надеюсь, это поможет, Бренден

Тревор Хасти. Основные кривые и поверхности , кандидатская диссертация, Стэнфордский университет; 1984

— Brenden
источник

1

Возможно, это также относится к запланированным экспериментам - если x является контролируемой величиной, которая является частью плана эксперимента, она считается детерминированной; в то время как у является результатом, и является случайной величиной. х может быть непрерывной величиной (например, концентрация какого-либо лекарственного средства), но может делиться на 0/1 (что приводит к t-критерию с двумя образцами при условии, что у - гауссов). Если x является непрерывной величиной, может быть некоторая ошибка измерения, но, как правило, если она намного меньше, чем переменность y, то это игнорируется.

— Крис Брансдон
источник