Использование MLE против OLS

Когда предпочтительнее использовать оценку максимального правдоподобия вместо обычных наименьших квадратов? Каковы сильные и слабые стороны каждого? Я пытаюсь собрать практические знания о том, где использовать каждый в общих ситуациях.

regression maximum-likelihood least-squares

— user38133
источник

Как объяснено здесь , OLS - это просто конкретный экземпляр MLE. Здесь тесно связан вопрос с выводом OLS в терминах MLE.

Условное распределение соответствует вашей модели шума (для OLS: гауссово и одинаковое распределение для всех входов). Есть и другие варианты (t-Student имеет дело с выбросами или позволяет распределению шума зависеть от входных данных )

— jpmuc
источник

(-1) Это не правда, что студент

t

$t$ может зависеть от борьбы с выбросами . См. Пример здесь или главу 2 этого учебника для более подробного объяснения.

— user603

OLS - это метод приближения / оценки, минимизирующий расстояние, а ML - метод максимизации «правдоподобия». OLS не нуждается в стохастических допущениях, чтобы обеспечить решение, минимизирующее расстояние, в то время как ML начинает с принятия совместной функции плотности вероятности / массы. Тот факт, что в некоторых обстоятельствах оба обеспечивают одно и то же решение, никоим образом не делает один конкретным экземпляром другого.

— Алекос Пападопулос