Каковы преимущества линейной регрессии над квантильной регрессией?

Модель линейной регрессии делает кучу предположений, что квантильная регрессия не делает, и, если предположения о линейной регрессии соблюдаются, то моя интуиция (и некоторый очень ограниченный опыт) состоит в том, что срединная регрессия даст почти идентичные результаты как линейная регрессия.

Итак, какие преимущества имеет линейная регрессия? Это конечно более знакомо, но кроме этого?

Очень часто утверждается, что минимизация наименьших квадратов остатков предпочтительнее, чем минимизация абсолютных остатков, потому что это вычислительно проще . Но, это может также быть лучше по другим причинам. А именно, если предположения верны (и это не так уж редко), то это обеспечивает решение, которое (в среднем) является более точным.

Максимальная вероятность

Регрессия наименьших квадратов и квантильная регрессия (когда они выполняются путем минимизации абсолютных невязок) могут рассматриваться как максимизация функции правдоподобия для распределенных ошибок Гаусса / Лапласа, и в этом смысле они очень тесно связаны.

• Гауссово распределение:

  $$f(x) = \frac{1}{\sqrt{2\pi \sigma^2}} e^{-\frac{(x-\mu)^2}{2\sigma^2}}$$

  с логарифмической вероятностью, максимизируемой при минимизации суммы квадратов невязок

  $$\log \mathcal{L}(x) = -\frac{n}{2} \log (2 \pi) - n \log(\sigma) - \frac{1}{2\sigma^2} \underbrace{\sum_{i=1}^n (x_i-\mu)^2}_{\text{sum of squared residuals}}$$

• Распределение Лапласа:

  $$f(x) = \frac{1}{2b} e^{-\frac{\vert x-\mu \vert}{b}}$$

  с логарифмической вероятностью, максимизируемой при минимизации суммы абсолютных невязок

  $$\log \mathcal{L}(x) = -n \log (2) - n \log(b) - \frac{1}{b} \underbrace{\sum_{i=1}^n |x_i-\mu|}_{\text{sum of absolute residuals}}$$

^{Примечание: распределение Лапласа и сумма абсолютных невязок относится к медиане, но его можно обобщить для других квантилей, задав разные веса для отрицательных и положительных невязок.}

Распределение известных ошибок

Когда мы знаем распределение ошибок (когда предположения, скорее всего, верны), имеет смысл выбрать связанную функцию вероятности. Минимизация этой функции является более оптимальной.

Очень часто ошибки (приблизительно) нормально распределены. В этом случае использование наименьших квадратов - лучший способ найти параметр (который относится как к среднему, так и к медиане). Это лучший способ, поскольку он имеет наименьшую дисперсию выборки (наименьшую из всех несмещенных оценок). Или вы можете сказать более строго: что он является стохастически доминирующим (см. Иллюстрацию в этом вопросе, сравнивающую распределение медианы выборки и среднего значения выборки).$\mu$

Таким образом, когда ошибки распределены нормально, среднее значение выборки является лучшей оценкой медианы распределения, чем медиана выборки . Регрессия наименьших квадратов является более оптимальной оценкой квантилей. Это лучше, чем использовать наименьшую сумму абсолютных невязок.

Поскольку многие проблемы связаны с нормальными распределенными ошибками, использование метода наименьших квадратов очень популярно. Для работы с другими типами распределений можно использовать Обобщенную линейную модель . И метод итерационных наименьших квадратов, который можно использовать для решения GLM, также работает для распределения Лапласа (т. Е. Для абсолютных отклонений ), что эквивалентно нахождению медианы (или в обобщенной версии других квантилей).

Распределение неизвестных ошибок

прочность

Срединные или другие квантили имеют то преимущество, что они очень устойчивы в отношении типа распределения. Фактические значения не имеют большого значения, а квантили заботятся только о порядке. Поэтому независимо от распределения, минимизация абсолютных невязок (что эквивалентно нахождению квантилей) работает очень хорошо.

Здесь вопрос становится сложным и широким, и это зависит от того, какие знания мы имеем или не имеем о функции распределения. Например, распределение может быть приблизительно нормальным, но только с некоторыми дополнительными выбросами. Это может быть решено путем удаления внешних значений. Это удаление экстремальных значений даже работает при оценке параметра местоположения распределения Коши, где усеченное среднее может быть лучшей оценкой, чем медиана. Таким образом, не только для идеальной ситуации, когда верны предположения, но также и для некоторых менее идеальных приложений (например, дополнительных выбросов), могут быть хорошие надежные методы, которые все еще используют некоторую форму суммы квадратов невязок вместо суммы абсолютных невязок.

Я предполагаю, что регрессия с усеченными невязками может быть в вычислительном отношении гораздо более сложной. Таким образом, это может быть квантильная регрессия, которая является типом регрессии, выполняемой по той причине, что она вычислительно проще (не проще, чем обычные наименьшие квадраты, но проще, чем усеченные наименьшие квадраты).

Предвзятое / несмещенной

Еще одна проблема - предвзятые и объективные оценки. Выше я описал оценку максимального правдоподобия для среднего значения, то есть решение наименьших квадратов, в качестве хорошей или предпочтительной оценки, потому что она часто имеет самую низкую дисперсию из всех несмещенных оценок (когда ошибки распределены нормально). Но смещенные оценки могут быть лучше (более низкая ожидаемая сумма квадратов ошибок).

Это делает вопрос снова широким и сложным. Есть много разных оценщиков и много разных ситуаций для их применения. Использование адаптированной функции суммы квадратов остаточных потерь часто хорошо работает для уменьшения погрешности (например, все виды методов регуляризации), но, возможно, не обязательно будет работать хорошо для всех случаев. Интуитивно понятно, что нет ничего странного в том, что, поскольку функция суммы квадратов невязки часто работает хорошо для всех несмещенных оценок, оптимальные оценки, вероятно, близки к сумме функции потери квадрата невязки.

Линейная регрессия (LR) сводится к оптимизации наименьших квадратов при вычислении ее коэффициентов. Это подразумевает симметрию отклонений от регрессионной модели. Хорошее объяснение квантильной регрессии (QR) можно найти в https://data.library.virginia.edu/getting-started-with-quantile-regression/ .

Если предположения LR (необходимые для вывода: p-значения, доверительные интервалы и т. Д.) Удовлетворяются, QR и прогнозы LR будут аналогичными. Но если предположения сильно нарушены, ваш стандартный вывод LR будет неверным. Таким образом, квантильная (срединная) регрессия 0,5 имеет преимущество перед LR. Это также дает больше гибкости в обеспечении регрессии для других квантилей. Эквивалентом для линейных моделей была бы доверительная граница, вычисленная по LR (хотя это было бы неправильно, если iid сильно нарушается).

Так в чем же преимущество LR? Конечно, это легче вычислить, но если ваш набор данных имеет разумный размер, это может быть не очень заметно. Но что более важно, предположения о LR дают информацию, которая снижает неопределенность. В результате доверительные интервалы LR при прогнозировании обычно будут уже. Таким образом, если есть сильная теоретическая поддержка для предположений, узкие доверительные интервалы могут быть преимуществом.

$E(Y \vert X)$$Y$$X$$E(Y \vert X)= X \beta$$\beta$

Квантильная регрессия может использоваться для оценки ЛЮБОГО квантиля условного распределения, включая медиану. Это дает потенциально гораздо больше информации, чем среднее значение об условном распределении. Если условное распределение не симметрично или хвосты, возможно, толстые (например, анализ риска), квантильная регрессия полезна ДАЖЕ, если все предположения о линейной регрессии выполнены.

Конечно, количественно более интенсивно проводить квантильную оценку относительно линейной регрессии, но, как правило, она гораздо более устойчива (например, медиана более устойчива, чем среднее значение для выбросов). Кроме того, это уместно, когда линейной регрессии нет - например, для цензурированных данных. Вывод может быть более сложным, так как прямая оценка дисперсионно-ковариационной матрицы может быть трудной или вычислительно дорогой. В этих случаях можно начать загрузку.