Я слышал, что регрессия гребня может быть получена как среднее значение апостериорного распределения, если адекватно выбран априор. Является ли интуиция тем, что ограничения, установленные ранее для коэффициентов регрессии (например, стандартные нормальные распределения около 0), идентичны / заменяют штраф, установленный для квадрата размера коэффициентов? Должен ли априор быть гауссовым, чтобы эта эквивалентность сохранялась?
Ответы:
Нет, в том смысле, что другие приоры логически связаны с другими наказаниями. В общем, вы хотите, чтобы эффект массы больше нуля ( ) уменьшал переоснащение / чрезмерную интерпретацию. Хребет является квадратичным (L2, гауссовским) штрафом, лассо является | β | (L1, Laplace или двойное экспоненциальное распределение) штраф. Многие другие штрафы (приоры) доступны. Преимущество байесовского подхода состоит в том, что он дает точную интерпретацию (и надежные интервалы достоверности), в то время как оценка максимального правдоподобия (хребет, лассо и т. Д.) Дает P-значения и доверительные интервалы, которые трудно интерпретировать, потому что подход с применением частых методов несколько запутан смещенными (уменьшенными до нуля) оценщиками.
Два момента:
Это правда, что в случае многовариантного нормального предшествующего и многовариантного нормального правдоподобия апостериор является многомерным нормальным со средним значением, которое является оценкой регрессии гребня для правильно выбранного параметра гребня.
Доказательство этого зависит от конкретной формы априора и вероятности и не работает для более общих априорных функций или функций вероятности.