Смещение оценок максимального правдоподобия для логистической регрессии


10

Я хотел бы понять несколько фактов о максимальных вероятностных оценках (MLE) для логистических регрессий.

  1. Правда ли, что в целом MLE для логистической регрессии является предвзятой? Я бы сказал "да". Я знаю, например, что размер выборки связан с асимптотическим смещением MLE.

    Знаете ли вы какие-нибудь элементарные примеры этого явления?

  2. Если MLE смещен, правда ли, что ковариационная матрица MLE является обратной к гессиану функции максимального правдоподобия?

    редактировать : я встречал эту формулу довольно часто и без каких-либо доказательств; это кажется совершенно произвольным выбором для меня.

Ответы:


15

T

Pr(Yi=1Ti=1)=Λ(α+βTi)
ΛΛ(u)=[1+exp{u}]1

В форме логита мы имеем

ln(Pr(Yi=1Ti=1)1Pr(Yi=1Ti=1))=α+βTi

У вас есть образец размера . Обозначим количество наблюдений, где и тех, где , и . Рассмотрим следующие оценочные условные вероятности:n 1 T i = 1 n 0 T i = 0 n 1 + n 0 = nnn1Ti=1n0Ti=0n1+n0=n

Pr^(Y=1T=1)P^1|1=1n1Ti=1yi

Pr^(Y=1T=0)P^1|0=1n0Ti=0yi

Тогда эта очень базовая модель предоставляет решения для замкнутой формы для оценки ML:

α^=ln(P^1|01P^1|0),β^=ln(P^1|11P^1|1)ln(P^1|01P^1|0)

BIAS

Хотя и являются несмещенными оценщиками соответствующих вероятностей, MLE смещены, поскольку нелинейная логарифмическая функция мешает - представьте, что происходит с более сложными моделями с более высокой степенью нелинейности.P^1|1P^1|0

Но асимптотически смещение исчезает, так как оценки вероятности непротиворечивы. Вставляя непосредственно оператор в ожидаемое значение и логарифм, мы имеем Lim Nlim

limnE[α^]=E[ln(limnP^1|01P^1|0)]=E[ln(P1|01P1|0)]=α

и аналогично для . β

ВАРИАНТНО-КОВАРЯНСКАЯ МАТРИЦА MLE
В приведенном выше простом случае, который предоставляет выражения для замкнутой формы для оценки, можно, по крайней мере, в принципе, продолжить и получить точное распределение конечной выборки, а затем вычислить точную матрицу дисперсии-ковариации конечной выборки , Но в целом MLE не имеет решения в замкнутой форме. Затем мы прибегаем к непротиворечивой оценке асимптотической дисперсионно-ковариационной матрицы, которая действительно является (отрицательной) инверсией гессиана логарифмической функции правдоподобия выборки, вычисленной в MLE. И здесь вообще нет «произвольного выбора», но это вытекает из асимптотической теории и асимптотических свойств MLE (согласованности и асимптотической нормальности), что говорит нам, что для , θ0=(α,β)

n(θ^θ0)dN(0,(E[H])1)

где - гессиан Приблизительно и для (больших) конечных образцов это приводит нас кH

Var(θ^)1n(E[H])11n(1nH^)1=H^1
Используя наш сайт, вы подтверждаете, что прочитали и поняли нашу Политику в отношении файлов cookie и Политику конфиденциальности.
Licensed under cc by-sa 3.0 with attribution required.