T
Pr(Yi=1∣Ti=1)=Λ(α+βTi)
ΛΛ(u)=[1+exp{−u}]−1
В форме логита мы имеем
ln(Pr(Yi=1∣Ti=1)1−Pr(Yi=1∣Ti=1))=α+βTi
У вас есть образец размера . Обозначим количество наблюдений, где и тех, где , и . Рассмотрим следующие оценочные условные вероятности:n 1 T i = 1 n 0 T i = 0 n 1 + n 0 = nnn1Ti=1n0Ti=0n1+n0=n
Pr^(Y=1∣T=1)≡P^1|1=1n1∑Ti=1yi
Pr^(Y=1∣T=0)≡P^1|0=1n0∑Ti=0yi
Тогда эта очень базовая модель предоставляет решения для замкнутой формы для оценки ML:
α^=ln(P^1|01−P^1|0),β^=ln(P^1|11−P^1|1)−ln(P^1|01−P^1|0)
BIAS
Хотя и являются несмещенными оценщиками соответствующих вероятностей, MLE смещены, поскольку нелинейная логарифмическая функция мешает - представьте, что происходит с более сложными моделями с более высокой степенью нелинейности.P^1|1P^1|0
Но асимптотически смещение исчезает, так как оценки вероятности непротиворечивы. Вставляя непосредственно оператор в ожидаемое значение и логарифм, мы имеем
Lim Nlim
limn→∞E[α^]=E[ln(limn→∞P^1|01−P^1|0)]=E[ln(P1|01−P1|0)]=α
и аналогично для . β
ВАРИАНТНО-КОВАРЯНСКАЯ МАТРИЦА MLE
В приведенном выше простом случае, который предоставляет выражения для замкнутой формы для оценки, можно, по крайней мере, в принципе, продолжить и получить точное распределение конечной выборки, а затем вычислить точную матрицу дисперсии-ковариации конечной выборки , Но в целом MLE не имеет решения в замкнутой форме. Затем мы прибегаем к непротиворечивой оценке асимптотической дисперсионно-ковариационной матрицы, которая действительно является (отрицательной) инверсией гессиана логарифмической функции правдоподобия выборки, вычисленной в MLE. И здесь вообще нет «произвольного выбора», но это вытекает из асимптотической теории и асимптотических свойств MLE (согласованности и асимптотической нормальности), что говорит нам, что для ,
θ0=(α,β)
n−−√(θ^−θ0)→dN(0,−(E[H])−1)
где - гессиан Приблизительно и для (больших) конечных образцов это приводит нас кH
Var(θ^)≈−1n(E[H])−1≈−1n(1nH^)−1=−H^−1