В поисках теоретического понимания логистической регрессии Ферт

Я пытаюсь понять логистическую регрессию Фёрта (метод обработки идеального / полного или квази-полного разделения в логистической регрессии), чтобы я мог объяснить это другим в упрощенном виде. У кого-нибудь есть придуманное объяснение того, что модифицирует оценка Фёрта для MLE?

Я прочитал, как мог, Ферт (1993), и я понимаю, что к функции оценки применяется корректировка. Я не совсем понимаю происхождение и обоснование исправления и какую роль играет функция оценки в MLE.

Извините, если это элементарные знания. Литература, которую я рассмотрел, кажется, требует более глубокого понимания MLE, чем у меня есть.

logistic maximum-likelihood separation

— ESmith5988
источник

Коррекция Фёрта эквивалентна указанию априорного значения Джеффри и поиску способа последующего распределения. Грубо говоря, он добавляет половину наблюдения к набору данных, предполагая, что истинные значения параметров регрессии равны нулю.

Работа Ферта является примером асимптотики высшего порядка. Нулевой порядок, так сказать, обеспечивается законами больших чисел: в больших выборках где - истинное значение. Возможно, вы узнали, что MLE асимптотически нормальны, примерно потому, что они основаны на нелинейных преобразованиях сумм переменных iid (баллов). Это приближение первого порядка: где - это нормальная переменная с нулевым средним и дисперсией (или матрицей var-cov), которая является обратной информацией Фишера для одного наблюдения. Статистика теста отношения правдоподобия асимптотически $\hat \theta_n \approx \theta_0$ $\theta_0$ $\theta_n = \theta_0 + O(n^{-1/2}) = \theta_0 + v_1 n^{-1/2} + o(n^{-1/2})$ $v_1$ $\sigma_1^2$ $n(\hat\theta_n - \theta_0)^2/\sigma_1^2 \sim \chi^2_1$ или какими бы то ни было многомерное расширение внутренних произведений и обратных ковариационных матриц.

Асимптотика более высокого порядка пытается узнать что-то об этом следующем слагаемом , обычно путем выявления следующего слагаемого . Таким образом, оценки и статистика тестов могут включать небольшие выборочные отклонения порядка (если вы видите статью с надписью «у нас беспристрастные MLE», эти люди, вероятно, не знают, о чем говорят). Наиболее известной коррекцией такого рода является коррекция Бартлетта для тестов отношения правдоподобия. Поправка Ферта также имеет такой порядок: она добавляет к вероятности фиксированное количество (начало стр. 30), а в больших выборках относительный вклад этой величины исчезает со скоростью из уменьшенный информацией об образце. $o(n^{-1/2})$ $O(n^{-1})$ $1/n$ $\frac12 \ln \det I(\theta)$ $1/n$

— Stask
источник

Извините за отсутствие понимания, но я не совсем понимаю. Когда вы говорите: «Грубо говоря, это добавляет половину наблюдения к набору данных, предполагая, что истинные значения параметров регрессии равны нулю». Почему вы предполагаете, что истинные значения параметров регрессии равны нулю? Кроме того, как это добавляет половину наблюдения к набору данных?

— ESmith5988

Из остальной части вашего объяснения кажется, что функция правдоподобия корректируется фиксированной величиной, которая уменьшает положительное смещение небольших выборок. Фиксированное количество фактически является функцией информации, которая обнуляется при увеличении размера выборки, верно?

— ESmith5988

На ваш первый комментарий - поправка Ферт - это примерно ожидаемое значение вклада в вероятность, которое было бы добавлено наблюдением, которое имело бы эффективный вес 1/2. Это ни в коем случае не является правильным объяснением, не говоря уже о интуиции относительно того, почему вы хотите это сделать; это просто дает вам вкус. Вы устанавливаете коэффициенты на ноль, потому что у вас нет лучшего представления о том, какими будут числа (и нулевые коэффициенты хорошо соответствуют отсутствию эффекта регрессоров, что имеет смысл в большинстве случаев). На ваш второй комментарий - правильно.

— StasK