Вывод нормализующего преобразования для GLM


15

Как нормализует преобразование A ( ) = d uВ 1 / 3 ( μ )A()=duV1/3(μ) для экспоненциального семейства получен?

Более конкретно : я пытался следовать расширительному эскизу Тэйлор на странице 3, слайд- здесь , но есть несколько вопросов. С ИксX из экспоненциального семейства, преобразованием ч ( х )h(X) и κ яκi обозначающим я т чith кумулянт, слайды утверждают, что: κ 3 ( h ( ˉ X ) ) h ( μ ) 3 κ 3 ( ˉ X )N 2 +3h(μ)2h(μ)σ4N +O(N-3),

κ3(h(X¯))h(μ)3κ3(X¯)N2+3h(μ)2h′′(μ)σ4N+O(N3),
и остается просто найти ч ( х )h(X) такой, что приведенное выше значение равно 0.
  1. Мой первый вопрос об арифметике: у моего расширения Тейлора разные коэффициенты, и я не могу оправдать, что они отбросили многие из терминов.

    Так как  h ( x )h ( μ ) + h ( μ ) ( x - μ ) + h ( x )2 (x-μ)2, имеем:h( ˉ X )-h( u )h ( u ) ) ( ˉ X - μ ) + h ( x )2 ( ˉ X -μ)2E(h( ˉ X )-h(u))3h ( μ ) 3 E ( ˉ X - μ ) 3 + 32 h(μ)2h(μ)E( ˉ X -μ)4+34 h(μ)h(μ)2E( ˉ X -μ)5+18 ч(μ)3E( ˉ X -μ)6.

    Since h(x)h(X¯)h(u)E(h(X¯)h(u))3h(μ)+h(μ)(xμ)+h′′(x)2(xμ)2, we have:h(u))(X¯μ)+h′′(x)2(X¯μ)2h(μ)3E(X¯μ)3+32h(μ)2h′′(μ)E(X¯μ)4+34h(μ)h′′(μ)2E(X¯μ)5+18h′′(μ)3E(X¯μ)6.

    Я могу получить нечто подобное, заменив центральные моменты их кумулянтными эквивалентами, но это все равно не складывается.

  2. Второй вопрос: почему анализ начинается с ˉ XX¯ вместо ИксX , количества, которое нас действительно волнует?


Вы , кажется, несколько раз , когда вы имеете в видуу uμμ
Glen_b -Reinstate Монику

Ответы:


2

Слайды, на которые вы ссылаетесь, несколько сбивают с толку, пропуская шаги и делая несколько опечаток, но в конечном итоге они верны. Это поможет ответить сначала на вопрос 2, затем на 1, а затем, наконец, вывести симметризующее преобразование .A ( u ) = u - 1[ V ( θ ) ] 1 / 3 dθA(u)=u1[V(θ)]1/3dθ

Вопрос 2. Мы анализируем как среднее значение выборки размера из случайных величин . Это важная величина, потому что в науке постоянно происходит выборка одного и того же распределения и выборка среднего. Мы хотим знать, насколько близко к истинному среднему значению . Центральная предельная теорема говорит, что она будет сходиться к как но мы хотели бы знать дисперсию и асимметрию .ˉ ХX¯ НNХ1,. , , ,XNX1,...,XN ˉ XX¯ μμμμNN ˉ XX¯

Вопрос 1. Ваше приближение ряда Тейлора не является неправильным, но мы должны быть осторожны, отслеживая сравнении с и степенями чтобы прийти к тому же выводу, что и слайды. Мы начнем с определений и центральных моментов и выведем формулу для :ˉ XX¯ XiXiNN ˉ XX¯ XiXiκ3(h( ˉ X ))κ3(h(X¯))

ˉ X =1N N i = 1 XiX¯=1NNi=1Xi

E[Xi]=μE[Xi]=μ

V(Xi)=E[(Xiμ)2]=σ2V(Xi)=E[(Xiμ)2]=σ2

κ3(Xi)=E[(Xiμ)3]κ3(Xi)=E[(Xiμ)3]

Теперь центральные моменты :ˉXX¯

E[ˉX]=1NNi=1E[Xi]=1N(Nμ)=μE[X¯]=1NNi=1E[Xi]=1N(Nμ)=μ

V(ˉX)=E[(ˉXμ)2]=E[((1NNi=1Xi)μ)2]=E[(1NNi=1(Xiμ))2]=1N2(NE[(Xiμ)2]+N(N1)E[Xiμ]E[Xjμ])=1Nσ2V(X¯)=E[(X¯μ)2]=E[((1Ni=1NXi)μ)2]=E[(1Ni=1N(Xiμ))2]=1N2(NE[(Xiμ)2]+N(N1)E[Xiμ]E[Xjμ])=1Nσ2

Последний шаг следует, поскольку и . Возможно, это не самый простой вывод , но это тот же процесс, который мы должны сделать, чтобы найти и , где мы разбиваем произведение суммирования и подсчитываем количество слагаемых со степенями различных переменных. В приведенном выше случае было членов, которые имели вид и членов вида .E[Xiμ]=0E[Xiμ]=0E[(Xiμ)2]=σ2E[(Xiμ)2]=σ2V(ˉX)V(X¯)κ3(ˉX)κ3(X¯)κ3(h(ˉX))κ3(h(X¯))NN(Xiμ)2(Xiμ)2N(N1)N(N1)(Xiμ)(Xjμ)(Xiμ)(Xjμ)

κ3(ˉX)=E[(ˉXμ)3)]=E[((1NNi=1Xi)μ)3]=E[(1NNi=1(Xiμ))3]=1N3(NE[(Xiμ)3]+3N(N1)E[(Xiμ)E[(Xjμ)2]+N(N1)(N2)E[(Xiμ)]E[(Xjμ)]E[(Xkμ)]=1N2E[(Xiμ)3]=κ3(Xi)N2κ3(X¯)=E[(X¯μ)3)]=E[((1Ni=1NXi)μ)3]=E[(1Ni=1N(Xiμ))3]=1N3(NE[(Xiμ)3]+3N(N1)E[(Xiμ)E[(Xjμ)2]+N(N1)(N2)E[(Xiμ)]E[(Xjμ)]E[(Xkμ)]=1N2E[(Xiμ)3]=κ3(Xi)N2

Далее мы расширим в серии Тейлора, как у вас есть:h(ˉX)h(X¯)

h(ˉX)=h(μ)+h(μ)(ˉXμ)+12h(μ)(ˉXμ)2+13h(μ)(ˉXμ)3+...h(X¯)=h(μ)+h(μ)(X¯μ)+12h′′(μ)(X¯μ)2+13h′′′(μ)(X¯μ)3+...

E[h(ˉX)]=h(μ)+h(μ)E[ˉXμ]+12h(μ)E[(ˉXμ)2]+13h(μ)E[(ˉXμ)3]+...=h(μ)+12h(μ)σ2N+13h(μ)κ3(Xi)N2+...E[h(X¯)]=h(μ)+h(μ)E[X¯μ]+12h′′(μ)E[(X¯μ)2]+13h′′′(μ)E[(X¯μ)3]+...=h(μ)+12h′′(μ)σ2N+13h′′′(μ)κ3(Xi)N2+...

Приложив больше усилий, вы можете доказать, что остальные термины являются . Наконец, так как , (что не совпадает с ), мы снова проводим аналогичные вычисления:O(N3)O(N3)κ3(h(ˉX))=E[(h(ˉX)E[h(ˉX)])3]κ3(h(X¯))=E[(h(X¯)E[h(X¯)])3]E[(h(ˉX)h(μ))3]E[(h(X¯)h(μ))3]

κ3(h(ˉX))=E[(h(ˉX)E[h(ˉX)])3]=E[(h(μ)+h(μ)(ˉXμ)+12h(μ)(ˉXμ)2+O((ˉXμ)3)h(μ)12h(μ)σ2NO(N2))3]κ3(h(X¯))=E[(h(X¯)E[h(X¯)])3]=E[(h(μ)+h(μ)(X¯μ)+12h′′(μ)(X¯μ)2+O((X¯μ)3)h(μ)12h′′(μ)σ2NO(N2))3]

Нас интересуют только термины, приводящие к порядку , и с дополнительной работой вы можете показать, что вам не нужны термины " «или» »перед тем, как взять третью степень, так как они приведут только к порядку . Итак, упрощая, мы получаемO(N2)O(N2)O((ˉXμ)3)O((X¯μ)3)O(N2)O(N2)O(N3)O(N3)

κ3(h(ˉX))=E[(h(μ)(ˉXμ)+12h(μ)(ˉXμ)212h(μ)σ2N))3]=E[h(μ)3(ˉXμ)3+18h(μ)3(ˉXμ)618h(μ)3σ6N3+32h(μ)2h(μ)(ˉXμ)4+34h(μ)h(μ)(ˉXμ)532h(μ)2h(μ)(ˉXμ)2σ2N+O(N3)]κ3(h(X¯))=E[(h(μ)(X¯μ)+12h′′(μ)(X¯μ)212h′′(μ)σ2N))3]=E[h(μ)3(X¯μ)3+18h′′(μ)3(X¯μ)618h′′(μ)3σ6N3+32h(μ)2h′′(μ)(X¯μ)4+34h(μ)h′′(μ)(X¯μ)532h(μ)2h′′(μ)(X¯μ)2σ2N+O(N3)]

Я отбросил некоторые термины, которые были явно в этом продукте. Вы должны убедить себя , что термины и являются также. Тем не мение,O(N3)O(N3)E[(ˉXμ)5]E[(X¯μ)5]E[(ˉXμ)6]E[(X¯μ)6]O(N3)O(N3)

E[(ˉXμ)4]=E[1N4(Ni=1(ˉXμ))4]=1N4(NE[(Xiμ)4]+3N(N1)E[(Xiμ)2]E[(Xjμ)2]+0)=3N2σ4+O(N3)E[(X¯μ)4]=E[1N4(i=1N(X¯μ))4]=1N4(NE[(Xiμ)4]+3N(N1)E[(Xiμ)2]E[(Xjμ)2]+0)=3N2σ4+O(N3)

Затем, распределяя ожидание по нашему уравнению для , получимκ3(h(ˉX))κ3(h(X¯))

κ3(h(ˉX))=h(μ)3E[(ˉXμ)3]+32h(μ)2h(μ)E[(ˉXμ)4]32h(μ)2h(μ)E[(ˉXμ)2]σ2N+O(N3)=h(μ)3κ3(Xi)N2+92h(μ)2h(μ)σ4N232h(μ)2h(μ)σ4N2+O(N3)=h(μ)3κ3(Xi)N2+3h(μ)2h(μ)σ4N2+O(N3)κ3(h(X¯))=h(μ)3E[(X¯μ)3]+32h(μ)2h′′(μ)E[(X¯μ)4]32h(μ)2h′′(μ)E[(X¯μ)2]σ2N+O(N3)=h(μ)3κ3(Xi)N2+92h(μ)2h′′(μ)σ4N232h(μ)2h′′(μ)σ4N2+O(N3)=h(μ)3κ3(Xi)N2+3h(μ)2h′′(μ)σ4N2+O(N3)

На этом завершается вывод . Теперь, наконец, мы выведем преобразование симметризации .κ3(h(ˉX))κ3(h(X¯))A(u)=u1[V(θ)]1/3dθA(u)=u1[V(θ)]1/3dθ

Для этого преобразования важно, чтобы принадлежало экспоненциальному семейству распределений и, в частности, естественному экспоненциальному семейству (или оно было преобразовано в это распределение) в формеXiXifXi(x;θ)=h(x)exp(θxb(θ))fXi(x;θ)=h(x)exp(θxb(θ))

В этом случае кумулянты распределения задаются как . Итак, , и . Мы можем записать параметр как функцию от просто взяв обратную величину от , записав . потомκk=b(k)(θ)κk=b(k)(θ)μ=b(θ)μ=b(θ)σ2=V(θ)=b(θ)σ2=V(θ)=b′′(θ)κ3=b(θ)κ3=b′′′(θ)θθμμbbθ(μ)=(b)1(μ)θ(μ)=(b)1(μ)

θ(μ)=1b((b)1(μ))=1b(θ))=1σ2θ(μ)=1b′′((b)1(μ))=1b′′(θ))=1σ2

Далее мы можем записать дисперсию как функцию и вызвать эту функцию :μμˉVV¯

ˉV(μ)=V(θ(μ))=b(θ(μ))V¯(μ)=V(θ(μ))=b′′(θ(μ))

потом

ddμˉV(μ)=V(θ(μ))θ(μ)=b(θ)1σ2=κ3σ2ddμV¯(μ)=V(θ(μ))θ(μ)=b′′′(θ)1σ2=κ3σ2

Таким образом, как функция , .μμκ3(μ)=ˉV(μ)ˉV(μ)κ3(μ)=V¯(μ)V¯(μ)

Теперь для симметрирующего преобразования мы хотим уменьшить асимметрию , сделав так что равно . Таким образом, мы хотимh(ˉX)h(X¯)h(μ)3κ3(Xi)N2+3h(μ)2h(μ)σ4N2=0h(μ)3κ3(Xi)N2+3h(μ)2h′′(μ)σ4N2=0h(ˉX)h(X¯)O(N3)

h(μ)3κ3(Xi)+3h(μ)2h(μ)σ4=0

Подставляя наши выражения для и как функции от , мы имеем:σ2κ3μ

h(μ)3ˉV(μ)ˉV(μ)+3h(μ)2h(μ)ˉV(μ)2=0

Таким образом, , что приводит к .h(μ)3ˉV(μ)+3h(μ)2h(μ)ˉV(μ)=0ddμ(h(μ)3ˉV(μ))=0

Одним из решений этого дифференциального уравнения является:

h(μ)3ˉV(μ)=1 ,

h(μ)=1[ˉV(μ)]1/3

Итак, , для любой константы, . Это дает нам преобразование симметризации , где - дисперсия как функция среднего в естественном экспоненциальном семействе.h(μ)=μc1[ˉV(θ)]1/3dθcA(u)=u1[V(θ)]1/3dθV


1

1.Почему я не могу получить тот же результат путем аппроксимации в терминах нецентральных моментов а затем вычислю центральные моменты используя аппроксимирующие нецентральные моменты?EˉXkE(ˉXEˉX)k

Потому что вы произвольно меняете деривацию и отбрасываете остаточный член, что важно. Если вы не знакомы с большой буквой O и соответствующими результатами, хорошим справочным материалом является [Casella & Lehmann].

h(ˉX)h(u)h(u)(ˉXμ)+h(x)2(ˉXμ)2+O[(ˉXμ)3]

E[h(ˉX)h(u)]h(u)E(ˉXμ)+h(x)2E(ˉXμ)2+(?)

Но даже если вы не отбрасываете остаток, утверждая, что вы всегда делаете (что недопустимо ...), выполните следующий шаг: говорит, чтоN\E(h(ˉX)h(u))3h(μ)3\E(ˉXμ)3+32h(μ)2h(μ)\E(ˉXμ)4+34h(μ)h(μ)2\E(ˉXμ)5+18h(μ)3\E(ˉXμ)6.(1)

[h(x)h(x0)]3dx=[h(x0)(xx0)+12h(x0)(xx0)2+O((xx0)3)]3dx=(1)

если это все еще не ясно, мы можем видеть, что алгебра расширения подынтегральной функции имеет вид

[h(x0)(xx0)+12h(x0)(xx0)2+O((xx0)3)]3(2)

Пусть , ,A=h(x0)(xx0)B=12h(x0)(xx0)2C=O((xx0)3) (2)=[A+B+C]3 [A3+3A2B+3AB2+B3]=[A+B]3=(1)

Ваша ошибка состоит в том, чтобы опустить остаток до раскрытия, что является «классической» ошибкой в ​​больших O-обозначениях и позже стало критикой использования больших O-обозначений.

анализ начинается с вместо , количество, которое нас действительно волнует?ˉXX

Поскольку мы хотим основывать наш анализ на достаточной статистике экспоненциальной модели, которую мы вводим. Если у вас есть образец размера 1, то нет никакой разницы, анализируете ли вы с помощью ИЛИ .ˉX=1nni=1XiX1

Это хороший урок в большой нотации, хотя это не относится к GLM ...

Ссылка [Casella & Lehmann] Lehmann, Erich Leo и George Casella. Теория балльной оценки. Springer Science & Business Media, 2006.

Используя наш сайт, вы подтверждаете, что прочитали и поняли нашу Политику в отношении файлов cookie и Политику конфиденциальности.
Licensed under cc by-sa 3.0 with attribution required.