Что такое функция генерации момента (MGF)?

Можете ли вы объяснить это с точки зрения непрофессионала и вместе с простым и легким примером?

Пожалуйста, ограничьте использование формальных математических обозначений, насколько это возможно.

Давайте предположим, что безошибочная интуиция невозможна, и по-прежнему настаиваем на том, чтобы выкинуть математику до самых основ, чтобы получить представление о том, что происходит: мы пытаемся получить статистические моменты , которые после обязательной ссылки на физику мы определяем как ожидаемое значение степени случайной величины. Для непрерывной случайной величины необработанный $k$ момент равен LOTUS :

$$\begin{align}\large \color{red}{\mathbb{E}\left[{X^k}\right]} &= \displaystyle\int_{-\infty}^{\infty}\color{blue}{X^k}\,\,\color{green}{\text{pdf}}\,\,\,dx\tag{1}\end{align}$$

Функция, генерирующая момент ,

$$M_X(t):=\mathbb E\big[e^{tX}\big],$$ - это способ обойти этот интеграл (уравнение 1) , вместо этого выполняя:

$$\begin{align} \large \color{blue}{\mathbb{E}\left[e^{\,tX}\right]}&=\displaystyle \int_{-\infty}^{\infty}\color{blue}{e^{tX}}\,\color{green}{\text{pdf}}\, dx\tag{2}\end{align}$$

Почему? Потому что это проще и есть фантастическое свойство MGF , что можно увидеть, расширив ряд Маклорена по $\color{blue}{e^{\,tX}}$

$$e^{tX}=1+\frac{ X }{1!}\, t +\frac{ X^{2} }{2!}t^{2} +\frac{ X^{3} }{3!} t^{3} +\cdots$$

Принимая во внимание ожидания обеих сторон этого степенного ряда:

$$\begin{align} M_X(t) &= \color{blue}{\mathbb{E}\left[e^{\,tX}\right]} \\[1.5ex] &=1 + \frac{\color{red}{\mathbb{E} \left[X\right]}}{1!} \, t \, + \frac{\color{red}{\mathbb{E} \left[X^2\right]}}{2!} \, t^2 \, + \frac{\color{red}{\mathbb{E} \left[X^3\right]}}{3!} \, t^3 \, + \cdots\tag{3} \end{align}$$

моменты кажутся «расположенными» на этой полиномиальной «веревке для белья», готовые быть отбракованными простым дифференцированием $k$ раз и оценкой в ​​ноль, как только мы пройдем более простую интеграцию (в уравнении (2)) только один раз для всех моментов! Тот факт, что это более простая интеграция, наиболее очевиден, когда pdf является экспоненциальным.

Чтобы восстановить $k$ момент:

$$M_X^{(k)}(0)=\frac{d^k}{dt^k}M_X(t)\Bigr|_{t=0}$$

Тот факт, что в конечном итоге возникает необходимость дифференциации, делает его не бесплатным обедом - в конце концов, это двустороннее преобразование Лапласа в формате pdf с измененным знаком в показателе степени:

$$\mathcal L \{\text{pdf}(x)\}(s) =\int_{-\infty}^{\infty}e^{-sx}\text{pdf}(x) dx$$

такой, что

$$M_X(t)=\mathcal L\{\text{pdf}(x)\}(-s)\tag 4.$$

Это, по сути, дает нам физический путь к интуиции. Преобразование Лапласа действует на $\color{green}{\text{pdf}}$ и разбивает его на моменты. Сходство с преобразованием Фурье неизбежная : а FT отображает функцию новой функции на вещественной прямой, и Лапласа переводит функцию новой функции на комплексной плоскости. Преобразование Фурье выражает функцию или сигнал как последовательность частот, в то время как преобразование Лапласа разрешает функцию в ее моменты . Фактически, другой способ получения моментов - это преобразование Фурье ( характеристическая функция ). Экспоненциальный член в преобразовании Лапласа обычно имеет вид $e^{-st}$ с$s=\sigma + i\,\omega$ , соответствующиереальным экспонент и мнимых sinusoidalsи получают участкитакие какэто:

---

[ Из Руководства ученого и инженера по обработке сигналов Стивена В. Смита ]

---

Поэтому функция $M_X(t)$ разлагает $\text{pdf}$ на «составляющие частоты», когда $\sigma=0.$ Из уравнения. (4):

$$\begin{align}\require{cancel} M_X(t)&=\mathbb E\big[e^{-sX}\big]\\[2ex] &=\displaystyle \int_{-\infty}^{\infty}{e^{-sx}}\,\text{pdf}(x)\, dx\\[2ex] &=\displaystyle \int_{-\infty}^{\infty}{e^{-(\sigma+i\omega)x}}\,\text{pdf}(x)\, dx\\[2ex] &=\displaystyle \int_{-\infty}^{\infty}\cancel{e^{-\sigma x}}\,\color{red}{e^{-i\omega x}\,\text{pdf}(x)\, dx} \end{align}$$

что оставляет нас с неправильным интегралом части выражения в красном, соответствующей преобразованию Фурье PDF.

В общем, интуиция полюсов преобразования Лапласа функции будет состоять в том, что они предоставляют информацию об экспоненциальной (затухающей) и частотной составляющих функции (в данном случае pdf).

---

В ответ на обсуждаемый вопрос о переходе с на это совершенно стратегический шаг: одно выражение не следует из другого. Вот аналогия: у нас есть собственная машина, и мы можем свободно въезжать в город каждый раз, когда нам нужно позаботиться о каком-либо бизнесе (читай, интегрируя уравнение независимо от того, насколько сложно для каждого отдельного момента) , Вместо этого мы можем сделать что - то совершенно другое: мы можем доехать до ближайшей станции метро (читать, решать уравнение только один раз), и оттуда использовать общественный транспорт , чтобы добраться до каждого отдельного места , мы должны посещения (чтение, получить любую производная интеграла в уравнении для извлечения любого$X^k$$e^{tx}$$(1)$$(2)$$k$$(2)$$k$-ый момент нам нужен, зная (благодаря ), что все моменты «прячутся» там и изолируются, оценивая в ).$(3)$$0$

С точки зрения непрофессионала, это способ закодировать все характеристики распределения вероятностей в одну короткую фразу. Например, если я знаю, что MGF распределения я могу узнать среднее значение этого распределения, взяв первый член разложения Тейлора. : Если вы знаете, что делаете, это гораздо быстрее, чем ожидание функции вероятности.

$$M(t)=e^{t\mu+1/2\sigma^2t^2}$$ $$\frac d {dt}M(t)|_{t=0}=\mu+\sigma^2t|_{t=0}=\mu$$

Более того, поскольку этот MGF кодирует все, что касается распределения, если вы знаете, как манипулировать функцией, вы можете применять операции ко всем характеристикам распределения одновременно! Почему мы не всегда используем MGF? Во-первых, не во всех ситуациях MGF - самый простой инструмент. Во-вторых, MGF не всегда существует.

Над мирянином

Предположим, у вас есть стандартное нормальное распределение. Вы можете выразить все, что вы знаете об этом, указав его PDF:

$$f(x)=\frac 1 {\sqrt{2\pi}}e^{-x^2/2}$$

Вы можете вычислить его момент, такой как среднее и стандартное отклонение, и использовать его для преобразованных переменных и функций для случайных нормалей и т. Д.

Вы можете думать о MGF нормального распределения как об альтернативе PDF. Он содержит такое же количество информации. Я уже показал, как получить среднее.

Зачем нам нужен альтернативный путь? Как я уже писал, иногда это просто удобнее. Например, попробуйте вычислить дисперсию стандартного нормали из PDF: Это не так сложно, но гораздо проще сделать это с MGF :

$$\sigma^2=\int_{-\infty}^\infty x^2\frac 1 {\sqrt{2\pi}}e^{-x^2/2} dx=?$$ $M(t)=e^{t^2/2}$ $$\sigma^2=\frac {d^2} {dt^2}M(t)|_{t=0}=\frac d {dt} t |_{t=0}=1$$