Принимая ожидание серии Тейлор (особенно остаток)

43

Мой вопрос касается попыток обосновать широко используемый метод, а именно, взять ожидаемое значение ряда Тейлора. Предположим, у нас есть случайная величина с положительным средним и дисперсией . Кроме того, у нас есть функция, скажем, . $X$ $\mu$ $\sigma^2$ $\log(x)$

Выполняя разложение Тейлора вокруг среднего значения, мы получаем где, как обычно, - это st, $\log X$

\log X = \log μ + \frac{X - μ}{μ} - \frac{1}{2} \frac{(X - μ)^{2}}{μ^{2}} + \frac{1}{3} \frac{(X - μ)^{3}}{ξ_{X}^{3}},

$\log X = \log\mu + \frac{X - \mu}{\mu} - \frac12 \frac{(X-\mu)^2}{\mu^2} + \frac13 \frac{(X - \mu)^3}{\xi_X^3},$

ξ_{X}

$\xi_X$

| ξ_{X} - μ | < | X - μ |

$|\xi_X - \mu| < |X - \mu|$

Если мы возьмем ожидание, мы получим приблизительное уравнение, которое люди обычно называют чем-то само собой разумеющимся (см. Знак в первом уравнении здесь) $\approx$ :

E \log X \approx \log μ - \frac{1}{2} \frac{σ^{2}}{μ^{2}}

$\mathbb{E}\log X \approx \log \mu - \frac12 \frac{\sigma^2}{\mu^2}$

ВОПРОС : Меня интересует, как доказать, что ожидаемое значение остаточного члена на самом деле ничтожно, т.е. (или, другими словами, ).

E [\frac{(X - μ)^{3}}{ξ_{X}^{3}}] = o (σ^{2})

$\mathbb{E}\left[\frac{(X - \mu)^3}{\xi_X^3}\right] = o(\sigma^2)$

E [o (X - μ)^{2}] = o (E [(X - μ)^{2}])

$\mathbb{E}\bigl[o(X-\mu)^2\bigr] = o\bigl(\mathbb{E}\bigl[(X-\mu)^2\bigr]\bigr)$

То, что я пытался сделать : предполагая, что (что, в свою очередь, означает в ), я попытался разбить интеграл на два, окружив некоторыми -vicinity : $\sigma^2 \to 0$ $X \to \mu$ $\mathbb{P}$ $\mu$ $\varepsilon$ $N_\varepsilon$

\int_{R} p (x) \frac{(x - μ)^{3}}{ξ_{x}^{3}} d x = \int_{x \in N_{ε}} \dots d x + \int_{x \notin N_{ε}} \dots d x

$\int_\mathbb{R} p(x)\frac{(x-\mu)^3}{\xi_x^3} \,dx = \int_{x \in N_\varepsilon} \ldots dx + \int_{x \notin N_\varepsilon} \ldots dx$

Первый может быть ограничен из-за того, что и, следовательно, не беспокоит. Но со вторым мы имеем два совпадающих факта: с одной стороны, (как ). Но с другой стороны, мы не знаем, что делать с . $0 \notin N_\varepsilon$ $1/\xi^3$

P (| X - μ | > ε) \to 0

$\mathbb{P}(|X - \mu| > \varepsilon) \to 0$

σ^{2} \to 0

$\sigma^2 \to 0$

1 / ξ^{3}

$1/\xi^3$

Другой возможностью может быть попытка использовать лемму Фату, но я не могу понять, как.

Буду признателен за любую помощь или подсказку. Я понимаю, что это своего рода технический вопрос, но мне нужно пройти его, чтобы доверять этому методу «ожидания Тейлора». Благодарность!

PS Я проверил здесь , но, кажется, это немного другое.

self-study mathematical-statistics expected-value

— agronskiy
источник

Почему перед третьим членом разложения Тейлора стоит знак минус? И почему в четвертом семестре а не? Что мне не хватает?

3

$3$

3!

$3!$

— Алекос Пападопулос

@Alecos: Просто посмотрите на ю производную от . Это ответит на оба ваших вопроса.

n

$n$

\log x

$\log x$

— кардинал

4

(+1) Эта проблема недавно возникла при обсуждении двух вопросов, связанных с поиском моментов . Это платит, чтобы позаботиться о таких вещах. :-)

X^{- 1}

$X^{-1}$

— кардинал

1

Аппроксимация первого порядка на самом деле может быть лучше в некоторых случаях из-за теоремы о среднем значении. Не уверен, что теорема о среднем значении поможет в общем случае.

— вероятностная

1

Я бы подумал, что здесь может быть полезна теорема о доминируемой сходимости, поскольку уравнение представляет собой взаимозаменяемость границ и интегрирование.

E (o (. .)) = o (E (. .))

$E(o(..))=o(E(..))$

— вероятностная

32

Вы правы, что скептически относитесь к такому подходу. Метод рядов Тейлора вообще не работает, хотя эвристика содержит ядро истины. Подводя итог технической дискуссии ниже,

Сильная концентрация подразумевает, что метод рядов Тейлора работает для хороших функций
Все может и будет идти резко неправильно для распределений с тяжелыми хвостами или не очень хороших функций

Как показывает ответ Алекоса, это говорит о том, что метод ряда Тейлора следует отказаться, если ваши данные могут иметь тяжелые хвосты. (Профессионалы в области финансов, я смотрю на вас.)

Как отметил Элвис, ключевая проблема заключается в том, что дисперсия не контролирует более высокие моменты . Чтобы понять почему, давайте максимально упростим ваш вопрос, чтобы добраться до основной идеи.

Предположим, у нас есть последовательность случайных величин с при . $X_n$ $\sigma(X_n)\to 0$ $n\to \infty$

Q: Можем ли мы гарантировать, что при $\mathbb{E}[|X_n-\mu|^3] = o(\sigma^2(X_n))$ $n\to \infty?$

Поскольку есть случайные величины с конечными вторыми моментами и бесконечными третьими моментами, ответ категорически нет . Поэтому в общем случае метод рядов Тейлора не работает даже для полиномов 3-й степени . Повторение этого аргумента показывает, что вы не можете ожидать, что метод рядов Тейлора даст точные результаты, даже для полиномов, если все моменты вашей случайной величины не контролируются должным образом.

Что же нам тогда делать? Конечно, метод работает для ограниченных случайных величин, поддержка которых сходится к точке, но этот класс слишком мал, чтобы быть интересным. Предположим вместо этого, что последовательность происходит из некоторого высококонцентрированного семейства, которое удовлетворяет (скажем) $X_n$

\begin{matrix} (1) & P {| X_{n} - μ | > t} \leq e^{- C n t^{2}} \end{matrix}

$\mathbb{P}\left\{ |X_n-\mu|> t\right\} \le \mathrm{e}^{- C n t^2} \tag{1}$

для каждого и некоторого . Такие случайные величины удивительно распространены. Например, когда является эмпирическим средним $t>0$ $C>0$ $X_n$

X_{n} := \frac{1}{n} \sum_{i = 1}^{n} Y_{i}

$X_n := \frac{1}{n} \sum_{i=1}^n Y_i$

из хороших случайных величин (например, iid и ограниченный), различные неравенства концентрации подразумевают, что удовлетворяет (1). Стандартный аргумент (см. Стр. 10 здесь ) ограничивает й момент для таких случайных величин: $Y_i$ $X_n$ $p$

E [| X_{n} - μ |^{p}] \leq {(\frac{p}{2 C n})}^{p / 2} .

$\mathbb{E}[|X_n-\mu|^p] \le \left(\frac{p}{2 C n}\right)^{p/2}.$

Поэтому для любой «достаточно хорошей» аналитической функции (см. Ниже) мы можем связать ошибку в приближении рядов терма, используя неравенство треугольника $f$ $\mathcal{E}_m$ $m$

E_{m} := | E [f (X_{n})] - \sum_{p = 0}^{m} \frac{f^{(p)} (μ)}{p!} E (X_{n} - μ)^{p} | \leq \frac{1}{(2 C n)^{(m + 1) / 2}} \sum_{p = m + 1}^{\infty} | f^{(p)} (μ) | \frac{p^{p / 2}}{p!}

$\mathcal{E}_m:=\left|\mathbb{E}[f(X_n)] - \sum_{p=0}^m \frac{f^{(p)}(\mu)}{p!} \mathbb{E}(X_n-\mu)^p\right|\le \tfrac{1}{(2 C n)^{(m+1)/2}} \sum_{p=m+1}^\infty |f^{(p)}(\mu)| \frac{p^{p/2}}{p!}$

когда . Поскольку приближение Стерлинга дает , погрешность усеченного ряда Тейлора удовлетворяет $n>C/2$ $p! \approx p^{p-1/2}$

\begin{matrix} (2) & E_{m} = O (n^{- (m + 1) / 2}) as n \to \infty whenever \sum_{p = 0}^{\infty} p^{(1 - p) / 2} | f^{(p)} (μ) | < \infty . \end{matrix}

$\mathcal{E}_m = O(n^{-(m+1)/2}) \text{ as } n\to \infty\quad \text{whenever} \quad \sum_{p=0}^\infty p^{(1-p)/2 }|f^{(p)}(\mu)| < \infty \tag{2}.$

Следовательно, когда сильно сконцентрирован и достаточно хорош, приближение ряда Тейлора действительно является точным. Из неравенства (2) следует, что , так что , в частности , наше условие требует, чтобы это все . Это имеет смысл, поскольку (1) не накладывает никаких предположений об ограниченности на . $X_n$ $f$ $f^{(p)}(\mu)/p! = O(p^{-p/2})$ $f$ $X_n$

Давайте посмотрим, что может пойти не так, когда имеет особенность (после комментария Вубера). Предположим, что мы выбрали . Если мы возьмем из распределения усеченного между нулем и двумя, то достаточно сконцентрирован, но для каждого . Другими словами, мы имеем высококонцентрированную ограниченную случайную величину , и все же метод рядов Тейлора не работает, когда функция имеет только одну особенность. $f$ $f(x)=1/x$ $X_n$ $\mathrm{Normal}(1,1/n)$ $X_n$ $\mathbb{E}[f(X_n)] = \infty$ $n$

Несколько слов о строгости. Я считаю, что лучше представить условие, появляющееся в (2), как производное, а не deus ex machina, которое требуется в строгом формате теоремы / доказательства. Чтобы сделать аргумент полностью строгим, сначала отметим, что правая часть в (2) подразумевает, что

E [| f (X_{n}) |] \leq \sum_{i = 0}^{\infty} \frac{| f^{(p)} (μ) |}{p!} E [| X_{n} - μ |^{p}] < \infty

$\mathbb{E}[|f(X_n)|] \le \sum_{i=0}^\infty \frac{|f^{(p)}(\mu)|}{p!} \mathbb{E}[|X_n-\mu|^p]< \infty$

по темпам роста субгауссовых моментов сверху. Таким образом, теорема Фубини дает

E [f (X_{n})] = \sum_{i = 0}^{\infty} \frac{f^{(p)} (μ)}{p!} E [(X_{n} - μ)^{p}]

$\mathbb{E}[f(X_n)] = \sum_{i=0}^\infty \frac{f^{(p)}(\mu)}{p!} \mathbb{E}[(X_n-\mu)^p]$

Остальная часть доказательства продолжается, как указано выше.

— Майк Маккой
источник

1

Возможно, я пропустил это в кратком чтении, но вы утверждаете (среди прочего), что при условии, что третий момент достаточно «под контролем», тогда ожидание может быть разумно приближено, принимая ожидания [Маклаурин] серия ? Я обеспокоен , потому что я не видел каких - либо ссылок на свойства сходимости самого ряда, которые по крайней мере так важны , как хвосты распределения .

X

$X$

\log (X)

$\log(X)$

\log

$\log$

X

$X$

— whuber

2

@whuber Вы правы; вам понадобится поддержка чтобы быть в ROC ряда Тейлора, поэтому, в частности, почти наверняка. Я обновлю пост, чтобы отразить это.

X

$X$

0 < X < 2 μ

$0<X<2 \mu$

— Майк Маккой

2

Я все еще думаю, что что-то упустил. Например, когда имеет нормальное распределение, усеченное до , оно, очевидно, является «высококонцентрированным», имеет среднее значение и почти наверняка находится в пределах радиуса сходимости (который является аналитическим внутри единичного диска с центром в , который содержит ), но бесконечно.

X

$X$

(1, 1)

$(1,1)$

(0, 2)

$(0,2)$

μ = 1

$\mu=1$

f (x) = 1 / x = 1 / (1 - (1 - x))

$f(x)=1/x = 1/(1-(1-x))$

1

$1$

(0, 2 μ)

$(0,2\mu)$

E [f (X)]

$\mathbb{E}[f(X)]$

— whuber

1

@gron Вы сделали небольшую ошибку. Когда , производная . Условие не выполняется, потому что для любого . Вы также можете проверить, что (2) не выполняется, потому что любая функция, которая удовлетворяет (2), также удовлетворяет , и, следовательно, имеет никаких особенностей ( вся , по ссылке).

f (x) = 1 / x

$f(x)=1/x$

| f^{(p)} (μ) | = p! / μ^{p}

$|f^{(p)}(\mu)|=p!/\mu^p$

(2) = \sum p! p^{(1 - p / 2)} μ^{p} \to \infty

$\text{(2)}=\sum p! p^{(1-p/2)} \mu^p \to \infty$

μ > 0

$\mu>0$

\log (p! f^{(p)} (μ)) / p \to - \infty

$\log (p! f^{(p)}(\mu) )/ p \to -\infty$

f

$f$

— Майк Маккой

1

@gron Вам нужны две вещи: (1) убедиться, что ваш RV имеет поддержку строго в пределах ROC степенного ряда журнала (т. е. для ), и (2) убедитесь, что моменты RV уменьшаются достаточно быстро, чтобы оценка погрешности для выше была конечной. Что касается того, как управлять моментами, вы должны задать новый вопрос, потому что он займёт слишком много персонажей (и мне самому любопытно узнать о новых способах).

[0 + ε, 2 μ - ε]

$[0+\varepsilon, 2 \mu-\varepsilon]$

ε > 0

$\varepsilon > 0$

E_{m}

$\mathcal{E}_m$

— Майк Маккой

10

Хотя мой ответ нигде не приблизится к уровню математической сложности других ответов, я решил опубликовать его, потому что считаю, что он может внести свой вклад - хотя результат, как говорится, будет «отрицательным».

Легким тоном я бы сказал, что ОП «не склонна к риску» (как и большинство людей, равно как и сама наука), потому что ОП требует достаточного условия, чтобы приближение разложения в ряд Тейлора 2-го порядка «было бы» приемлемо". Но это не обязательное условие.

Во-первых, необходимая, но не достаточная предпосылка для того, чтобы ожидаемое значение Остатка было более низкого порядка, чем дисперсия rv, как того требует ОП, состоит в том, что ряд сходится в первую очередь. Должны ли мы просто предполагать сходимость? Нет.

Общее выражение, которое мы исследуем,

E [g (Y)] = \int_{- \infty}^{\infty} f_{Y} (y) [\sum_{i = 0}^{\infty} g^{(i)} (μ) \frac{(y - μ)^{i}}{i!}] d y [1]

$E\Big[g(Y)\Big] = \int_{-\infty}^{\infty}f_Y(y)\Big[\sum_{i=0}^{\infty}g^{(i)}(\mu)\frac{(y-\mu)^i}{i!}\Big]dy \qquad [1]$

Как утверждает Лойстл (1976) , ссылаясь на книгу Джеминьяни «Исчисление и статистика» (1978, стр. 170), условием сходимости бесконечной суммы является (применение теста отношения для сходимости)

y - μ < | y - μ | < lim_{i \to \infty} | (\frac{g^{(i)} (μ)}{g^{(i + 1)} (μ)} (i + 1)) | [2]

$y-\mu < |y-\mu|<\lim_{i\rightarrow \infty}\left | \left(\frac {g^{(i)}(\mu)}{g^{(i+1)}(\mu)}(i+1)\right)\right| \qquad [2]$

... где - среднее значение rv. Хотя это также является достаточным условием (критерий отношения неубедителен, если вышеуказанное соотношение выполняется с равенством), ряд будет расходиться, если неравенство выполнено в другом направлении. $\mu$

Лоистль исследовал три специфические функциональные формы для , экспоненту, мощность и логарифм (его статья находится в области «Ожидаемая полезность и выбор портфеля», поэтому он протестировал стандартные функциональные формы, используемые для представления вогнутой функции полезности). Для этих функциональных форм он обнаружил, что только для экспоненциальной функциональной формы никаких ограничений на не накладывалось. Напротив, для степени и для логарифмического случая (где у нас уже есть ), мы находим, что справедливость неравенства эквивалентна $g()$ $y-\mu$ $0 <y$ $[2]$

y - μ < μ \Rightarrow 0 < y < 2 μ

$y-\mu < \mu \Rightarrow 0 < y < 2\mu$

Это означает, что если наша переменная изменяется за пределами этого диапазона, расширение Тейлора, имеющее в качестве центра расширения среднее значение переменной, будет расходиться.

Итак: для некоторых функциональных форм значение функции в некоторой точке ее области равно ее бесконечному разложению по Тейлору, независимо от того, как далеко эта точка находится от центра расширения. Для других функциональных форм (включая логарифм) интересующий объект должен находиться несколько «близко» к выбранному центру расширения. В случае, когда у нас есть rv, это означает ограничение на теоретическую поддержку переменной (или исследование ее эмпирически наблюдаемого диапазона).

Лойтл, используя числовые примеры, также показал, что увеличение порядка расширения перед усечением может ухудшить точность аппроксимации. Мы должны отметить, что опытным путем временные ряды наблюдаемых переменных в финансовом секторе демонстрируют изменчивость, большую, чем та, которая требуется неравенством. Итак, Лойтл продолжал выступать за то, чтобы методология аппроксимации ряда Тейлора была полностью отменена, в отношении теории выбора портфеля.

Восстановление пришло 18 лет спустя от Главички (1994) . Ценное понимание и результат здесь был, и я цитирую

... хотя ряд может в конечном итоге сходиться, мало что можно сказать о любом из его частичных рядов; конвергенция ряда не означает, что члены сразу уменьшаются в размере или что какой-либо конкретный термин достаточно мал, чтобы его можно было игнорировать. Действительно, как показано здесь, возможно, что ряд может казаться расходящимся, прежде чем в конечном итоге сходится в пределе. Следовательно, качество моментных приближений к ожидаемой полезности, основанных на первых нескольких членах ряда Тейлора, не может быть определено свойствами сходимости бесконечного ряда. Это эмпирическая проблема, и эмпирически, двухкомпонентные приближения к функциям полезности, изученным здесь, хорошо справляются с задачей выбора портфеля. Главичка (1994)

Например, Главичка показал, что приближение 2-го порядка было «успешным» независимо от того, сходился ли ряд Тейлора или нет , но он также проверил результат Лотля, что увеличение порядка приближения может ухудшить ситуацию. Но для этого успеха есть определитель: в «Выбор портфеля» «Ожидаемая полезность» используется для ранжирования ценных бумаг и других финансовых продуктов. Это порядковая мера, а не кардинальная. Итак, Главичка обнаружил, что приближение 2-го порядка сохранило ранжирование различных ценных бумаг по сравнению с ранжированием, вытекающим из точного значения , а не $E(g(Y)$ что он всегда давал количественные результаты, которые были достаточно близки к этому точному значению (см. его таблицу А1 на с. 718).

Так, где это оставляет нас? В подвешенном состоянии, я бы сказал. Представляется, что как в теории, так и в эмпирике приемлемость приближения Тейлора 2-го порядка критически зависит от многих различных аспектов исследуемого конкретного явления и используемой научной методологии - от теоретических предположений, от используемых функциональных форм, на наблюдаемой изменчивости ряда ...

Но давайте положительно покончим с этим: в наши дни мощь компьютера заменяет многое. Таким образом, мы могли бы смоделировать и проверить справедливость приближения 2-го порядка для широкого диапазона значений переменной, независимо от того, работаем ли мы над теоретической или эмпирической задачей.

— Алекос Пападопулос
источник

8

Не фактический ответ, но пример, чтобы показать, что все не так хорошо, и что для подтверждения этого результата необходимы дополнительные гипотезы.

Определите как смесь между равномерным и нормальным , причем равномерная компонента выбирается с вероятностью , а нормаль - с вероятностью . Вы имеете и его дисперсия сходится к когда уходит в бесконечность, так как если я не ошибаюсь. $X_n$ $U\left( \left[ -{1\over n} ; {1\over n} \right] \right)$ $\mathcal N({n \over n-1}, {1\over n})$ $1\over n$ $1 -{1\over n} = {n-1 \over n}$ $E(X_n) = 1$ $0$ $n$

E (X_{n}^{2}) = \frac{1}{3 n^{2}} \times \frac{1}{n} + ({(\frac{n}{n - 1})}^{2} + \frac{1}{n}) \times \frac{n - 1}{n},

$E\left(X_n^2\right) = {1\over 3 n^2} \times {1\over n} + \left(\left({n \over n-1}\right)^2+{1\over n}\right)\times{n-1 \over n},$

Теперь определите (и или что-то еще). Случайные величины хорошо определены, но не имеют ожидаемого значения, так как не определено, независимо от того, насколько велико . $f(x) = 1/x$ $f(0) = 0$ $f(X_n)$

\int_{- \frac{1}{n}}^{\frac{1}{n}} \frac{1}{x} d x

$\int_{-{1\over n}}^{1\over n} {1\over x} \mathrm dx$

n

$n$

Мой вывод заключается в том, что вам явно нужны гипотезы либо о глобальном поведении либо, что более вероятно, более элегантно, о скорости, с которой плотность уменьшается, когда вы далеки от ожидаемого значения. Я уверен, что такие гипотезы можно найти в классической литературе (и даже в учебниках), к сожалению, я не занимался статистикой, и я все еще сам борюсь с литературой ... в любом случае, надеюсь, это помогло. $f$ $X_n$

PS. Разве этот пример не является контрпримером к ответу Ника? Кто тогда не прав?

— Элвис
источник

1

E [X^{k}]

$E\left[X^k\right]$

k = 1, 2, 3

$k=1,2,3$

f (x)

$f(x)$

x = μ

$x=\mu$

f (x) = \frac{1}{x}

$f(x)=\frac{1}{x}$

x = 0

$x=0$

f

$f$

μ = 1

$\mu = 1$

1

Элвис, да, нам нужно глобальное состояние. По сути, остаток должен вести себя хорошо после того, как он взвешен хвостами распределения. Что-то похожее на ваш пример, который появился недавно, смотрите здесь , здесь и здесь .

— кардинал

4

Это не полный ответ, просто другой способ достижения приближения второго порядка.

f (X) = f (μ) + f^{'} (ξ_{1}) (X - μ)

$f(X)=f(\mu)+f'(\xi_1)(X-\mu)$

$X\leq\xi_1 \leq \mu$ $X \leq \mu$ $X\geq\xi_1 \geq \mu$ $X \geq \mu$ $f'(\xi_1)$

f^{'} (ξ_{1}) = f^{'} (μ) + f^{″} (ξ_{2}) (ξ_{1} - μ)

$f'(\xi_1)= f'(\mu) + f''(\xi_2)( \xi_1-\mu)$

$X\leq\xi_1\leq\xi_2\leq\mu$ $X\leq\mu$ $X\geq\xi_1\geq \xi_2 \geq\mu$ $X\geq\mu$

f (X) = f (μ) + f^{'} (μ) (X - μ) + f^{″} (ξ_{2}) (ξ_{1} - μ) (X - μ)

$f(X)=f(\mu)+ f'(\mu) (X-\mu) + f''(\xi_2)( \xi_1-\mu) (X-\mu)$

$f$ $X$ $\mu$ $X$ $X$ $\xi_i$ $\xi_1-\mu=\frac{1}{2}(X-\mu)$ $\xi_2=\mu$ $X$

— probabilityislogic
источник