Недавно я смотрел на симуляцию Монте-Карло и использовал ее для аппроксимации констант, таких как $\pi$ (окружность внутри прямоугольника, пропорциональная область).

Однако я не могу придумать соответствующий метод аппроксимации значения $e$ [число Эйлера] с использованием интеграции Монте-Карло.

Есть ли у вас какие-либо указания о том, как это можно сделать?

Простой и элегантный способ оценки по Монте-Карло описан в этой статье . Бумага на самом деле об обучении e . Следовательно, подход кажется идеально подходящим для вашей цели. Идея основана на упражнении из популярного российского учебника по теории вероятностей Гнеденко. Смотри ex.22 на стр.183$e$$e$

Случается так, что , где ξ - случайная величина, которая определяется следующим образом. Это минимальное число п такое , что Σ п я = 1 г я > 1 и г я случайные числа от равномерного распределения на [ 0 , 1 ] . Красиво, не правда ли ?!$E[\xi]=e$$\xi$$n$$\sum_{i=1}^n r_i>1$$r_i$$[0,1]$

Поскольку это упражнение, я не уверен, что для меня было бы здорово опубликовать решение (доказательство) здесь :) Если вы хотите доказать это сами, вот совет: глава называется «Моменты», которая должна указывать Вы в правильном направлении.

Если вы хотите реализовать это самостоятельно, не читайте дальше!

Это простой алгоритм для моделирования Монте-Карло. Нарисуйте случайный случайный случай, затем еще один и так далее, пока сумма не превысит 1. Количество нарисованных рандомов - ваше первое испытание. Допустим, вы получили:

 0.0180
 0.4596
 0.7920

Затем ваше первое испытание было выполнено 3. Продолжайте выполнять эти испытания, и вы заметите, что в среднем вы получаете .$e$

Код MATLAB, результат моделирования и гистограмма следуют.

N = 10000000;
n = N;
s = 0;
i = 0;
maxl = 0;
f = 0;
while n > 0
    s = s + rand;
    i = i + 1;
    if s > 1
        if i > maxl
            f(i) = 1;
            maxl = i;
        else
            f(i) = f(i) + 1;
        end
        i = 0;
        s = 0;
        n = n - 1;
    end
end

disp ((1:maxl)*f'/sum(f))
bar(f/sum(f))
grid on

f/sum(f)

Результат и гистограмма:

2.7183


ans =

  Columns 1 through 8

         0    0.5000    0.3332    0.1250    0.0334    0.0070    0.0012    0.0002

  Columns 9 through 11

    0.0000    0.0000    0.0000

ОБНОВЛЕНИЕ: я обновил свой код, чтобы избавиться от массива результатов испытаний, чтобы он не занимал ОЗУ. Я также напечатал оценку PMF.

Обновление 2: вот мое решение Excel. Поместите кнопку в Excel и свяжите ее со следующим макросом VBA:

Private Sub CommandButton1_Click()
n = Cells(1, 4).Value
Range("A:B").Value = ""
n = n
s = 0
i = 0
maxl = 0
Cells(1, 2).Value = "Frequency"
Cells(1, 1).Value = "n"
Cells(1, 3).Value = "# of trials"
Cells(2, 3).Value = "simulated e"
While n > 0
    s = s + Rnd()
    i = i + 1
    If s > 1 Then
        If i > maxl Then
            Cells(i, 1).Value = i
            Cells(i, 2).Value = 1
            maxl = i
        Else
            Cells(i, 1).Value = i
            Cells(i, 2).Value = Cells(i, 2).Value + 1
        End If
        i = 0
        s = 0
        n = n - 1
    End If
Wend


s = 0
For i = 2 To maxl
    s = s + Cells(i, 1) * Cells(i, 2)
Next


Cells(2, 4).Value = s / Cells(1, 4).Value

Rem bar (f / Sum(f))
Rem grid on

Rem f/sum(f)

End Sub

Введите количество испытаний, например 1000, в ячейку D1 и нажмите кнопку. Вот как должен выглядеть экран после первого запуска:

ОБНОВЛЕНИЕ 3: Серебряная рыбка вдохновила меня на другой путь, не такой элегантный, как первый, но все же крутой. Он рассчитал объемы n-симплексов с использованием последовательностей Соболя .

s = 2;
for i=2:10
    p=sobolset(i);
    N = 10000;
    X=net(p,N)';
    s = s + (sum(sum(X)<1)/N);
end
disp(s)

2.712800000000001

По совпадению он написал первую книгу о методе Монте-Карло, которую я прочитал еще в старшей школе. На мой взгляд, это лучшее введение в метод.

ОБНОВЛЕНИЕ 4:

Silverfish в комментариях предложил простую реализацию формулы Excel. Вот такой результат вы получите с его подходом после примерно 1 миллиона случайных чисел и 185K испытаний:

Очевидно, что это намного медленнее, чем реализация Excel VBA. Особенно, если вы измените мой код VBA, чтобы не обновлять значения ячеек внутри цикла, а делать это только после сбора всей статистики.

ОБНОВЛЕНИЕ 5

Решение Сианя №3 тесно связано (или даже в некотором смысле то же, что и комментарий jwg в ветке). Сложно сказать, кто придумал эту идею сначала Форсайт или Гнеденко. Оригинальное издание Гнеденко 1950 года на русском языке не имеет разделов «Проблемы» в главах. Таким образом, я не смог найти эту проблему с первого взгляда, где она есть в более поздних выпусках. Возможно это было добавлено позже или похоронено в тексте.

Как я прокомментировал в ответе Сианя, подход Форсайта связан с другой интересной областью: распределением расстояний между пиками (экстремумами) в случайных (IID) последовательностях. Среднее расстояние оказывается равным 3. Последовательность обратного хода в подходе Форсайта заканчивается дном, поэтому, если вы продолжите выборку, вы получите еще одно дно в какой-то момент, затем еще одно и т. Д. Вы можете отслеживать расстояние между ними и строить распределение.

Я предлагаю опровергнуть ответ Аксакала. Он беспристрастен и опирается только на метод генерации единичных отклонений.

$e$

$\log$$e$

$e$

$n$$n$$i$$1-n^{-1}$$n$$p=(1-\frac{1}{n})^n.$

поэтому мы также можем написать

То есть наша оценка находится путем оценки вероятности того, что конкретное наблюдение опущено из начальной загрузки во многих таких - то есть доли вхождений объекта в начальной загрузке.$p$$m$$B_j$$i$

В этом приближении есть два источника ошибок. Конечное всегда будет означать, что результаты приблизительны, то есть оценка смещена. Кроме того, будет колебаться вокруг истинного значения, потому что это симуляция.$n$$\hat{p}$

Я нахожу этот подход несколько очаровательным, потому что студент или другой человек, у которого достаточно мало дел, могут приблизиться к используя колоду карт, кучу маленьких камней или любые другие предметы в руке, в том же ключе, что и человек, которого можно оценить используя компас, прямой край и несколько песчинок. Я думаю, что это хорошо, когда математика может быть отделена от современных удобств, таких как компьютеры.$e$$\pi$

Полученные результаты

Я провел несколько симуляций для различного числа загрузочных повторов. Стандартные ошибки оцениваются с использованием нормальных интервалов.

Обратите внимание, что выбор числа загружаемых объектов устанавливает абсолютный верхний предел точности результатов, поскольку процедура Монте-Карло оценивает а зависит только от . Установка излишне большим просто приведет к перегружению вашего компьютера, либо потому, что вам нужно только «грубое» приближение к либо потому, что смещение будет затоплено дисперсией из-за Монте-Карло. Эти результаты для и точностью до третьего знака после запятой.$n$$p$$p$$n$$n$$e$$n=10^3$$p^{-1}\approx e$

Этот график показывает, что выбор имеет прямые и глубокие последствия для стабильности в . Синяя пунктирная линия показывает а красная линия показывает . Как и ожидалось, увеличение размера выборки дает все более точные оценки . $m$$\hat{p}$$p$$e$$\hat{p}$

Я написал смущающе длинный R-скрипт для этого. Предложения по улучшению могут быть представлены на обратной стороне 20-долларовой купюры.

library(boot)
library(plotrix)
n <- 1e3

## if p_hat is estimated with 0 variance (in the limit of infinite bootstraps), then the best estimate we can come up with is biased by exactly this much:
approx <- 1/((1-1/n)^n)

dat <- c("A", rep("B", n-1))
indicator <- function(x, ndx)   xor("A"%in%x[ndx], TRUE) ## Because we want to count when "A" is *not* in the bootstrap sample

p_hat <- function(dat, m=1e3){
    foo <- boot(data=dat, statistic=indicator, R=m) 
    1/mean(foo$t)
} 

reps <- replicate(100, p_hat(dat))

boxplot(reps)
abline(h=exp(1),col="red")

p_mean <- NULL
p_var <- NULL
for(i in 1:10){
    reps <- replicate(2^i, p_hat(dat))
    p_mean[i] <- mean(reps)
    p_var[i] <- sd(reps)
}
plotCI(2^(1:10), p_mean, uiw=qnorm(0.975)*p_var/sqrt(2^(1:10)),xlab="m", log="x", ylab=expression(hat(p)), main=expression(paste("Monte Carlo Estimates of ", tilde(e))))
abline(h=approx, col='red')

Решение 1:

Для распределения Пуассона Следовательно, если , что означает, что вы можете оценить с помощью моделирования Пуассона. И моделирование Пуассона может быть получено из генератора экспоненциального распределения (если не самым эффективным способом).$\mathcal{P}(\lambda)$

Замечание 1: Как обсуждалось в комментариях, это довольно запутанный аргумент, поскольку моделирование из распределения Пуассона или эквивалентного экспоненциального распределения может быть трудно представить без участия log или функции exp ... Но затем В. Хубер пришел к спасение этого ответа с наиболее элегантным решением на основе упорядоченной униформы. Однако это является приближением , поскольку распределение равномерного интервала является бета- , подразумевая, что который сходится к как$U_{(i:n)}-U_{(i-1:n)}$$\mathfrak{B}(1,n)$

$$\mathbb{P}(n\{U_{(i:n)}-U_{(i-1:n)}\}\ge 1)=\left(1-\frac{1}{n}\right)^n$$ $e^{-1}$$n$растет до бесконечности. В качестве еще одной стороны, которая отвечает на комментарии, экспоненциальный генератор фон Неймана 1951 года использует только однородные поколения.

Решение 2:

Другой способ добиться представления константы в виде интеграла состоит в том, чтобы напомнить, что когда то который также является распределением. Таким образом, Второй подход к аппроксимации от Монте-Карло, таким образом, должен моделировать нормальные пары и контролировать частоту времен . В некотором смысле это противоположность аппроксимации Монте-Карло для связанной с частотой времен ...$e$

Решение 3:

Мой коллега из Уорикского университета М. Поллок указал на другое приближение Монте-Карло, называемое методом Форсайта : идея состоит в том, чтобы запустить последовательность равномерных поколений до . Ожидание соответствующего правила остановки , которое представляет собой число раз, когда равномерная последовательность пошла вниз, равно тогда как вероятность того, что нечетно, равна ! ( Метод Форсайта на самом деле нацелен на моделирование из любой плотности вида , поэтому он более общий, чем аппроксимация и .)$u_1,u_2,...$$u_{n+1}>u_{n}$$N$$e$$N$$e^{-1}$$\exp G(x)$$e$$e^{-1}$

Это довольно параллельно с подходом Гнеденко, использованным в ответе Аксакала , поэтому мне интересно, может ли одно быть выведено из другого. По крайней мере, оба имеют одинаковое распределение с вероятностьюдля значения .$1/n!$$n$

Быстрая R-реализация метода Форсайта состоит в том, чтобы отказаться от точного следования последовательности униформ в пользу больших блоков, что позволяет выполнять параллельную обработку:

use=runif(n)
band=max(diff((1:(n-1))[diff(use)>0]))+1
bends=apply(apply((apply(matrix(use[1:((n%/%band)*band)],nrow=band),
2,diff)<0),2,cumprod),2,sum)

Не решение ... просто быстрый комментарий, который слишком длинный для поля комментария.

Аксакал

Аксакал опубликовал решение, в котором мы рассчитываем ожидаемое количество стандартных чертежей Униформы, которые должны быть взяты так, чтобы их сумма превышала 1. В Mathematica моей первой формулировкой было:

mrM := NestWhileList[(Random[] + #) &, Random[], #<1 &]

Mean[Table[Length[mrM], {10^6}]] 

РЕДАКТИРОВАТЬ: только что быстро поиграть с этим, и следующий код (тот же метод - также в Mma - просто другой код) примерно в 10 раз быстрее:

Mean[Table[Module[{u=Random[], t=1},  While[u<1, u=Random[]+u; t++]; t] , {10^6}]]

Сиань / Вубер

Whuber предложил быстрый классный код для имитации решения Сианя 1:

Версия R: n <- 1e5; 1/mean(n*diff(sort(runif(n+1))) > 1)

ММА версия: n=10^6; 1. / Mean[UnitStep[Differences[Sort[RandomReal[{0, n}, n + 1]]] - 1]]

который он отмечает, это в 20 раз быстрее первого кода (или примерно в два раза быстрее, чем новый код выше).

Просто ради интереса, я подумал, что было бы интересно посмотреть, насколько оба подхода эффективны (в статистическом смысле). Для этого я сгенерировал 2000 оценок e, используя:

• Метод Аксакала: dataA
• 1 метод Сианя с использованием whuber-кода: dataB

... оба в Mathematica . Следующая диаграмма сравнивает непараметрическую оценку плотности ядра результирующих наборов данных dataA и dataB.

Таким образом, хотя код whuber (красная кривая) примерно в два раза быстрее, метод не выглядит «надежным».

Метод, требующий нечестного количества образцов

Во-первых, вы должны иметь возможность выбирать из нормального распределения. Предполагая, что вы собираетесь исключить использование функции или просмотреть таблицы, полученные из этой функции, вы можете получить приблизительные выборки из нормального распределения через CLT. Например, если вы можете сделать выборку из равномерного (0,1) распределения, то . Как указал Уубер, чтобы подход окончательной оценки приближался к размеру выборки , необходимо, чтобы количество используемых однородных выборок приближалось к когда размер выборки приближался к бесконечности.$f(x) = e^x$$\frac{ \bar x \sqrt{12}}{ \sqrt{n}} \dot \sim N(0,1)$$e$$\infty$$\infty$

Теперь, если вы можете производить выборку из нормального распределения с достаточно большими выборками, вы можете получить непротиворечивые оценки плотности . Это можно сделать с помощью гистограмм или сглаживателей ядра (но будьте осторожны, чтобы не использовать ядро ​​Гаусса для следования правилу no !). Чтобы ваши оценки плотности были согласованными, вам нужно, чтобы df (число бинов на гистограмме, обратное к окну для сглаживания) приближался к бесконечности, но медленнее, чем размер выборки.$N(0,1)$$e^{x}$

Так что теперь, с большой вычислительной мощностью, вы можете аппроксимировать плотность , то есть . Поскольку , ваша оценка для .$N(0,1)$$\hat \phi(x)$$\phi(\sqrt(2) ) = (2 \pi)^{-1/2} e^{-1}$$e = \hat \phi(\sqrt{2}) \sqrt{2 \pi}$

Если вы хотите полностью сходить с ума, вы можете даже оценить и используя методы, которые вы обсуждали ранее.$\sqrt{2}$$\sqrt{2\pi}$

Метод, требующий очень мало выборок, но вызывающий неоправданное количество числовых ошибок

Совершенно глупый, но очень эффективный ответ, основанный на комментарии, который я сделал:

Пусть . Определить, Определить .$X \sim \text{uniform}(-1, 1)$$Y_n = | (\bar x)^n|$$\hat e = (1 - Y_n)^{-1/Y_n}$

Это будет сходиться очень быстро, но также приведет к крайней числовой ошибке.

Уубер указал, что здесь используется функция power, которая обычно вызывает функцию exp. Это можно обойти путем дискретизации , так что является целым числом, а мощность можно заменить повторным умножением. Было бы необходимо, чтобы при дискретизация становилась все точнее, а дискретизация должна исключать . При этом теоретически оценщик (т. Е. Мир, в котором не существует числовой ошибки) будет сходиться к и довольно быстро!$Y_n$$1/Y_n$$n \rightarrow \infty$$Y_n$$Y_n = 0$$e$

Вот еще один способ сделать это, хотя это довольно медленно. Я не претендую на эффективность, но предлагаю эту альтернативу в духе полноты.

В отличие от ответа Сианя , для целей этого вопроса я предполагаю, что вы можете сгенерировать и использовать последовательность из равномерных псевдослучайных переменных и затем вам нужно оценить некоторым методом с использованием основных арифметических операций (то есть вы не можете использовать логарифмические или экспоненциальные функции или любые распределения, использующие эти функции). Данный метод мотивирован простым результатом, включающим однородные случайные величины:$n$$U_1, \cdots , U_n \sim \text{IID U}(0,1)$$e$$^\dagger$

Оценка с использованием этого результата:$e$ сначала мы упорядочиваем значения выборки в порядке убывания, чтобы получить статистику порядка а затем определяем частичные суммы:$u_{(1)} \geqslant \cdots \geqslant u_{(n)}$

Теперь пусть а затем оцените путем интерполяции упорядоченных равномерных переменных. Это дает оценку для :$m \equiv \min \{ k | S(k) \geqslant 1 \}$$1/e$$e$

Этот метод имеет небольшое смещение (из-за линейной интерполяции точки отсечки для ), но он является последовательной оценкой для . Метод может быть реализован довольно легко, но он требует сортировки значений, что требует больших вычислительных затрат, чем детерминистский расчет . Этот метод медленный, так как включает в себя сортировку значений.$1/e$$e$$e$

Реализация в R: метод может быть реализован в Rиспользовании runifдля генерации однородных значений. Код выглядит следующим образом:

EST_EULER <- function(n) { U <- sort(runif(n), decreasing = TRUE);
                           S <- cumsum(1/U)/n;
                           m <- min(which(S >= 1));
                           2/(U[m-1]+U[m]); }

Реализация этого кода дает сходимость к истинному значению , но она очень медленная по сравнению с детерминированными методами.$e$

set.seed(1234);

EST_EULER(10^3);
[1] 2.715426

EST_EULER(10^4);
[1] 2.678373

EST_EULER(10^5);
[1] 2.722868

EST_EULER(10^6); 
[1] 2.722207

EST_EULER(10^7);
[1] 2.718775

EST_EULER(10^8);
[1] 2.718434

> exp(1)
[1] 2.718282

$^\dagger$ Я считаю, что мы хотим избежать любого метода, который использует любое преобразование, которое включает экспоненциальный или логарифм. Если мы можем использовать плотности, которые используют экспоненты в своем определении, то можно получить из этих алгебраически, используя вызов плотности.$e$