Какова максимальная функция плотности вероятности энтропии для положительной непрерывной переменной заданного среднего значения и стандартного отклонения?

13

Каково максимальное распределение энтропии для положительной непрерывной переменной с учетом ее первого и второго моментов?

Например, гауссово распределение является максимальным распределением энтропии для неограниченной переменной, учитывая ее среднее значение и стандартное отклонение, а гамма-распределение является максимальным распределением энтропии для положительной переменной, учитывая ее среднее значение и среднее значение ее логарифма.

— becko
источник

13

Можно просто использовать теорему Больцмана, которая содержится в той самой статье Википедии, на которую вы указываете .

Обратите внимание, что указание среднего значения и дисперсии эквивалентно указанию первых двух необработанных моментов - каждый определяет другой (на самом деле это не обязательно вызывать, поскольку мы можем применить теорему непосредственно к среднему значению и дисперсии, просто так немного проще ).

Затем теорема устанавливает, что плотность должна иметь вид:

f (x) = c \exp (λ_{1} x + λ_{2} x^{2}) for all x \geq 0

$f(x)=c \exp\left(\lambda_1 x + \lambda_2 x^2 \right)\quad \mbox{ for all } x \geq 0$

Интегрируемость по положительной действительной прямой будет ограничивать до , и я думаю, что накладывает некоторые ограничения на отношения между s (которые, вероятно, будут выполняться автоматически при запуске с заданного среднего значения и дисперсии, а не необработанных моментов). $\lambda_2$ $\leq 0$ $\lambda$

К моему удивлению (так как я не ожидал, что когда начну этот ответ), это оставляет нас с усеченным нормальным распределением.

Как это бывает, я не думаю, что использовал эту теорему раньше, поэтому критика или полезные советы по поводу всего, что я не учел или не учел, приветствовались бы.

— Glen_b - Восстановить Монику
источник

+1 Спасибо. Кажется, в порядке. Когда я читал статью в Википедии, я, похоже, упустил тот факт, что теорема Больцмана применима для всех замкнутых интервалов. Я предполагал, что это применимо только к переменным, идущим от

до

.

- \infty

$-\infty$

\infty

$\infty$

— becko

По какой-то причине единообразная базовая мера и полученное усеченное нормальное распределение не полностью убеждают меня: как подчеркивает Фред Шоен, чтобы найти максимальную (относительную) энтропию в непрерывном случае, нам нужна базовая мера или эталонное распределение вероятностей. Поскольку рассматриваемая непрерывная переменная

положительна, она может быть масштабной переменной, и базовая мера, пропорциональная

затем рекомендует себя по разным причинам (например, групповая инвариантность; см. Книгу Джейнса или книгу Джеффриса).

x

$x$

1 / x

$1/x$

— pglpm

С помощью этой базовой меры полученное распределение пропорционально

но, к сожалению, он ненормализуем (хотя он все еще может быть использован как неподходящий ранее). Учитывая положительность рассматриваемой переменной, возможно, стоит подумать, могут ли моменты ее логарифма иметь больше смысла как носители информации и ограничения максимальной энтропии. Они привели бы к гамма-подобному распределению максимальной энтропии.

\frac{1}{x} \exp (- α x - β x^{2})

$\frac{1}{x}\exp(-\alpha x- \beta x^2)$

— pglpm

7

Я хочу сделать ответ @ Glen_b более явным, вот дополнительный ответ только потому, что он не подходит в качестве комментария.

f (x) \propto N (x | - 1 / 2 λ_{1} / λ_{2}, - 1 / (2 λ_{2}))

$f(x) \propto \mathcal{N}(x | -1/2 \lambda_1/\lambda_2, -1/(2\lambda_2))$

λ_{1}

$\lambda_1$

λ_{2}

$\lambda_2$

a_{1}, a_{2}

$a_1, a_2$

a_{1} = μ, a_{2} = μ^{2} + σ^{2}

$a_1=\mu, a_2=\mu^2 + \sigma^2$

λ_{1} = μ / σ^{2}, λ_{2} = - 0.5 σ^{2}

$\lambda_1=\mu/\sigma^2, \lambda_2=-0.5 \sigma^2$

N (x | μ, σ^{2})

$\mathcal{N}(x|\mu, \sigma^2)$

$x>x_{min}$ $\lambda_{1,2}$ $1/c$ $\mu$ $\sigma^2$ $x_{min}=0$ $x_{min} \to -\infty$

$a_1, a_2$ $\lambda_{1,2}$ numerically and plug in the solutions into the general equation and you are done! The values of $\lambda_{1,2}$ from the unbounded case may be a good starting point for the numerical solver.

This question is a duplicate of /math/598608/what-is-the-maximum-entropy-distribution-for-a-continuous-random-variable-on-0

— Fred Schoen
источник