При трактовке относительной нормализованной функции полезности как pmf, какова интерпретация энтропии Шеннона или информации Шеннона?

10

Предположим, что - это набор взаимоисключающих результатов дискретной случайной величины, а - это функция полезности, где , и т. Д. $\Omega$ $f$ $0 < f(\omega) \leq 1$ $\sum_\Omega f(\omega) = 1$

Когда равномерно распределена по а - функция вероятностной массы , энтропия Шеннона равна максимизируется ( , и когда один элемент имеет все масс «s, энтропия Шеннона минимизируется ( , на самом деле). Это соответствует интуиции о неожиданности (или уменьшении неопределенности ) и результатах и неопределенности (или ожидаемой неожиданности ) и случайных переменных: $f$ $\Omega$ $f$ $H(\Omega) = \sum_{\Omega}f(\omega)log\frac{1}{f(\omega)}$ $=log|\Omega|)$ $\Omega$ $f$ $0$

Когда равномерно распределено, неопределенность максимизируется, и чем больше результатов для равномерного распределения массы, тем более неопределенной мы являемся. $f$
Когда имеет все его масса сосредоточена в одном исходе, у нас нет никакой неопределенности. $f$
Когда мы назначаем результат с вероятностью , мы не получаем никакой информации («не удивлены»), когда мы фактически наблюдаем это. $1$
Когда мы назначаем результат вероятности ближе и ближе к , наблюдение за его фактическим происходящим становится все более информативным («удивительным»). $0$

(Конечно, все это ничего не говорит о гораздо более конкретной - но менее эпистемологической - интерпретации кодирования информации / энтропии Шеннона.)

Однако, когда имеет интерпретацию функции полезности , существует ли чувственная интерпретация или ? Мне кажется, что может быть: $f$ $log\frac{1}{f(\omega)}$ $\sum f(\omega)log\frac{1}{f(\omega)}$

если как PMF представляет собой равномерное распределение по , то как функция полезности соответствует безразличию к результатам, которые не могут быть больше * $f$ $\Omega$ $f$
функция полезности, в которой у одного результата есть вся полезность, а у остальных нет ни одной (как бы полезна ни была полезность), соответствует очень сильным относительным предпочтениям - отсутствию равнодушия.

Есть ли ссылка на это? Я что-то упустил из-за ограничений на сравнение функций вероятностной массы и нормализованных относительных утилит по дискретным случайным переменным?

* Я знаю о кривых безразличия и не понимаю, как они могут относиться к моему вопросу по разным причинам, начиная с моего внимания к категориальному пробному пространству и с того факта, что меня не интересует «безразличие» как таковое, а точнее, как интерпретировать утилиты как вероятности и как интерпретировать функционалы по вероятностям, когда (дискретное) «распределение вероятностей», о котором идет речь, фактически или (дополнительно) имеет интерпретацию функции полезности.

— EM23
источник

У меня нет ответа, но ваш вопрос заставляет меня задуматься об использовании энтропии в проблеме правильного разрезания пирога: en.wikipedia.org/wiki/Fair_cake-cutting Стандартная модель такова, что пирог является интервалом [0, 1], и есть агентов с различными нормированными значениями измерения на интервале. Предполагается, что эти меры не являются атомарными, но нет никаких дополнительных предположений об их «энтропии». Может быть интересно подумать, что мы можем сказать о задачах разрезания тортов, где функции полезности имеют ограниченную энтропию.

n

$n$

— Эрл Сегал-Халеви

3

Прежде чем обсуждать энтропию Шеннона, следует обсудить еще один момент: кажется, что вы имеете в виду скорее кардинальную полезность, чем порядковую .

«Нормализованные» функции полезности могут быть выведены, конечно, в обоих случаях. Но понятие «относительное предпочтение» может быть определено и измерено только в контексте основной полезности.

И проблема возникает не в двух крайностях, которые вы описываете, а во всех возможных промежуточных случаях.

Простой пример: предположим, что есть три «результата», (скажем, уровни потребления или три разных товара в каждом количестве). Ваша служебная функция присвоила им значения $A, B, C$

В (A) знак равно 1, В (В) знак равно 9, В (С) знак равно 90

$V(A) = 1, \;\;V(B) = 9,\;\; V(C) = 90$

Под порядковой полезностью, это просто говорит нам, что

A <_{п р} В <_{п р} С

$A <_{pr} B <_{pr} C$

Конечно, мы можем нормализовать их, разделив на чтобы получить $100$

и ранжирование трех результатов сохраняется

U_{V} (A) = 0.01, U_{V} (B) = 0.09, U_{V} (C) = 0.9

$U_V(A)=0.01, \;\; U_V(B) = 0.09,\;\; U_V(C) =0.9$

Но под порядковой полезностью мы могли бы очень хорошо использовать другую полезную функцию, которая назначала бы

W (A) = 31, W (B) = 32, W (C) = 37

$W(A) = 31, \;\;W(B) = 32,\;\; W(C) = 37$

и получить

U_{W} (A) = 0.31, U_{W} (B) = 0.32, U_{W} (C) = 0.37

$U_W(A)=0.31, \;\; U_W(B) = 0.32,\;\; U_W(C) =0.37$

Ранжирование одно и то же , так что две функции полезности и являются эквивалентны под порядковым полезности. $V$ $W$

Но в том, что вы описываете, функция полезности представляет различные относительные предпочтения, чем и поэтому это не та же функция полезности. Но это имеет смысл только при кардинальной полезности, где предполагается, что количественные сравнения между числами полезности имеют смысл. $W$ $V$

Вы знакомы с проблемами, связанными с основной полезностью?

— Алекос Пападопулос
источник

Знаете, что такие проблемы существуют? Да. Понимая, почему (помимо личного назидания) мне может потребоваться тщательно рассмотреть такие вопросы? Не совсем, хотя для интересующей меня области (проблемы решения с действиями и средами, которые являются категориальными RV), полезность, как правило, считается кардинальной, насколько я могу судить -

и

действительно считаются различными функциями полезности. Хотя это заметно связано с отображением того же порядкового рейтинга предпочтений. Однако я был бы рад узнать больше о проблемах, связанных с кардинальной полезностью.

V

$V$

U

$U$

— EM23

3

После обмена с ОП в моем другом ответе давайте немного поработаем с его подходом.

Мы имеем дискретную случайную величину с конечным носителем, , и вероятность того, функция масс (PMF), $X$ $X = \{x_1,...,x_k\}$ $\Pr(X=x_i)=p_i, i=1,...,k$

Значения в поддержке также входы в вещественнозначной кардинальном функцию полезности, $X$ . Затем мы рассмотрим нормированную функцию полезности $u(x_i) > 0\; \forall i$

\begin{matrix} (1) & вес (Икс) : вес ({Икс}_{я}) знак равно \frac{U ({Икс}_{я})}{Σ_{я знак равно 1}^{К} U ({Икс}_{я})}, я знак равно 1,,,,, К \end{matrix}

$w(X): w(x_i) = \frac {u(x_i)}{\sum_{i=1}^ku(x_i)},\;\;i=1,...,k \tag{1}$

и нам говорят, что

\begin{matrix} (2) & вес ({Икс}_{я}) знак равно п_{я} \end{matrix}

$w(x_i) = p_i \tag{2}$

$w(x_i)$ $w(x_i)$

$w(x_i)$

\begin{matrix} (3) & Е [вес (Икс)] знак равно Σ_{я знак равно 1}^{К} п_{я} вес ({Икс}_{я}) знак равно Σ_{я знак равно 1}^{К} п_{я}^{2} \end{matrix}

$E[w(X)] = \sum_{i=1}^kp_iw(x_i) = \sum_{i=1}^kp_i^2 \tag{3}$

$p_i$ $\sum_{i=1}^kp_i=1$

\begin{matrix} (4) & argmin Е [вес (Икс)] знак равно п^{*} : п_{1} знак равно п_{2} знак равно,,, знак равно п_{К} знак равно 1 / К \end{matrix}

$\text{argmin} E[w(X)] = \mathbf p^*: p_1=p_2=...=p_k=1/k \tag {4}$

и мы получили общий результат:

$X$

$w(X)$ $E[w(X)]=1/k$

$w(X)$

Но у меня сложилось впечатление, что это не то, что имеет в виду ФП. Скорее, он рассматривает энтропию Шеннона как метрику, которая имеет некоторые желательные алгебраические свойства и, возможно, может компактно измерить значимым образом что-то интересное.

Это было сделано ранее в экономике, особенно в промышленной организации, где были построены индексы концентрации рынка («степень конкуренции / монополистическая структура рынка»). Отмечу два, которые выглядят здесь особенно актуально.

$n$ $s_i$

ЧАС знак равно Σ_{я знак равно 1}^{N} s_{я}^{2}

$H = \sum_{i=1}^n s_i^2$

$w(X)$

р_{е} знак равно - Σ_{я знак равно 1}^{N} s_{я} пер s_{я}

$R_e = -\sum_{i=1}^n s_i\ln s_i$

Encaoua, D. & Jacquemin, A. (1980). Степень монополии, показатели концентрации и угрозы въезда. Международный экономический обзор, 87-105. обеспечивают аксиоматический вывод «допустимых» индексов концентрации, т.е. они определяют свойства, которыми должен обладать такой индекс. Поскольку их подход является абстрактным, я полагаю, что он может быть полезен для того, что ФП хочет изучить и придать смысл.

— Алекос Пападопулос
источник

1

$v=v*2-0.5$

Таким образом, вам необходимо сначала предоставить значимую шкалу отношения к вашей полезности. Один из способов сделать это - дать интерпретацию естественному уровню полезности 0. Без этой спецификации энтропия не имеет смысла.

— HRSE
источник