Распределение по отсортированным спискам

10

Скажем, у нас есть упорядоченный список товаров

[a, b, c, ... x, y, z, ...]

Я ищу семейство дистрибутивов с поддержкой в списке выше, управляемых некоторым параметром альфа, чтобы:

При альфа = 0 он присваивает вероятность 1 первому элементу, a выше, а 0 остальным. То есть, если мы сделаем выборку из этого списка, с заменой мы всегда получим a.
Поскольку альфа увеличивается, мы назначаем все более и более высокие вероятности остальной части списка, соблюдая порядок списка после экспоненциального затухания.
Когда альфа = 1, мы назначаем равную вероятность для всех элементов в списке, поэтому выборка из списка сродни игнорированию его порядка.

Это очень похоже на геометрическое распределение, но есть некоторые заметные различия:

Распределение геометрического распределения определяется по всем натуральным числам. В моем случае выше, список имеет фиксированный размер.
Геометрическое распределение не определено для альфа = 0.

distributions sampling discrete-data

— Амелио Васкес-Рейна
источник

1

Похоже, вы описываете семейство усеченных геометрических распределений. Однако существует бесконечно много семей, которые качественно ведут себя так, как вы описали. Более того, можно объяснить, для чего вы хотели бы использовать такую семью.

— whuber

Спасибо @whuber Да, я понимаю, что существует бесконечно много дистрибутивов, которые соответствуют этому описанию. Какие-нибудь конкретные, которые приходят на ум? У меня есть система, которая в настоящее время выбирает первый элемент этого списка (представляет баллы), но я хочу рандомизировать этот выбор (и параметризовать эту рандомизацию). Я не ищу определенный тип "распада" на основе альфа. Пока альфа = 0 не представляет никакой рандомизации, то есть выбрать первый элемент, 1 представляет «выбрать любой элемент», а альфа между 0 и 1 представляют «что-то среднее» между этими двумя альфами, это было бы достаточно хорошо.

— Амелио Васкес-Рейна

11

Предположим, что , ранг элемента списка , имеет значение в для списка из элементов (связи могут быть разорваны случайным образом). Тогда мы могли бы определить вероятность выбора : $r_i$ $i$ $\{0, 1, \ldots, n-1\}$ $n$ $i$

п_{я} знак равно \frac{α^{р_{я}}}{Σ_{К знак равно 1}^{N} α^{р_{К}}}

$p_i = \frac{\alpha^{r_i}}{\sum_{k=1}^n \alpha^{r_k}}$

Это в основном только надлежащим образом нормализована усечен геометрическое распределение, и это также относится к в функции SoftMax . В частном случае используйте соглашение . Обратите внимание, что знаменатель всегда можно записать в простом выражении в замкнутой форме. Для он принимает значение $\alpha=0$ $0^0 = 1$ $\alpha < 1$ , а дляпринимает значение. $\frac{1-\alpha^n}{1-\alpha}$ $\alpha=1$ $n$

С ясно, что это просто назначает равную вероятность каждому элементу. При это приближается, давая всю массу вероятности первому элементу. $\alpha=1$ $\alpha\rightarrow 0$

В списке из 10 элементов запрошенное примерно экспоненциальное уменьшение очевидно при : $\alpha=0.5$

п_{0} \approx 0,5005 п_{1} \approx 0,2502 п_{2} \approx 0,1251 п_{3} \approx 0,0626 п_{4} \approx 0,0313 п_{5} \approx 0,0156 п_{6} \approx 0,0078 п_{7} \approx 0,0039 п_{8} \approx 0,0020 п_{9} \approx 0,0010

$p_0 \approx 0.5005 \\ p_1 \approx 0.2502 \\ p_2 \approx 0.1251 \\ p_3 \approx 0.0626 \\ p_4 \approx 0.0313 \\ p_5 \approx 0.0156 \\ p_6 \approx 0.0078 \\ p_7 \approx 0.0039 \\ p_8 \approx 0.0020 \\ p_9 \approx 0.0010$

На следующем графике показано, как изменяется вероятность выбора первого элемента на основе с использованием списка длиной 10. $\alpha$

— josliber
источник

Ницца. Это намного умнее, чем я когда-либо мог надеяться.

— Мэтью Друри

@Matthew Это усеченные геометрические распределения, на которые я ссылался ранее.

— whuber

4

Я постараюсь построить пример из первых принципов.

Давайте возьмем три распределения в качестве наших строительных блоков:

P - это распределение, присваивающее вероятность один первому элементу списка, ноль всем остальным.
$\frac{1}{2}$ $\frac{1}{4}$ $1$
U - равномерное распределение по списку.

Теперь мы хотим взять однопараметрическое семейство положительных выпуклых комбинаций этих распределений.

α (T) п + β (T) Е + γ (T) U

$\alpha(t) P + \beta(t) E + \gamma(t) U$

$\alpha(t) + \beta(t) + \gamma(t) = 1$ $t \in [0, 1]$ $\alpha(0) = 1$ $\gamma(1) = 1$

$(\alpha(t), \beta(t), \gamma(t))$ $(1, 0, 0), (0, 1, 0), (0, 0, 1)$ $t \in (0, 1)$

Вот вариант для кривой:

(1 - T (1 - T)) (1 - T, 0, T) + T (1 - T) (\frac{1}{3}, \frac{1}{3}, \frac{1}{3})

$(1 - t(1-t)) \left(1 - t, 0, t \right) + t(1 - t) \left(\frac{1}{3}, \frac{1}{3}, \frac{1}{3} \right)$

$(1-t, 0, t)$ $\left(\frac{1}{3}, \frac{1}{3}, \frac{1}{3} \right)$ $t \in (0, 1)$

— Мэтью Друри
источник