Вычисление приблизительной популяции фильтра Блума

12

Дан фильтр Блума размером N битов и K хэш-функций, из которых установлены M-биты (где M <= N) фильтра.

Можно ли приблизить количество элементов, вставленных в фильтр Блума?

Простой пример

Я обдумывал следующий пример, предполагая, что BF состоит из 100 битов и 5 хэш-функций, где установлены 10 битов ...

В лучшем случае: если предположить, что хеш-функции действительно идеальны и однозначно отображают бит для некоторого числа значений Х, то, учитывая, что 10-битные значения установлены, мы можем сказать, что в BF было вставлено только 2 элемента.

В худшем случае: если предположить, что хэш-функции плохие и постоянно отображаются в один и тот же бит (но уникальны друг для друга), то можно сказать, что в BF было вставлено 10 элементов.

Похоже, что диапазон [2,10], где значение about в этом диапазоне, вероятно, определяется ложноположительной вероятностью фильтра - я застрял в этой точке.

ds.data-structures pr.probability

— Тандер Кулип
источник

4

Почему бы не сохранить счетчик количества вставленных элементов? Это займет только дополнительные

бит, если вы вставили

элементов.

O (\log n)

$O(\log n)$

n

$n$

— Джо

@ Джо, хотя это хорошая идея, она испортила действительно интересный вопрос.

— dan_waterworth

Просто отметив, что с дубликатами у метода Джо будет небольшая ошибка, так как мы не всегда можем точно сказать, добавляя элемент, присутствует ли он уже (и, следовательно, следует ли увеличивать счет или нет).

— усуль

5

Да. Из Википедии :

Если вы вставили элементы в фильтр размера с использованием хеш-функций, вероятность того, что определенный бит по-прежнему равен 0, равна $i$ $n$ $k$

z = {(1 - \frac{1}{n})}^{k i}

$z = \left(1 - \frac{1}{n}\right)^{ki}$

Вы можете измерить эту вероятность как пропорцию 0 бит в вашем фильтре. Решение для дает $i$

i = \frac{\ln (z)}{k \ln (1 - \frac{1}{n})}

$i = \frac{\ln(z)}{k\ln\left(1 - \frac{1}{n}\right)}$

Я использовал это на практике, и пока ваш фильтр не превышает его емкость, ошибка обычно составляет менее 0,1% для фильтров до миллионов битов. Поскольку фильтр превышает его емкость, ошибка, конечно, возрастает.

— Джей Хакер
источник

3

Если вы предполагаете, что для каждой хэш-функции для каждого объекта бит задан равномерно случайным образом, и у вас есть счетчик количества установленных битов, вы должны иметь возможность ограничить вероятность того, что количество вставленных объектов было в определенном диапазоне, возможно, с использованием формулировки шаров и бункеров. Каждый бит является ячейкой, и он устанавливается, если в нем есть хотя бы 1 шарик, каждый вставленный объект бросает шариков, где - количество хеш-функций, а - количество шариков, брошенных после вставки объектов. , Учитывая , что бункеров, по крайней мере , 1 мяч в них, что вероятность того, что по крайней мере , шары были брошены? Я думаю, что здесь вы можете использовать тот факт, что: $k$ $k$ $nk$ $n$ $b$ $t$ Но проблема с такой формулировкой состоит в том, что я не вижу простого способа вычислить или , но найти значение которое максимизирует эту вероятность, не должно быть слишком сложно.

P (t balls | b bins) = P (b bins | t balls) \cdot P (t) / P (b)

$P( t \mbox{ balls} | b \mbox{ bins} ) = P(b \mbox{ bins}| t \mbox{ balls}) \cdot P(t)/P(b)$

P (t)

$P(t)$

P (b)

$P(b)$

t

$t$

— Джо
источник

2

Интересный вопрос, давайте рассмотрим некоторые конкретные случаи.

Пусть ключи, биты, биты в полных и элементов , вставленных. Сначала мы будем пытаться найти функцию , которая является вероятностью состояние , наступающее. $k$ $n_{on}$ $n_{total}$ $m$ $P(k, n_{on}, n_{total}, m)$

Если , то должен быть , то есть , это невозможно. $km \lt n_{on}$ $P(k, n_{on}, n_{total}, m)$ $0$

Если , то мы ищем вероятность того, что хэшей попадут в одно и то же ведро, и первое может пометить, куда должны идти другие. Итак, мы хотим найти вероятность того, что хэшей попадет в конкретный сегмент. $n_{on} = 1$ $km$ $km - 1$

$P(k, 1, n_{total}, m) = (1/n_{total})^{(km-1)}$

Это действительно простые случаи закончились. Если то мы хотим найти вероятность того, что хэшей попадет в разных сегмента, и по крайней мере попадет в каждое. Есть пара ведер и вероятность того , что хеши земли в каком - либо конкретной является $n_{on} = 2$ $km$ $2$ $1$ $n_{total}(n_{total} - 1)$ $2$ $(2/n_{total})^{km}$ таким образом, вероятность того, что хэши попадут в блока, равна: $2$

$n_{total}(n_{total} - 1)(2/n_{total})^{km}$

Мы уже знаем вероятность того, что они упадут в ведро, поэтому давайте вычтем это, чтобы дать вероятность того, что они упадут ровно в . $1$ $2$

$P(k, 2, n_{total}, m) = n_{total}(n_{total} - 1)(2/n_{total})^{km} - (1/n_{total})^{(km-1)}$

Я думаю, что мы можем обобщить это сейчас.

$P(k, n_{on}, n_{total}, m) = {n_{total} \choose n_{on}}(n_{on}/n_{total})^{km} - \sum_{i=1}^{i<n_{on}} P(k, i, n_{total}, m)$

Я не совсем уверен, как сделать эту формулу более поддающейся вычислению. Наивно реализованный, он привел бы к экспоненциальному времени выполнения, хотя с помощью запоминания тривиально добиться линейного времени. Тогда это всего лишь случай нахождения наиболее вероятного . Мой инстинкт говорит, что будет один пик, так что может быть возможно найти его очень быстро, но наивно, вы определенно можете найти наиболее вероятный m в . $m$ $O(n^2)$

— dan_waterworth
источник

Я думаю , что ваша формула сокращается до

(без учета постоянных факторов). Вы можете вычислить максимум этого аналитически: расширить первый множитель второго члена и удалить постоянные факторы, чтобы избавиться от всего, и тогда ваша формула станет очень простой.

(\binom{n_{t o t a l}}{n_{o n}}) n_{o n}^{k m} - (\binom{n_{t o t a l}}{n_{o n} - 1}) (n_{o n} - 1)^{k m}

${n_{total} \choose n_{on}}n_{on}^{km}- {n_{total} \choose n_{on}-1}(n_{on}-1)^{km}$ n choose k

— Жюль

@ Джулс, отлично, я был уверен, что что-то подобное случится, но у меня не было времени это выяснить.

— dan_waterworth

P (n_{o n} = x) = P (n_{o n} \leq x) - P (n_{o n} < x) = P (n_{o n} \leq x) - P (n_{o n} \leq x - 1)

$P(n_{on} = x) = P(n_{on} \leq x) - P(n_{on} < x) = P(n_{on} \leq x) - P(n_{on} \leq x-1)$

(\binom{n_{t o t a l}}{x}) (x / n_{t o t a l})^{k m}

${n_{total} \choose x} (x/n_{total})^{km}$

P (n_{o n} \leq x)

$P(n_{on} \leq x)$

2

Предположим, что хэши распределены равномерно.

$i$ $i$ $m$ $i-1$ $m$ $m$ $n$ $i-1$ $m-1$ $n-(m-1)$

$P(m,i) = P(m,i-1)(m/n) + P(m-1,i-1)(n-(m-1))/n$

Переписывание:

$P(m,i) = \frac{1}{n}(mP(m,i-1) + (n-m+1)P(m-1,i-1))$

$P(0,0) = 1$ $P(m,0) = 0$ $m \neq 0$ $P(0,i) = 0$ $i \neq 0$ $O(mi)$ $i$ $P(m,i)$ дает вам максимальную оценку вероятности.

$i$ $k$ $i/k$

$\frac{1}{n}$ $P(m,i)$ $O(nm)$ $i$ $O(jm)$ $j$ $P$ $O(m \log n)$

— Жюль
источник

2

Ключевой идеей является приблизительное ожидание числа нулевого бита.

$(1-\frac{1}{N})^{Kt} \approx e^{-\frac{Kt}{N}}$

Тогда ожидание нулевых битовых чисел должно быть:

$N e^{-\frac{Kt}{N}}$ $N - M$

$t = - \frac{N}{K} ln(1-\frac{M}{N})$

— Янгхонг Чжун
источник

1

Вероятность того, что конкретный бит равен 1 после n вставок, равна: P = 1 - (1 - 1 / m) ^ (kn)

Пусть X_i - дискретная случайная величина, равная 1, если бит в i-й позиции равен 1, а в противном случае - 0. Пусть X = X_1 + X_2 + .... + X_m. Тогда E [X] = m * P.

Если общее число установленных битов равно S, то: E [X] = S, что подразумевает m * P = S. Это можно решить для n.

— Нихилу
источник