Berechnung der ungefähren Population eines Bloom-Filters

12

Gegeben sei ein Bloom-Filter der Größe N-Bits und K Hash-Funktionen, von denen M-Bits (wobei M <= N) des Filters gesetzt sind.

Ist es möglich, die Anzahl der in den Bloom-Filter eingefügten Elemente zu schätzen?

Einfaches Beispiel

Ich habe über das folgende Beispiel nachgedacht und eine BF von 100-Bit- und 5-Hash-Funktionen angenommen, bei denen 10-Bit gesetzt sind ...

Best-Case-Szenario: Vorausgesetzt, die Hash-Funktionen sind wirklich perfekt und ordnen ein Bit für eine bestimmte Anzahl von X-Werten eindeutig zu. Wenn 10-Bit-Werte festgelegt wurden, können wir sagen, dass nur 2 Elemente in die BF eingefügt wurden

Worst-Case-Szenario: Unter der Annahme, dass die Hash-Funktionen fehlerhaft sind und konsistent auf dasselbe Bit abgebildet werden (jedoch untereinander eindeutig sind), können wir sagen, dass 10 Elemente in die BF eingefügt wurden

Der Bereich scheint [2,10] zu sein, bei dem die Wahrscheinlichkeit eines falsch-positiven Filters wahrscheinlich die Werte in diesem Bereich bestimmt - ich stecke an diesem Punkt fest.

ds.data-structures pr.probability

— Tander Kulip
quelle

4

Warum nicht einen Zähler für die Anzahl der eingefügten Elemente behalten? Es werden nur zusätzliche Bits , wenn Sie Elemente eingefügt haben .

O (\log n)

$O(\log n)$

n

$n$

— Joe

@ Joe, obwohl das eine gute Idee ist, ruiniert es eine wirklich interessante Frage.

— Dan_waterworth

Wenn wir nur bemerken, dass bei Duplikaten die Methode von Joe einen kleinen Fehler aufweist, da wir beim Hinzufügen eines Elements nicht immer sicher sagen können, ob es bereits vorhanden ist (und daher die Anzahl erhöhen sollten oder nicht).

— Usul

5

Ja. Aus Wikipedia :

Wenn Sie Elemente mit Hash-Funktionen in einen Filter der Größe eingefügt haben , ist die Wahrscheinlichkeit, dass ein bestimmtes Bit noch 0 ist, gleich $i$ $n$ $k$

z = {(1 - \frac{1}{n})}^{k i}

$z = \left(1 - \frac{1}{n}\right)^{ki}$

Sie können diese Wahrscheinlichkeit als Anteil von 0 Bits in Ihrem Filter messen . Löse nach, was gebe $i$

i = \frac{\ln (z)}{k \ln (1 - \frac{1}{n})}

$i = \frac{\ln(z)}{k\ln\left(1 - \frac{1}{n}\right)}$

Ich habe dies in der Praxis angewendet. Solange Ihr Filter seine Kapazität nicht überschreitet, liegt der Fehler bei Filtern mit bis zu Millionen von Bits in der Regel unter 0,1%. Wenn der Filter seine Kapazität überschreitet, steigt der Fehler natürlich an.

— Jay Hacker
quelle

3

Wenn Sie davon ausgehen, dass für jede Hash-Funktion für jedes Objekt ein Bit gleichmäßig zufällig gesetzt wird und Sie die Anzahl der gesetzten Bits zählen, sollten Sie in der Lage sein, die Wahrscheinlichkeit zu begrenzen, mit der die Anzahl der eingefügten Objekte lag innerhalb eines bestimmten Bereichs, möglicherweise unter Verwendung einer Kugel- und Behälterformulierung. Jedes Bit ist ein Bin und es wird gesetzt, wenn es mindestens 1 Ball enthält. Jedes eingefügte Objekt wirft Bälle, wobei die Anzahl der Hash-Funktionen und die Anzahl der Bälle ist, die nach dem Einfügen von Objekten geworfen wurden. Wie hoch ist die Wahrscheinlichkeit, dass mindestens Bälle geworfen wurden, wenn in Bins mindestens 1 Ball enthalten ist ? Ich denke hier kann man die Tatsache nutzen, dass: $k$ $k$ $nk$ $n$ $b$ $t$ Aber das Problem mit dieser Formulierung istdass ich seheeine einfache Art und Weise zu berechnen nicht oder , aber den Wert von der diese Wahrscheinlichkeit maximiert, sollte nicht zu schwierig sein.

P (t balls | b bins) = P (b bins | t balls) \cdot P (t) / P (b)

$P( t \mbox{ balls} | b \mbox{ bins} ) = P(b \mbox{ bins}| t \mbox{ balls}) \cdot P(t)/P(b)$

P (t)

$P(t)$

P (b)

$P(b)$

t

$t$

— Joe
quelle

2

Interessante Frage, schauen wir uns einige konkrete Fälle an.

Es sei Tasten, Bits, Bits insgesamt , und Elemente eingefügt. Wir werden versuchen , zunächst eine Funktion zu finden , das ist die Wahrscheinlichkeit , ein Zustand auftritt. $k$ $n_{on}$ $n_{total}$ $m$ $P(k, n_{on}, n_{total}, m)$

Wenn , dann sein muss , , dh es ist ein Ding der Unmöglichkeit. $km \lt n_{on}$ $P(k, n_{on}, n_{total}, m)$ $0$

Wenn , dann für die Wahrscheinlichkeit , suchen wir , dass Hashes in der gleichen Eimer fallen, kann die erste markieren , wo sollten die anderen gehen. Wir wollen also die Wahrscheinlichkeit ermitteln, dass Hashes in einen bestimmten Eimer fallen. $n_{on} = 1$ $km$ $km - 1$

$P(k, 1, n_{total}, m) = (1/n_{total})^{(km-1)}$

Das sind die wirklich einfachen Fälle. Wenn dann wollen wir die Wahrscheinlichkeit finden , dass Hashes in landen verschiedene Eimer und mindestens fällt in jedem. Es gibt Paare von Schaufeln und die Wahrscheinlichkeit , dass die Hash - Werte in einem bestimmten Land ist $n_{on} = 2$ $km$ $2$ $1$ $n_{total}(n_{total} - 1)$ $2$ $(2/n_{total})^{km}$ Die Wahrscheinlichkeit, dass die Hashes in bis zu Eimern abfallen, ist also: $2$

$n_{total}(n_{total} - 1)(2/n_{total})^{km}$

Wir wissen schon , die Wahrscheinlichkeit , dass sie in fällt Eimer Werfen sich also subtrahiert , dass die Wahrscheinlichkeit zu geben , dass sie in genau fallen . $1$ $2$

$P(k, 2, n_{total}, m) = n_{total}(n_{total} - 1)(2/n_{total})^{km} - (1/n_{total})^{(km-1)}$

Ich denke, wir können das jetzt verallgemeinern.

$P(k, n_{on}, n_{total}, m) = {n_{total} \choose n_{on}}(n_{on}/n_{total})^{km} - \sum_{i=1}^{i<n_{on}} P(k, i, n_{total}, m)$

Ich bin mir nicht ganz sicher, wie ich diese Formel für die Berechnung besser geeignet machen kann. Naiv implementiert, würde dies zu einer exponentiellen Zeitausführungszeit führen, obwohl es trivial ist, durch Merken eine lineare Zeit zu erreichen. Es geht dann nur darum, das wahrscheinlichste . Mein Instinkt sagt, dass es einen einzelnen Peak geben wird, so dass es möglich sein kann, ihn sehr schnell zu finden, aber naiv kann man definitiv das wahrscheinlichste m in . $m$ $O(n^2)$

— dan_waterworth
quelle

Ich denke , Ihre Formel aufhebt zu

(ohne Berücksichtigungkonstanten Faktoren). Sie können das Maximum davon analytisch berechnen: Erweitern Sie den ersten Faktor des zweiten Terms und entfernen Sie konstante Faktoren, um alles loszuwerden, und dann wird Ihre Formel sehr einfach.

(\binom{n_{t o t a l}}{n_{o n}}) n_{o n}^{k m} - (\binom{n_{t o t a l}}{n_{o n} - 1}) (n_{o n} - 1)^{k m}

${n_{total} \choose n_{on}}n_{on}^{km}- {n_{total} \choose n_{on}-1}(n_{on}-1)^{km}$ n choose k

— Jules

@Jules, großartig, ich war mir sicher, dass so etwas passieren würde, hatte aber nicht die Zeit, es herauszufinden.

— Dan_waterworth

: Sie können auch in dieser Formel direkt in der folgenden Art und Weise ankommen

. Dann stecken in

P (n_{o n} = x) = P (n_{o n} \leq x) - P (n_{o n} < x) = P (n_{o n} \leq x) - P (n_{o n} \leq x - 1)

$P(n_{on} = x) = P(n_{on} \leq x) - P(n_{on} < x) = P(n_{on} \leq x) - P(n_{on} \leq x-1)$

für

.

(\binom{n_{t o t a l}}{x}) (x / n_{t o t a l})^{k m}

${n_{total} \choose x} (x/n_{total})^{km}$

P (n_{o n} \leq x)

$P(n_{on} \leq x)$

— Jules

2

Angenommen, die Hashes sind gleichmäßig verteilt.

Sei die Anzahl der eingefügten Hashes. Da wir Hashes in Bins haben, wenn wir Hashes in Bins haben und der nächste Hash in einen dieser aus Bins geht, ODER wenn wir Hashes in Bins haben und der nächste Hash geht In einen der anderen Behälter haben wir: $i$ $i$ $m$ $i-1$ $m$ $m$ $n$ $i-1$ $m-1$ $n-(m-1)$

$P(m,i) = P(m,i-1)(m/n) + P(m-1,i-1)(n-(m-1))/n$

Umschreiben:

$P(m,i) = \frac{1}{n}(mP(m,i-1) + (n-m+1)P(m-1,i-1))$

Wir haben auch und wenn und wenn . Dies gibt Ihnen einen dynamischen -Programmieralgorithmus zum Berechnen von P. Berechnen des , das maximiert. $P(0,0) = 1$ $P(m,0) = 0$ $m \neq 0$ $P(0,i) = 0$ $i \neq 0$ $O(mi)$ $i$ $P(m,i)$ gibt Ihnen die maximale Wahrscheinlichkeitsschätzung.

Wenn wir wissen, dass wir mal in diesen Bloom-Filter gehasht haben und wir Hashes pro Element haben, dann ist die Anzahl der Elemente . $i$ $k$ $i/k$

Um dies zu beschleunigen, können Sie einige Dinge tun. Der Faktor kann weggelassen werden, da es die Position des Maximums nicht ändert. Sie können die dynamischen Programmiertabellen für mehrere Aufrufe vonfreigeben, um die (asymptotische) Laufzeit aufzu reduzieren. Wenn Sie glauben möchten, dass es ein einzelnes Maximum gibt, können Sie die Iteration überfrühzeitigstoppenund die LaufzeitwobeiPunkt ist, an demsein Maximum annimmt, oder sogar eine binäre Suche durchführen und abrufen. $\frac{1}{n}$ $P(m,i)$ $O(nm)$ $i$ $O(jm)$ $j$ $P$ $O(m \log n)$

— Jules
quelle

2

Die Schlüsselidee besteht darin, die Erwartung der Anzahl der Null-Bits anzunähern.

$(1-\frac{1}{N})^{Kt} \approx e^{-\frac{Kt}{N}}$

Dann sollte die Erwartung von Nullbitzahlen sein:

$N e^{-\frac{Kt}{N}}$ $N - M$

Finally we got $t = - \frac{N}{K} ln(1-\frac{M}{N})$

— Yanghong Zhong
quelle

1

Probability that a particular bit is 1 after n insertions is: P = 1 - (1 - 1/m) ^ (kn)

Let X_i be a discrete random variable which is 1 if the bit at i'th position is 1 and 0 otherwise. Let X = X_1 + X_2 + .... + X_m. Then, E[X] = m * P.

If total number of set bits are S, then: E[X] = S which implies m * P = S. This could be solved for n.

— Nikhil
quelle