Bälle und Bins Analyse in der

Angenommen, wir werfen Bälle in Fächer, in denen . Sei die Anzahl der Bälle, die in Bin enden , der schwerste Bin, der leichteste Bin und der zweitschwerste Bin. Grob gesagt, , und so erwarten wir für zwei beliebige feste . Unter Verwendung einer Vereinigungsgrenze erwarten wir ; Vermutlich können wir eine passende Untergrenze erhalten, wenn wir berücksichtigen $m$ $n$ $m \gg n$ $X_i$ $i$ $X_\max$ $X_\min$ $X_{\mathrm{sec-max}}$ $X_i - X_j \sim N(0,2m/n)$ $|X_i - X_j| = \Theta(\sqrt{m/n})$ $i,j$ $X_{\max} - X_{\min} = O(\sqrt{m\log n/n})$ $n/2$ Paare von getrennten Behältern. Diese (nicht ganz formal) Argument führt uns , dass die Lücke zwischen erwarten $X_{\max}$ und $X_{\min}$ ist $\Theta(\sqrt{m\log n/n})$ mit hoher Wahrscheinlichkeit.

Ich interessiere mich für die Lücke zwischen $X_\max$ und $X_{\mathrm{sec-max}}$ . Das oben skizzierte Argument zeigt, dass $X_\max - X_{\mathrm{sec-max}} = O(\sqrt{m\log n/n})$ mit hoher Wahrscheinlichkeit ist, der Faktor $\sqrt{\log n}$ irrelevant zu sein scheint . Ist etwas über die Verteilung von $X_\max - X_{\mathrm{sec-max}}$ ?

Nehmen wir allgemeiner an, dass jeder Ball mit einer nicht negativen Punktzahl für jeden Behälter verbunden ist und dass wir an der Gesamtpunktzahl jedes Behälters nach dem Werfen von $m$ Bällen interessiert sind . Das übliche Szenario entspricht Bewertungen der Form $(0,\ldots,0,1,0,\ldots,0)$ . Angenommen, die Wahrscheinlichkeitsverteilung der Bewertungen ist unter Permutation der Klassen unveränderlich (im üblichen Szenario entspricht dies der Tatsache, dass alle Klassen gleich wahrscheinlich sind). Angesichts der Verteilung der Bewertungen können wir die Methode des ersten Absatzes verwenden, um eine gute Grenze für $X_{\max} - X_{\min}$ . Die Grenze enthält einen Faktor von $\sqrt{\log n}$ das kommt von einer Vereinigungsgrenze (über die Endwahrscheinlichkeiten einer normalen Variablen). Kann dieser Faktor reduziert werden, wenn wir daran interessiert sind, begrenzen $X_{\max} - X_{\mathrm{sec-max}}$ ?

reference-request pr.probability

— Yuval Filmus
quelle

Jede Punktzahl ist in [0,1]?

— Neal Young

Es spielt keine Rolle, Sie können es immer so skalieren, dass es in

[0, 1]

$[0,1]$ .

— Yuval Filmus

Antworten:

Antwort: $\Theta\left(\sqrt{\frac{m}{n\log n}}\right)$ .

Bei Anwendung einer mehrdimensionalen Version des zentralen Grenzwertsatzes erhalten wir, dass der Vektor eine asymptotisch multivariate Gaußsche Verteilung mit und Wir gehen davon aus, dass unter ist ein Gauß - Vektor (und nicht nur etwa ein Gauß - Vektor). Addieren wir eine Gaußsche Zufallsvariable mit der Varianz zu allen ( ist unabhängig von allen ). Das heißt, lassen Sie $(X_1,\dots, X_n)$

V a r [X_{i}] = m (\frac{1}{n} - \frac{1}{n^{2}}),

$\mathrm{Var}[X_i] = m\left(\frac{1}{n} - \frac{1}{n^2}\right),$

C o v (X_{i}, X_{j}) = - m / n^{2} .

$\mathrm{Cov}(X_i, X_j) = -m/n^2.$

X

$X$

Z

$Z$

m / n^{2}

$m/n^2$

X_{i}

$X_i$

Z

$Z$

X_{i}

$X_i$

(\begin{matrix} Y_{1} \\ Y_{2} \\ ⋮ \\ Y_{n} \end{matrix}) = (\begin{matrix} X_{1} + Z \\ X_{2} + Z \\ ⋮ \\ X_{n} + Z \end{matrix}) .

$\begin{pmatrix} Y_1\\Y_2\\ \vdots\\Y_n \end{pmatrix} = \begin{pmatrix} X_1+Z\\X_2+Z\\ \vdots\\X_n +Z \end{pmatrix}.$ Wir erhalten einen Gaußschen Vektor . Jetzt hat jedes die Varianz : und alle sind unabhängig:

(Y_{1}, \dots, Y_{n})

$(Y_1, \dots, Y_n)$

Y_{i}

$Y_i$

m / n

$m/n$

V a r [Y_{i}] = V a r [X_{i}] + \underset{= 0}{\underset{⏟}{2 C o v (X_{i}, Z)}} + V a r [Z] = m / n,

$\mathrm{Var}[Y_i] = \mathrm{Var}[X_i] + \underbrace{2\mathrm{Cov}(X_i,Z)}_{=\, 0}+\mathrm{Var}[Z] = m/n,$

Y_{i}

$Y_i$

C o v (Y_{i}, Y_{j}) = C o v (X_{i}, X_{j}) + \underset{= 0}{\underset{⏟}{C o v (X_{i}, Z) + C o v (X_{j}, Z)}} + C o v (Z, Z) = 0.

$\mathrm{Cov}(Y_i, Y_j) = \mathrm{Cov}(X_i, X_j) + \underbrace{\mathrm{Cov}(X_i,Z) + \mathrm{Cov}(X_j,Z)}_{=\, 0} +\mathrm{Cov}(Z, Z) = 0.$

Beachten Sie, dass . Somit entspricht unser ursprüngliches Problem dem Problem, . Lassen Sie uns der Einfachheit halber zunächst den Fall analysieren, in dem alle die Varianz . $Y_i - Y_j = X_i - X_j$ $Y_{\mathrm{max}} - Y_{\mathrm{sec-max}}$ $Y_i$ $1$

Problem. Wir erhalten unabhängige Gaußsche rv mit dem Mittelwert und der Varianz . Schätzen Sie die Erwartung von . $n$ $\gamma_1,\dots, \gamma_n$ $\mu$ $1$ $\gamma_{\mathrm{max}} - \gamma_{\mathrm{sec-max}}$

Antwort: . $\Theta\left(\frac{1}{\sqrt{\log n}}\right)$

Informeller Beweis. Hier ist eine informelle Lösung für dieses Problem (es ist nicht schwer, es formal zu machen). Da die Antwort nicht vom Mittelwert abhängt, nehmen wir an, dass . Sei , wobei . Wir haben (für mäßig großes ) $\mu = 0$ $\bar\Phi(t) = \Pr[\gamma > t]$ $\gamma\sim{\cal N}(0,1)$ $t$

\bar{Φ} (t) \approx \frac{1}{\sqrt{2 π} t} e^{- \frac{1}{2} t^{2}} .

$\bar\Phi(t)\approx \frac{1}{\sqrt{2\pi}t} e^{-\frac{1}{2}t^2}.$

Beachten Sie, dass

$\Phi(\gamma_i)$ sind gleichmäßig und unabhängig verteilt auf , $[0,1]$
$\Phi(\gamma_{\mathrm{max}})$ ist das kleinste unter , $\Phi(\gamma_i)$
$\Phi(\gamma_{\mathrm{sec-max})}$ ist das zweitkleinste unter . $\Phi(\gamma_i)$

Somit liegt nahe bei und nahe bei (es gibt keine Konzentration, aber wenn wir nicht ' Konstanten interessieren uns nicht diese Schätzungen sind gut genug, tatsächlich sind sie sogar ziemlich gut, wenn wir uns um Konstanten kümmern - aber das bedarf einer Begründung). Mit der Formel für wir diese $\Phi(\gamma_{\mathrm{max}})$ $1/n$ $\Phi(\gamma_{\mathrm{max}})$ $2/n$ $\bar\Phi(t)$

2 \approx \bar{Φ} (γ_{s e c - m a x}) / \bar{Φ} (γ_{m a x}) \approx e^{\frac{1}{2} (γ_{m a x}^{2} - γ_{s e c - m a x}^{2})} .

$2\approx \bar\Phi(\gamma_{\mathrm{sec-max}})\left/\bar\Phi(\gamma_{\mathrm{max}})\right. \approx e^{\frac{1}{2}\left(\gamma_{\mathrm{max}}^2 - \gamma_{\mathrm{sec-max}}^2\right)}.$

Somit ist BGF zu beachten , dass . Wir haben $\gamma_{\mathrm{max}}^2 - \gamma_{\mathrm{sec-max}}^2$ $\Theta(1)$ $\gamma_{\mathrm{max}}\approx \gamma_{\mathrm{sec-max}} = \Theta(\sqrt{\log n})$

γ_{m a x} - γ_{s e c - m a x} \approx \frac{Θ (1)}{γ_{m a x} + γ_{s e c - m a x}} \approx \frac{Θ (1)}{\sqrt{\log n}} .

$\gamma_{\mathrm{max}} - \gamma_{\mathrm{sec-max}}\approx \frac{\Theta(1)}{\gamma_{\mathrm{max}} + \gamma_{\mathrm{sec-max}}} \approx \frac{\Theta(1)}{\sqrt{\log n}}.$

QED

Wir erhalten, dass

\begin{aligned} E [X_{m a x} - X_{s e c - m a x}] & = E [Y_{m a x} - Y_{s e c - m a x}] \\ = \sqrt{V a r [Y_{i}]} \times E [γ_{m a x} - γ_{s e c - m a x}] = Θ (\sqrt{\frac{m}{n \log n}}) . \end{aligned}

$\begin{align} \mathbb{E}[{X_{\mathrm{max}} - X_{\mathrm{sec-max}}}] &= \mathbb{E}[{Y_{\mathrm{max}} - Y_{\mathrm{sec-max}}}] \\ &= \sqrt{\mathrm{Var}[Y_i]} \times\mathbb{E}[{\gamma_{\mathrm{max}} - \gamma_{\mathrm{sec-max}}}] = \Theta\left(\sqrt{\frac{m}{n\log n}}\right). \end{align}$

Dasselbe Argument wird durchgesprochen, wenn wir willkürliche Punktzahlen haben. Es zeigt, dass
$E [X_{m a x} - X_{s e c - m a x}] = c E [X_{m a x} - X_{m i n}] / \log n .$ $\mathbb{E}[X_{\mathrm{max}}- X_{\mathrm{sec-max}}] = c\, \left. \mathbb{E}[X_{\mathrm{max}}- X_{\mathrm{min}}]\right/\log n.$

— Yury
quelle

Vielen Dank! Ich werde daran denken, das nächste Mal die multivariate Gaußsche Näherung zu versuchen.

— Yuval Filmus

Yury, schrieben Sie „Lassen Sie uns fügen Sie einen Gaußschen Vektor mit Varianz für alle . Wir haben einen Gauß - Vektor erhalten . Nun hat jeder Varianz und alle sind nicht korreliert ... Beachten Sie, dass . " Können Sie diesen Teil erweitern? Ist ? Wenn die abhängig sind und die unabhängig (oder einheitlich gleich) sind, wie können die unabhängig sein? (Scheint ein ordentlicher Trick zu sein, aber ich verstehe ihn nicht.) Danke.

Z

$Z$

m / n^{2}

$m/n^2$

X_{i}

$X_i$

(Y_{1}, \dots, Y_{n})

$(Y_1, \dots, Y_n)$

Y_{i}

$Y_i$

m / n

$m/n$

Y_{i}

$Y_i$

Y_{i} - Y_{j} = X_{i} - X_{j}

$Y_i - Y_j = X_i - X_j$

Z_{i} = Z_{j}

$Z_i = Z_j$

X_{i}

$X_i$

Z_{i}

$Z_i$

Y_{i}

$Y_i$

— Neal Young

@NealYoung, ja, wenn wir Variablen mit negativer paarweise Korrelation und all Kovarianzen sind gleich , dann können wir ein hinzufügen einzelnen neuen Zufallsvariable für alle , so dass Die Beträge sind unabhängig. Auch wenn die Variablen eine positive Korrelation haben und wieder alle Kovarianzen gleich sind, können wir ein einzelnes rv von allen subtrahieren , so dass alle Unterschiede unabhängig sind; aber jetzt ist nicht unabhängig von , sondern

X_{1}, \dots, X_{n}

$X_1,\dots,X_n$

C o v (X_{i}, X_{j})

$\mathrm{Cov}(X_i,X_j)$

Z

$Z$

X_{i}

$X_i$

C o v (X_{i}, X_{j})

$\mathrm{Cov}(X_i,X_j)$

Z

$Z$

Z

$Z$

X_{i}

$X_i$

Z = α (X_{1} + \dots + X_{n})

$Z=\alpha (X_1 + \dots+X_n)$ für einige Skalierungsparameter .

α

$\alpha$

— Yury

Ah ich sehe. Zumindest algebraisch ist alles, worauf es beruht, die paarweise Unabhängigkeit von Z und jedem . sehr cool.

X_{i}

$X_i$

— Suresh Venkat

Dieses Argument erscheint jetzt (mit Zuschreibung) in einem EC'14-Artikel: dl.acm.org/citation.cfm?id=2602829 .

— Yuval Filmus

Ich denke, Sie können für Ihre erste Frage zeigen, dass whp ist Beachten Sie, dass dies . $X_{\max}-X_{\textrm{sec-max}}$

o (\sqrt{\frac{m}{n} \frac{\log^{2} \log n}{\log n}}) .

$o\left(\sqrt{\frac{m}{n}\frac{\log^2\log n}{\log n}}\right).$

o (\sqrt{m / n})

$o(\sqrt{m/n})$

Vergleichen Sie Ihr zufälliges Experiment mit der folgenden Alternative: Es sei die maximale Beladung eines der ersten Eimer. Sei die maximale Beladung eines der letzten Buckets. $X_1$ $n/2$ $X_2$ $n/2$

Bei Betrachtungist eine Obergrenze für . Außerdem ist mit einer Wahrscheinlichkeit von mindestens der Hälfte . Grob gesprochen ist also ähnlich zu. $|X_1-X_2|$ $X_{\max}-X_{\mathrm{sec-max}}$ $|X_1-X_2| = X_{\max}-X_{\mathrm{sec-max}}$ $X_{\max}-X_{\mathrm{sec-max}}$ $|X_1-X_2|$

Um zu studieren Beachten Sie, dass mit hoher Wahrscheinlichkeit Kugeln in die ersten Bins geworfen werden , ebenso wie für die letzten Bins. Also sind und im Wesentlichen wie die maximale Last verteilt, wenn Kugeln in Behälter geworfen werden . $|X_1-X_2|$ $m/2\pm O(\sqrt m)$ $n/2$ $n/2$ $X_1$ $X_2$ $m' = m/2\pm o(m)$ $n' = n/2$

Diese Verteilung ist gut untersucht und zum Glück eng um ihren Mittelwert konzentriert. Wenn beispielsweise , weicht mit hoher Wahrscheinlichkeit höchstens um die oben in dieser Antwort angezeigte Menge von seiner Erwartung ab [ Thm. 1 ]. (Anmerkung: diese obere Schranke ist, glaube ich, bei Yuris Antwort locker.) Also unterscheiden sich und mit hoher Wahrscheinlichkeit auch höchstens so sehr, und so und unterscheiden sich höchstens so sehr. $m' \gg n\log^3 n$ $X_1$ $X_1$ $X_2$ $X_{\max}$ $X_{\mathrm{max-sec}}$

Umgekehrt ist für eine (etwas schwächer) gebunden senken, wenn für jedes , sagen wir, , dann ist mindestens was (durch die naive Vereinigungsgrenze) mindestens Ich denke, dies sollte Ihnen (zum Beispiel) die Erwartung von innerhalb eines Konstantenfaktors geben. $t$ $\Pr[|X_1-X_2| \ge t] \ge 3/4$ $\Pr[X_{\max}-X_{\textrm{sec-max}} \ge t]$

Pr [| X_{1} - X_{2} | \geq t \land X_{max} - X_{sec-max} = | X_{1} - X_{2} |]

$\Pr\big[|X_1-X_2| \ge t ~\wedge~ X_{\max}-X_{\textrm{sec-max}} = |X_1-X_2|\big]$

1 - (1 / 4) - (1 / 2) = 1 / 4.

$1 - (1/4) - (1/2) = 1/4.$

X_{max} - X_{sec-max}

$X_{\max}-X_{\textrm{sec-max}}$

— Neal Young
quelle

Mit Blick auf Thm. 1, der Unterschied zur Erwartung ist und nicht das, was Sie geschrieben haben. Das ist immer noch viel besser als .

O (\sqrt{(m / n) \log \log n})

$O(\sqrt{(m/n) \log \log n})$

O (\sqrt{(m / n) \log n})

$O(\sqrt{(m/n) \log n})$

— Yuval Filmus

Von Thm. 1 (sein dritter Fall) ist für jedes mit der Wahrscheinlichkeit das Maximum in jedem Behälter (m Bälle in n Behältern) Nach meiner Mathematik (mit ) erweitert sich der Term zu einem additiven absoluten Term vonWas mache ich falsch?

ϵ > 0

$\epsilon>0$

1 - o (1)

$1-o(1)$

\frac{m}{n} + \sqrt{\frac{2 m \log n}{n}} \sqrt{1 - (1 \pm ϵ) \frac{\log \log n}{2 \log n}} .

$\frac{m}{n} +\sqrt{\frac{2m\log n}{n}}\sqrt{1-(1\pm\epsilon) \frac{\log\log n}{2\log n}}.$

\sqrt{1 - δ} = 1 - O (δ)

$\sqrt{1-\delta} = 1 - O(\delta)$

\pm ϵ

$\pm\epsilon$

O (ϵ) \sqrt{\frac{m \log n}{n}} \frac{\log \log n}{\log n} = O (ϵ) \sqrt{\frac{m}{n} \frac{\log^{2} \log n}{\log n}} .

$O(\epsilon) \sqrt{\frac{m\log n}{n}}~\frac{\log\log n}{\log n} ~=~O(\epsilon) \sqrt{\frac{m}{n}~\frac{\log^2\log n}{\log n}}.$

— Neal Young

Ah, ich denke du hast recht. Ich habe innerhalb der Quadratwurzel subtrahiert und so meine Figur erhalten.

— Yuval Filmus