Hat diese diskrete Distribution einen Namen?

Hat diese diskrete Distribution einen Namen? Für $i \in 1...N$

$f(i) = \frac{1}{N} \sum_{j = i}^N \frac{1}{j}$

Ich bin auf diese Distribution durch Folgendes gestoßen: Ich habe eine Liste von Elementen, die nach einer Dienstprogrammfunktion sortiert sind. Ich möchte nach dem Zufallsprinzip eines der Elemente auswählen und mich auf den Anfang der Liste ausrichten. Also wähle ich zuerst einheitlich einen Index zwischen 1 und . Ich wähle dann einen Punkt zwischen den Indizes 1 und . Ich glaube, dieser Prozess führt zu der obigen Verteilung. $N$ $j$ $N$ $j$

— Tom
quelle

Dies ist keine Distribution: Sie ist nicht normalisiert.

— whuber

@whuber Ich dachte es zuerst (und kommentierte bevor ich merkte, dass ich den Kommentar missverstanden und entfernt hatte), aber es stellte sich heraus, dass ich die Definition missverstanden hatte. Sofern ich kein weiteres Missverständnis habe, handelt es sich um eine normalisierte Wahrscheinlichkeitsmassenfunktion.

— Glen_b

Es ist normalisiert. 1/1 erscheint genau einmal in der Summe (es wird in f (1) sein). 1/2 erscheint genau zweimal (es wird in f (1) und f (2) sein). usw. Die Summe all dieser Summen wird also N sein und die Normalisierungskonstante wird als 1 / N gezeigt. Checkt aus.

— rcorty

Genauer gesagt, ich weiß nicht, wie diese Distribution heißt. Ich weiß auch nicht, wie der von Ihnen beschriebene Prozess zu dieser Distribution führt. Ein Gedanke, den ich hatte, ist, dass es sich wie eine diskrete Version eines Stick-Breaking-Prozesses anhört, der sehr gut zu verstehen ist.

— rcorty

@ Glen_b Danke. Ich lese diese auf meinem Handy, das nicht machen

deutlich genug.

f

$f$

— whuber

Antworten:

Sie haben eine diskretisierte Version der negativen Protokollverteilung, dh der Verteilung, deren Unterstützung und deren PDF . $[0, 1]$ $f(t) = - \log t$

Um dies zu sehen, definiere ich Ihre Zufallsvariable neu und nehme Werte in der Menge anstelle von und rufe die auf resultierende Verteilung . Dann ist meine Behauptung das $\{ 0, 1/N, 2/N, \ldots, 1 \}$ $\{0, 1, 2, \ldots, N \}$ $T$

P r (T = \frac{t}{N}) \to - \frac{1}{N} \log (\frac{t}{N})

$Pr\left( T = \frac{t}{N} \right) \rightarrow - \frac{1}{N} \log \left( \frac{t}{N} \right)$

als während $N, t \rightarrow \infty$ wird (ungefähr) konstant gehalten. $\frac{t}{N}$

Zunächst ein kleines Simulationsexperiment, das diese Konvergenz demonstriert. Hier ist eine kleine Implementierung eines Samplers aus Ihrer Distribution:

t_sample <- function(N, size) {
  bounds <- sample(1:N, size=size, replace=TRUE)
  samples <- sapply(bounds, function(t) {sample(1:t, size=1)})
  samples / N
}

Hier ist ein Histogramm eines großen Beispiels aus Ihrer Distribution:

ss <- t_sample(100, 200000)
hist(ss, freq=FALSE, breaks=50)

Bildbeschreibung hier eingeben

und hier das logarithmische pdf:

linsp <- 1:100 / 100
lines(linsp, -log(linsp))

Bildbeschreibung hier eingeben

Beginnen Sie mit Ihrem Ausdruck, um zu sehen, warum diese Konvergenz auftritt

P r (T = \frac{t}{N}) = \frac{1}{N} \sum_{j = t}^{N} \frac{1}{j}

$Pr \left( T = \frac{t}{N} \right) = \frac{1}{N} \sum_{j=t}^N \frac{1}{j}$

und multiplizieren und dividieren durch $N$

P r (T = \frac{t}{N}) = \frac{1}{N} \sum_{j = t}^{N} \frac{N}{j} \frac{1}{N}

$Pr \left( T = \frac{t}{N} \right) = \frac{1}{N} \sum_{j=t}^N \frac{N}{j} \frac{1}{N}$

$g(x) = \frac{1}{x}$ $\frac{t}{N}$ $1$ $N$

P r (T = \frac{t}{N}) \approx \frac{1}{N} \int_{\frac{t}{N}}^{1} \frac{1}{x} d x = - \frac{1}{N} Log (\frac{t}{N})

$Pr \left( T = \frac{t}{N} \right) \approx \frac{1}{N} \int_{\frac{t}{N}}^1 \frac{1}{x} dx = - \frac{1}{N} \log \left( \frac{t}{N} \right)$

Das ist der Ausdruck, zu dem ich kommen wollte.

— Matthew Drury
quelle

Gern geschehen. Dies war eine großartige Frage, und es hat mir viel Spaß gemacht, sie zu erarbeiten.

— Matthew Drury

Dies scheint mit der Whitworth-Verteilung zu tun zu haben. (Ich glaube nicht, dass es sich um die Whitworth-Verteilung handelt, da, wenn ich mich recht erinnere, dies die Verteilung einer Menge geordneter Werte ist, aber es scheint damit verbunden zu sein und sich auf dasselbe Summierungsschema zu stützen.)

Es gibt einige Diskussionen über die Whitworth (und zahlreiche Referenzen) in

Anthony Lawrance und Robert Marks, (2008)
"Unternehmensgrößenverteilungen in einer Branche mit beschränkten Ressourcen",
Applied Economics , vol. 40, Ausgabe 12, Seiten 1595-1607

(Es sieht ein Arbeitspapier Version sein hier )

Siehe auch

Nancy L Geller, (1979)
Ein Test von Bedeutung für die Whitworth-Verteilung,
Journal der American Society for Information Science , Bd. 30 (4), S. 229-231

— Glen_b - Setzen Sie Monica wieder ein
quelle

Könnten Sie, um diese Antwort in sich geschlossen zu machen, eine Definition der Whitworth-Verteilung und vielleicht ein paar Erklärungen zu dem Zusammenhang geben, den Sie sehen?

— whuber

@whuber Ja, es sollte ein Kommentar sein, wie es steht. Ich werde einige Details bearbeiten, aber es wird noch viel länger dauern.

— Glen_b

Nur eine Definition wäre in Ordnung.

— whuber

Danke, das wurde verstanden, aber das wird trotzdem das Ergebnis sein.

— Glen_b