Wie berechnet man die Wahrscheinlichkeitsdichtefunktion des Maximums einer Stichprobe von IID-Zufallsvariablen?

45

Angesichts der Zufallsvariablen

Y = max (X_{1}, X_{2}, \dots, X_{n})

$Y = \max(X_1, X_2, \ldots, X_n)$

wo $X_i$ sind IID einheitliche Variablen, wie berechne ich die PDF von $Y$ ?

pdf maximum

— Mascarpone
quelle

4

Wenn dies Hausaufgaben sind, lesen Sie bitte die FAQ und aktualisieren Sie Ihre Frage entsprechend.

— Kardinal

Kann man die Identität von Vandermonde verwenden, um die gemeinsame Funktion von 2 Ordnungen zu zeigen? Statistiken sagen F_y (r) * G_y (r)?

— Larry Mintz

Aus Interesse, welcher Kurs deckt diese Art von Problem ab? Es ist nicht etwas, das ich in meinem Engineering-Wahrscheinlichkeitskurs angetroffen habe.

— Alex

@Alex Wie wäre es mit einem Statistikkurs, der Resampling behandelt?

— SOFe

65

Es ist möglich, dass diese Frage eine Hausaufgabe ist, aber ich hatte das Gefühl, dass diese klassische elementare Wahrscheinlichkeitsfrage nach mehreren Monaten immer noch keine vollständige Antwort bietet. Deshalb werde ich hier eine Antwort geben.

Aus der Problemstellung wollen wir die Verteilung von

Y = max {X_{1}, . . ., X_{n}}

$Y = \max \{ X_1, ..., X_n \}$

Dabei sind iid . Wir wissen, dass genau dann ist, wenn jedes Element der Stichprobe kleiner als . Dann können wir , wie in @ vartys Hinweis angegeben, in Kombination mit der Tatsache, dass die unabhängig sind, daraus schließen $X_1, ..., X_n$ ${\rm Uniform}(a,b)$ $Y < x$ $x$ $X_i$

P (Y \leq x) = P (X_{1} \leq x, . . ., X_{n} \leq x) = \prod_{i = 1}^{n} P (X_{i} \leq x) = F_{X} (x)^{n}

$P(Y \leq x) = P(X_1 \leq x, ..., X_n \leq x) = \prod_{i=1}^{n} P(X_i \leq x) = F_{X}(x)^n$

wobei die CDF der Gleichverteilung ist . Daher ist der CDF von ist $F_{X}(x)$ $Y$

F_{Y} (y) = P (Y \leq y) = {\begin{cases} 0 & y \leq a \\ {[(y - a) / (b - a)]}^{n} & y \in (a, b) \\ 1 & y \geq b \end{cases}

$F_{Y}(y) = P(Y \leq y) = \begin{cases} 0 & y \leq a \\ \phantom{} \left[ (y-a)/(b-a) \right]^n & y\in(a,b) \\ 1 & y \geq b \\ \end{cases}$

Da eine absolut kontinuierliche Verteilung hat , können wir seine Dichte durch Differenzieren des CDF ableiten . Daher ist die Dichte von ist , $Y$ $Y$

p_{Y} (y) = \frac{n (y - a)^{n - 1}}{(b - a)^{n}}

$p_{Y}(y) = \frac{n(y-a)^{n-1}}{(b-a)^{n}}$

In dem speziellen Fall, in dem , haben wir , was die Dichte einer Beta-Verteilung mit und , da . $a=0,b=1$ $p_{Y}(y)=ny^{n-1}$ $\alpha=n$ $\beta=1$ ${\rm Beta}(n,1) = \frac{\Gamma(n+1)}{\Gamma(n)\Gamma(1)}=\frac{n!}{(n-1)!} = n$

Die Reihenfolge, in der Sie Ihre Stichprobe in aufsteigender Reihenfolge sortieren - - wird als Auftragsstatistik bezeichnet . Eine Verallgemeinerung dieser Antwort ist, dass alle Ordnungsstatistiken einer verteilten Stichprobe eine Beta-Verteilung haben , wie in der Antwort von @ bnaul vermerkt. $X_{(1)}, ..., X_{(n)}$ ${\rm Uniform}(0,1)$

— Makro
quelle

Dies war eigentlich eine Hausaufgabe für mich. Danke für die Erklärung.

— Paul PM

Ich denke, ich sollte in der Lage sein, Ihre Einsichten hier aufzunehmen und diese Frage zu beantworten , aber ich sehe nicht, wie das geht. Kannst du mir helfen? Kannst du ein Lehrbuch oder Kapitel empfehlen, das sich mit diesem allgemeinen Thema befasst?

@PaulPM Aus Interesse, welcher Kurs deckt diese Art von Problem ab? Es ist nicht etwas, das ich in meinem Engineering-Wahrscheinlichkeitskurs angetroffen habe.

— Alex

6

Das Maximum einer Stichprobe ist eine der Ordnungsstatistiken , insbesondere die te Ordnungsstatistik der Stichprobe . Im Allgemeinen ist es schwierig, die Verteilung der Auftragsstatistik zu berechnen, wie im Wikipedia-Artikel beschrieben. für einige spezialverteilungen sind die auftragsstatistiken bekannt (zb für die gleichverteilung mit betaverteilten auftragsstatistiken). $n$ $X_1,\dots,X_n$

BEARBEITEN: Der Wikipedia-Artikel zum Maximum und Minimum der Stichprobe ist ebenfalls hilfreich und spezifisch für Ihr Problem.

— bnaul
quelle

5

Für Verteilungen mit Dichten ist die Berechnung der Randverteilung einer bestimmten Ordnungsstatistik recht einfach. Es ist noch einfacher für "spezielle" Auftragsstatistiken wie Minimum und Maximum.

— Kardinal

Ich denke, es hängt davon ab, was in der ursprünglichen Frage mit "berechnen" gemeint ist. Sicherlich ist dies numerisch unkompliziert. Ich habe die Frage dahingehend interpretiert, wie man eine geschlossene Lösung findet, was im Allgemeinen nicht einfach ist.

— 15.

8

@bnaul: Let werden , um eine willkürliche Verteilungsfunktion und lassen eine IId sein Probe aus . Sei die Statistik ter Ordnung. Dann istQED .

F (x) = P (X \leq x)

$F(x) = \mathbb P(X \leq x)$

X_{1}, \dots, X_{n}

$X_1,\ldots,X_n$

F

$F$

X_{(k)}

$\newcommand{Xk}{X_{(k)}}\Xk$

k

$k$

P (X_{(k)} \leq x) = \sum_{m = k}^{n} P (| {i : X_{i} \leq x} | = m) = \sum_{m = k}^{n} (\binom{n}{m}) F (x)^{m} (1 - F (x))^{n - m} .

$\mathbb P(\Xk \leq x) = \sum_{m=k}^n \mathbb P( |\{i: X_i \leq x\}| = m) = \sum_{m=k}^n {n \choose m} F(x)^m (1-F(x))^{n-m} \>.$

— Kardinal

1

Eine Möglichkeit, die Antwort der Kardinäle zu verstehen (vorausgesetzt, Sie verstehen die Ordnungsstatistik für Uniform), besteht darin, dass wir das Ereignis {X <a} immer als Uniform ausdrücken können, da es sich bei CDFS um monotone 1-zu-1-Transformationen einer Uniform-CD handelt zufallsvariable (deshalb funktioniert monte carlo). Daher lässt sich jedes Ergebnis, das auf einer gleichmäßigen Verteilung basiert, leicht auf andere Zufallsvariablen verallgemeinern - wenden Sie einfach die Transformation .

U = F_{X} (X)

$U=F_{X}(X)$

— Wahrscheinlichkeitslogik

2

@probabilityislogic: Die Intuition ist gut, obwohl Sie in Ihrem Kommentar anscheinend kontinuierliche Zufallsvariablen im Hinterkopf haben. (Das Ergebnis in meinem zweiten Kommentar oben funktioniert z. B. für eine beliebige Verteilungsfunktion.)

— Kardinal

1

Wenn ist die CDF von , dann Sie können dann die iid Eigenschaft verwenden und Die cdf einer Uniform variiere, um zu berechnen . $F_{Y}(y)$ $Y$

F_{Y} (y) = Prob (y > X_{1}, y > X_{2}, . . ., y > X_{n})

$F_Y(y)=\text{Prob}(y>X_1,y>X_2,...,y>X_n)$

F_{Y} (y)

$F_Y(y)$

— varty
quelle

-3

Das Maximum eines Satzes von IID-Zufallsvariablen konvergiert im Allgemeinen zu einem der drei Extremwerttypen, wenn diese entsprechend normalisiert werden. Dies ist der Satz von Gnedenko, die Äquivalenz des zentralen Grenzwertsatzes für Extreme. Der jeweilige Typ hängt vom Schwanzverhalten der Populationsverteilung ab. In diesem Wissen können Sie die Grenzverteilung verwenden, um die Verteilung für das Maximum anzunähern.

Da die Gleichverteilung auf [a, b] das Thema dieser Frage ist, hat Macro die genaue Verteilung für jedes n und eine sehr schöne Antwort gegeben. Das Ergebnis ist eher trivial. Für die Normalverteilung ist eine schöne geschlossene Form nicht möglich, aber entsprechend normiert konvergiert das Maximum für die Normalverteilung zur Gumbel-Verteilung F (x) = exp (- e ). $^-$ $^x$

Für die Uniform ist die Normalisierung (ba) -x / n und F (bax / n) = (1-x / [n (ba)]) $^n$ $^n$

was konvergiert zu e . Beachten Sie hier, dass y = bax / n. und F (y) konvergiert zu 1, wenn y zu ba geht. Dies gilt für alle 0 $^-$ $^x$ $^/$ $^($ $^b$ $^-$ $^a$ $^)$ $^n$

In diesem Fall ist es einfach, den genauen Wert mit seiner asymptotischen Grenze zu vergleichen.

— Michael Chernick
quelle

4

Damit diese Antwort praktikabel ist, müssen Sie im Detail festlegen, wie man die Werte "angemessen normalisiert", und Sie müssen auch eine Möglichkeit angeben, um abzuschätzen, wie groß muss, bevor die asymptotische Formel eine zuverlässige Näherung wird.

n

$n$

— Whuber

@whuber Jeder kann sich den Satz von Gnedenko ansehen, um die Normalisierung zu sehen. Ebenso wichtig sind die Schwanzmerkmale, die bestimmen, welcher der drei Typen zutrifft. Der Satz verallgemeinert sich auf stationäre stochastische Prozesse. Wer also die Details genau wissen möchte, kann sich Leadbetters Buch oder meine Doktorarbeit ansehen. Wenn n groß genug ist, ist eine schwierige Frage für jede Form von Asymptotikern zu beantworten. Ich denke, der Berry-Esseen-Satz hilft für den zentralen Grenzwertsatz. Ich weiß nicht, was für Extreme vergleichbar ist.

— Michael Chernick