Welche Verteilung folgt der inverse Normal-CDF einer Beta-Zufallsvariablen?

Angenommen, Sie definieren:

$$X\sim\mbox{Beta}(\alpha,\beta)$$

$$Y\sim \Phi^{-1}(X)$$

wobei $\Phi^{-1}$ die Inverse der CDF der Standardnormalverteilung .

Meine Frage ist: Gibt es eine einfache Verteilung, der $Y$ folgt, oder die sich annähern kann $Y$? Ich frage, weil ich aufgrund der Simulationsergebnisse (siehe unten) den starken Verdacht habe, dass $Y$ zu einer Normalverteilung konvergiert, wenn $\alpha$ und $\beta$ hoch sind, aber ich weiß nicht, warum dies mathematisch der Fall ist. (Natürlich, wenn $\alpha=1;\beta=1$ , wäre $X$ gleichförmig und $Y$ wäre die Standardnormale, aber warum würde es für höhere Werte zutreffen?).

Wenn dies zu einer Normalen konvergiert, wie lauten die Parameter dieser Normalen in Bezug auf $\alpha$ und $\beta$ ? (Ich gehe davon aus, dass der Mittelwert $\Phi^{-1}(\frac{\alpha}{\alpha+\beta})$da dies die Transformation des Modus ist, aber ich kenne die Standardabweichung nicht).

(Anders ausgedrückt könnte man fragen: " Konvergiert $\Phi(\mbox{Norm}(\mu, \sigma))$ für eine Richtung von $\mu$ und zu einer Beta-Verteilung $\sigma$?"? Ich bin nicht sicher, ob dies einfacher zu beantworten ist.)

Simulationsergebnisse

Hier zeige ich, warum ich den Verdacht habe, dass das Ergebnis normal ist (da ich es nicht mit Mathe belegen kann). Die Simulation von $Y$ kann in R mit qnormund erfolgen rnorm. Wählen Sie zum Beispiel die hohen Parameter $\alpha=3000$ und $\beta=7000$ :

hist(qnorm(rbeta(5000, 3000, 7000)))

Dies sieht normal aus qqnormund der Shapiro-Wilk-Test (bei dem die Normalität die Nullhypothese ist) legt dies ebenfalls nahe:

qqnorm(qnorm(rbeta(5000, 3000, 7000)))

shapiro.test(qnorm(rbeta(5000, 3000, 7000)))
#> 
#>  Shapiro-Wilk normality test
#> 
#> data:  qnorm(rbeta(5000, 3000, 7000))
#> W = 0.99954, p-value = 0.2838

Um die Normalität etwas genauer zu untersuchen, führe ich 2.000 Simulationen durch, wobei jedes Mal 5.000 Werte von simuliert werden $Y$, und führe dann den Test durch, um ihn mit dem Normalen zu vergleichen. (Ich habe 5K-Werte gewählt, da dies das Maximum shapiro.testist, das verarbeitet werden kann, und die Leistung maximiert, um Abweichungen von der Norm zu erkennen.)

Wenn die Verteilung wirklich normal wäre, würden wir erwarten, dass die p-Werte einheitlich sind (da die Null wahr ist). Sie sind in der Tat nahezu einheitlich, was darauf hindeutet, dass die Verteilung sehr normal ist:

hist(replicate(2000, shapiro.test(qnorm(rbeta(5000, 3000, 7000)))$p.value))

Einige Experimente haben gezeigt, dass die Verteilung umso normaler wird, je höher $\alpha$ und $\beta$ sind (z. B. rbeta(5000, 3, 7)ist sie ziemlich weit vom Normalen entfernt, aber versuchen hist(replicate(2000, shapiro.test(qnorm(rbeta(5000, 30, 70)))$p.value))Sie es und es scheint irgendwo dazwischen zu liegen).

Zusammenfassung

Sie haben einen Teil der unter Zentraler Grenzwertsatz für Stichprobenmediane beschriebenen Konstruktion wiederentdeckt , die eine Analyse des Medians einer Stichprobe veranschaulicht. (Die Analyse gilt offensichtlich mutatis mutandis für jedes Quantil, nicht nur für den Median). Daher ist es nicht verwunderlich, dass bei großen Beta-Parametern (entsprechend großen Stichproben) eine Normalverteilung unter der in der Frage beschriebenen Transformation auftritt. Interessant ist, wie nahe die Normalverteilung auch bei kleinen Beta-Parametern ist. Das verdient eine Erklärung.

Ich werde unten eine Analyse skizzieren. Um diesen Beitrag in einem angemessenen Umfang zu halten, ist viel suggestives Winken von Hand erforderlich: Ich möchte nur auf die Schlüsselideen hinweisen. Lassen Sie mich deshalb die Ergebnisse hier zusammenfassen:

1. Wenn in der Nähe von β liegt , ist alles symmetrisch. Dies bewirkt, dass die transformierte Verteilung bereits normal aussieht.$\alpha$$\beta$

2. Die Funktionen der Form sehen an erster Stelle ziemlich normal aus, selbst für kleine Werte von α und β (vorausgesetzt, beide überschreiten 1 und ihr Verhältnis ist nicht zu groß) nahe 0 oder 1 ).$\Phi^{\alpha-1}(x)\left(1-\Phi(x)\right)^{\beta-1}$$\alpha$$\beta$$1$$0$$1$

3. Die scheinbare Normalität der transformierten Verteilung beruht auf der Tatsache, dass ihre Dichte aus einer Normaldichte multipliziert mit einer Funktion in (2) besteht.

4. Wenn und β zunehmen, kann die Abweichung von der Normalität in den übrigen Ausdrücken in einer Taylorreihe für die logarithmische Dichte gemessen werden. Der Term der Ordnung n nimmt proportional zu den ( n - 2 ) / 2 Potenzen von α und β ab . Dies impliziert, dass schließlich für ausreichend großes α und β alle Terme der Leistung n = 3 oder größer relativ klein geworden sind und nur noch ein Quadrat übrig bleibt: Dies ist genau die logarithmische Dichte einer Normalverteilung.$\alpha$$\beta$$n$$(n-2)/2$$\alpha$$\beta$$\alpha$$\beta$$n=3$

Zusammengenommen erklären diese Verhaltensweisen gut, warum selbst für kleine und β die nicht-extremen Quantile einer iid-Normal-Stichprobe ungefähr normal aussehen.$\alpha$$\beta$

---

Analyse

Da es nützlich sein kann, zu verallgemeinern, sei F eine beliebige Verteilungsfunktion, obwohl wir F = Φ im Auge haben .$F$$F=\Phi$

Die Dichtefunktion einer Beta ( α , β ) -Variablen ist definitionsgemäß proportional zu$g(y)$$(\alpha,\beta)$

$$y^{\alpha-1}(1-y)^{\beta-1}dy.$$

Wenn die Wahrscheinlichkeitsintegraltransformation von x ist und f für die Ableitung von F geschrieben wird , ist es unmittelbar, dass x eine Dichte proportional zu hat$y=F(x)$$x$$f$$F$$x$

$$G(x;\alpha,\beta)=F(x)^{\alpha-1}(1-F(x))^{\beta-1}f(x)dx.$$

Da es sich um eine monotone Transformation einer stark unimodalen Verteilung (Beta) handelt, ist die transformierte Verteilung auch unimodal, sofern eher seltsam ist. Untersuchen wir den Logarithmus seiner Dichte, um zu untersuchen, wie nahe er dem Normalen kommt.$F$

$$\log G(x;\alpha,\beta) = (\alpha-1)\log F(x) + (\beta-1)\log(1-F(x)) + \log f(x) + C\tag{1}$$

wobei eine irrelevante Normalisierungskonstante ist.$C$

Erweitern Sie die Komponenten von in der Taylor-Reihe, um drei um einen Wert x 0 (der einem Modus nahe kommt) zu ordnen . Zum Beispiel können wir die Erweiterung von log F as schreiben$\log G(x;\alpha,\beta)$$x_0$$\log F$

$$\log F(x) = c^{F}_0 + c^{F}_1 (x-x_0) + c^{F}_2(x-x_0)^2 + c^{F}_3h^3$$

für einige mit | h | ≤ | x - x 0 | . Verwenden Sie eine ähnliche Schreibweise für log ( 1 - F ) und log f . $h$$|h| \le |x-x_0|$$\log(1-F)$$\log f$

Lineare Ausdrücke

The linear term in $(1)$ thereby becomes

$$g_1(\alpha,\beta) = (\alpha-1)c^{F}_1 + (\beta-1)c^{1-F}_1 + c^{f}_1.$$

When $x_0$ is a mode of $G(\,;\alpha,\beta)$, this expression is zero. Note that because the coefficients are continuous functions of $x_0$, as $\alpha$ and $\beta$ are varied, the mode $x_0$ will vary continuously too. Moreover, once $\alpha$ and $\beta$ are sufficiently large, the $c^{f}_1$ term becomes relatively inconsequential. If we aim to study the limit as $\alpha\to\infty$ and $\beta\to\infty$ for which $\alpha:\beta$ stays in constant proportion $\gamma$, we may therefore once and for all choose a base point $x_0$ for which

$$\gamma c^{F}_1 + c^{1-F}_1 = 0.$$

A nice case is where $\gamma=1$, where $\alpha=\beta$ throughout, and $F$ is symmetric about $0$. In that case it is obvious $x_0=F(0)=1/2$.

We have achieved a method whereby (a) in the limit, the first-order term in the Taylor series vanishes and (b) in the special case just described, the first-order term is always zero.

Quadratic terms

These are the sum

$$g_2(\alpha,\beta) = (\alpha-1)c^{F}_2 + (\beta-1)c^{1-F}_2 + c^{f}_2.$$

Comparing to a Normal distribution, whose quadratic term is $-(1/2)(x-x_0)^2/\sigma^2$, we may estimate that $-1/(2g_2(\alpha,\beta))$ is approximately the variance of $G$. Let us standardize $G$ by rescaling $x$ by its square root. we don't really need the details; it suffices to understand that this rescaling is going to multiply the coefficient of $(x-x_0)^n$ in the Taylor expansion by $(-1/(2g_2(\alpha,\beta)))^{n/2}.$

Remainder term

Here's the punchline: the term of order $n$ in the Taylor expansion is, according to our notation,

$$g_n(\alpha,\beta) = (\alpha-1)c^{F}_n + (\beta-1)c^{1-F}_n + c^{f}_n.$$

After standardization, it becomes

$$g_n^\prime(\alpha,\beta) = \frac{g_n(\alpha,\beta)}{(-2g_2(\alpha,\beta))^{n/2})}.$$

Both of the $g_i$ are affine combination of $\alpha$ and $\beta$. By raising the denominator to the $n/2$ power, the net behavior is of order $-(n-2)/2$ in each of $\alpha$ and $\beta$. As these parameters grow large, then, each term in the Taylor expansion after the second decreases to zero asymptotically. In particular, the third-order remainder term becomes arbitrarily small.

The case when $F$ is normal

The vanishing of the remainder term is particularly fast when $F$ is standard Normal, because in this case $f(x)$ is purely quadratic: it contributes nothing to the remainder terms. Consequently, the deviation of $G$ from normality depends solely on the deviation between $F^{\alpha-1}(1-F)^{\beta-1}$ and normality.

This deviation is fairly small even for small $\alpha$ and $\beta$. To illustrate, consider the case $\alpha=\beta$. $G$ is symmetric, whence the order-3 term vanishes altogether. The remainder is of order $4$ in $x-x_0=x$.

Here is a plot showing how the standardized fourth order term changes with small values of $\alpha \gt 1$:

The value starts out at $0$ for $\alpha=\beta=1$, because then the distribution obviously is Normal ($\Phi^{-1}$ applied to a uniform distribution, which is what Beta$(1,1)$ is, gives a standard Normal distribution). Although it increases rapidly, it tops off at less than $0.008$--which is practically indistinguishable from zero. After that the asymptotic reciprocal decay kicks in, making the distribution ever closer to Normal as $\alpha$ increases beyond $2$.

Convergence

Suppose that $\alpha = \beta$ and let $\alpha \to \infty$ and take any small $\varepsilon > 0$. Then $var(X) \to 0$. By Chebyshev's inequality we have $\mathbb{P} [\vert X - 0.5 \vert > \varepsilon] \to 0$ and $\mathbb{P} [\vert Y \vert > \varepsilon] \to 0$. This means that $Y$ converges in probability (not in distribution actually it converges in distribution - to singleton).

Exact distribution

Denote by $f_X$ the density of beta distribution. Then your variable $Y$ has density

$$f_Y (y) = f_X ( \Phi (y) ) \phi (y).$$ Since $\Phi$ does not have a closed form I believe that this is the furthest you can get (analytically). You can try to put it into FullSimplify function in Wolfram Mathematica to see if it finds some better form.

Here is the density in R so you can plot it instead of histogram.

f_y <- function(x, alpha, beta) {
  dbeta(pnorm(x), alpha, beta) * dnorm(x)
}

Modification

However, you are maybe interested in distribution of

$$Z = \Phi^{-1} (\sqrt{\alpha} X)$$ . (still assuming $\alpha = \beta$) This may be useful because $var(\sqrt{\alpha} X) \to 1/8$ (useful because it is not zero).

Here I present a heuristic explanation (which can be made rigorous at least asymptotically). For simplicity, take $k \in \mathbb N$, $k \geq 2$. Let $X \sim \text{Beta}(k,k)$. I want to argue that $Y = \Phi^{-1}(X)$ is approximately normal.

Now let $n=2k-1$. We start by drawing $n$ i.i.d. uniformly distributed random variables $U_1, \dotsc, U_n$. Next, form the order statistics $U_{(1)} \leq \dotsc \leq U_{(n)}$.

It is well known that $U_{(k)} \sim \text{Beta}(k, n+1-k)$, thus:

$$U_{(k)} \sim \text{Beta}(k, k)$$

In other words: The sample median of $n$ i.i.d. uniformly distributed random variables is $\text{Beta}(k,k)$ distributed.

Now let's transform by $Z_i = \Phi^{-1}(U_i)$. Then by the probability integral transform, the $Z_i$ are i.i.d. normally distributed. Also form the order statistics of the $Z_i$ ($Z_{(1)} \leq \dotsc \leq Z_{(n)}$). Since $\Phi^{-1}$ is strictly increasing, it follows that:

$$\Phi^{-1}(U_{(k)}) = Z_{(k)}$$

Therefore, to show that $Y$ is approximately normal, we just have to argue that the sample median of $n$ i.i.d. normal random variables is approximately normal.

For $k$ large, this can be made precise by a central limit theorem for sample medians. For $k$ small, say $k=2$, I will let everyone's gut feeling do the speaking.

For $a \neq b$ (but not too different) one can argue similarly by using corresponding quantiles.