Die Beziehung zwischen der Gamma-Verteilung und der Normalverteilung

Ich habe kürzlich festgestellt, dass es notwendig ist, ein PDF für das Quadrat einer normalen Zufallsvariablen mit Mittelwert 0 abzuleiten. Aus irgendeinem Grund habe ich mich dafür entschieden, die Varianz vorher nicht zu normalisieren. Wenn ich das richtig gemacht habe, ist dieses PDF wie folgt:

$$N^2(x; \sigma^2) = \frac{1}{\sigma \sqrt{2 \pi} \sqrt{x}} e^{\frac{-x}{2\sigma^2}}$$

Mir ist aufgefallen, dass dies eigentlich nur eine Parametrisierung einer Gammaverteilung ist:

$$N^2(x; \sigma^2) = \operatorname{Gamma}(x; \frac{1}{2}, 2 \sigma^2)$$

Und aus der Tatsache, dass die Summe von zwei Gammas (mit demselben Skalenparameter) einem anderen Gamma entspricht, folgt, dass das Gamma der Summe der normalen Zufallsvariablen im Quadrat entspricht .$k$

$$N^2_\Sigma(x; k, \sigma^2) = \operatorname{Gamma}(x; \frac{k}{2}, 2 \sigma^2)$$

Das war ein bisschen überraschend für mich. Auch wenn ich das weiß Verteilung - eine Verteilung der Summe der quadrierten Standard normaler RVs - war ein Sonderfall des Gamma, habe ich nicht die Gamma erkennen war im Wesentlichen nur eine Verallgemeinerung für die Summe der normalen erlaubt Zufallsvariablen beliebiger Varianz. Dies führt auch zu anderen Charakterisierungen, auf die ich vorher noch nicht gestoßen bin, wie zum Beispiel, dass die Exponentialverteilung der Summe von zwei quadratischen Normalverteilungen entspricht.$\chi^2$

Das ist mir alles etwas rätselhaft. Ist die Normalverteilung grundlegend für die Ableitung der Gammaverteilung in der oben beschriebenen Weise? Die meisten Ressourcen, die ich überprüft habe, erwähnen nicht, dass die beiden Verteilungen inhärent miteinander verwandt sind, oder beschreiben sogar, wie das Gamma abgeleitet wird. Das lässt mich denken, dass eine Wahrheit auf niedrigerer Ebene vorliegt, die ich einfach auf verschlungene Weise hervorgehoben habe?

Wie Prof. Sarwates Kommentar feststellte, sind die Beziehungen zwischen Quadratnormalen und Chi-Quadrat eine sehr weit verbreitete Tatsache - ebenso wie die Tatsache, dass ein Chi-Quadrat nur ein Sonderfall der Gamma-Verteilung ist:

$$X \sim N(0,\sigma^2) \Rightarrow X^2/\sigma^2 \sim \mathcal \chi^2_1 \Rightarrow X^2 \sim \sigma^2\mathcal \chi^2_1= \text{Gamma}\left(\frac 12, 2\sigma^2\right)$$

Die letzte Gleichheit ergibt sich aus der Skalierungseigenschaft des Gamma.

Was die Beziehung zum Exponential betrifft, so führt genau genommen die Summe von zwei quadratischen Normalen mit dem Mittelwert Null, die jeweils durch die Varianz des anderen skaliert werden , zur Exponentialverteilung:

$$X_1 \sim N(0,\sigma^2_1),\;\; X_2 \sim N(0,\sigma^2_2) \Rightarrow \frac{X_1^2}{\sigma^2_1}+\frac{X_2^2}{\sigma^2_2} \sim \mathcal \chi^2_2 \Rightarrow \frac{\sigma^2_2X_1^2+ \sigma^2_1X_2^2}{\sigma^2_1\sigma^2_2} \sim \mathcal \chi^2_2$$

$$\Rightarrow \sigma^2_2X_1^2+ \sigma^2_1X_2^2 \sim \sigma^2_1\sigma^2_2\mathcal \chi^2_2 = \text{Gamma}\left(1, 2\sigma^2_1\sigma^2_2\right) = \text{Exp}( {1\over {2\sigma^2_1\sigma^2_2}})$$

Der Verdacht, dass es in der Summe zweier quadratischer Null-Mittel-Normalen "etwas Besonderes" oder "Tieferes" gibt , das "sie zu einem guten Modell für die Wartezeit macht", ist jedoch unbegründet: Was ist das Besondere an der exponentiellen Verteilung, die sie ausmacht? ist es ein gutes Modell für "Wartezeit"? Memorylessness natürlich, aber gibt es hier etwas "Tieferes" oder nur die einfache Funktionsform der Exponentialverteilungsfunktion und die Eigenschaften von ? Einzigartige Eigenschaften sind in der gesamten Mathematik verstreut und spiegeln meistens keine "tiefere Intuition" oder "Struktur" wider - sie existieren nur (zum Glück).$e$

Zweitens hat das Quadrat einer Variablen nur eine sehr geringe Beziehung zu ihrer Ebene. Betrachten Sie einfach in, sagen wir, :$f(x) = x$$[-2,\,2]$

... oder die Standardnormaldichte in Abhängigkeit von der Chi-Quadrat-Dichte grafisch darstellen: Sie reflektieren und repräsentieren völlig unterschiedliche stochastische Verhaltensweisen, auch wenn sie so eng miteinander verwandt sind, da die zweite die Dichte einer Variablen ist, die das Quadrat der ersten ist. Das Normale mag eine sehr wichtige Säule des mathematischen Systems sein, das wir zur Modellierung des stochastischen Verhaltens entwickelt haben - aber sobald Sie es quadrieren, wird es zu etwas völlig anderem.

Lassen Sie uns die gestellte Frage ansprechen: Das ist alles etwas mysteriös für mich. Ist die Normalverteilung grundlegend für die Ableitung der Gammaverteilung ...? Eigentlich kein Rätsel, es ist einfach so, dass die Normalverteilung und die Gammaverteilung Mitglieder ua der exponentiellen Verteilungsfamilie sind, wobei diese Familie durch die Fähigkeit definiert ist, zwischen Gleichungsformen durch Ersetzen von Parametern und / oder Variablen umzurechnen. Als Folge gibt es viele Conversions durch Substitution zwischen Verteilungen, ein paar von denen in der Abbildung unten zusammengefasst.

LEEMIS, Lawrence M .; Jacquelyn T. MCQUESTON (Februar 2008). "Univariate Verteilungsbeziehungen" (PDF). Amerikanischer Statistiker. 62 (1): 45–53. doi: 10.1198 / 000313008x270448 cite

Hier sind zwei Normal- und Gammaverteilungsbeziehungen im Detail (unter einer unbekannten Anzahl von anderen, wie z. B. über Chi-Quadrat und Beta).

1. Es folgt eine direktere Beziehung zwischen der Gammaverteilung (GD) und der Normalverteilung (ND) mit dem Mittelwert Null. Einfach ausgedrückt, die Form des GD wird normal, da sich sein Formparameter erhöhen kann. Zu beweisen, dass dies der Fall ist, ist schwieriger. Für die GD gilt

$$\text{GD}(z;a,b)=\begin{array}{cc} & \begin{cases} \dfrac{b^{-a} z^{a-1} e^{-\dfrac{z}{b}}}{\Gamma (a)} & z>0 \\ 0 & \text{other} \\ \end{cases} \,. \\ \end{array}$$

Wenn der GD-Formparameter , wird die GD-Form symmetrischer und normaler. Wenn sich jedoch der Mittelwert mit zunehmendem a erhöht , müssen wir die GD um ( a - 1 ) √ nach links verschieben$a\rightarrow \infty$$a$, um es stationär zu halten, und um schließlich die gleiche Standardabweichung für unser verschobenes GD beizubehalten, müssen wir den Skalenparameter (b) proportional zu√verringern$(a-1) \sqrt{\dfrac{1}{a}} k$$b$ .$\sqrt{\dfrac{1}{a}}$

Um eine GD in einen Grenzfall ND umzuwandeln, setzen wir die Standardabweichung auf eine Konstante ( ), indem wir b = $k$und verschieben Sie den GD nach links, um einen Nullmodus zu erhalten, indem Siez=(a-1)$b=\sqrt{\dfrac{1}{a}} k$Dann istGD((a-1)$z=(a-1) \sqrt{\dfrac{1}{a}} k+x\ .$

$$\text{GD}\left((a-1) \sqrt{\frac{1}{a}} k+x;\ a,\ \sqrt{\frac{1}{a}} k\right)=\begin{array}{cc} & \begin{cases} \dfrac{\left(\dfrac{k}{\sqrt{a}}\right)^{-a} e^{-\dfrac{\sqrt{a} x}{k}-a+1} \left(\dfrac{(a-1) k}{\sqrt{a}}+x\right)^{a-1}}{\Gamma (a)} & x>\dfrac{k(1-a)}{\sqrt{a}} \\ 0 & \text{other} \\ \end{cases} \\ \end{array}\,.$$

$a\rightarrow\infty$$x$$\rightarrow -\infty$$a\rightarrow \infty$

$$\lim_{a\to \infty } \, \frac{\left(\frac{k}{\sqrt{a}}\right)^{-a} e^{-\frac{\sqrt{a} x}{k}-a+1} \left(\frac{(a-1) k}{\sqrt{a}}+x\right)^{a-1}}{\Gamma (a)}=\dfrac{e^{-\dfrac{x^2}{2 k^2}}}{\sqrt{2 \pi } k}=\text{ND}\left(x;0,k^2\right)$$

$k=2$$a=1,2,4,8,16,32,64$$\text{ND}\left(x;0,\ 2^2\right)$

2. Lassen Sie uns den Punkt hervorheben, dass man aufgrund der Ähnlichkeit der Form zwischen diesen Verteilungen Beziehungen zwischen der Gamma-Verteilung und der Normalverteilung aufbauen kann, indem man sie aus der Luft zieht. Als nächstes entwickeln wir eine "entfaltete" Gammaverteilungsverallgemeinerung einer Normalverteilung.

Beachten Sie zunächst, dass es die semi-unendliche Unterstützung der Gamma-Verteilung ist, die eine direktere Beziehung zur Normalverteilung verhindert. Dieses Hindernis kann jedoch beseitigt werden, wenn man die Halbnormalverteilung betrachtet, die ebenfalls eine semi-unendliche Unterstützung aufweist. Man kann also die Normalverteilung (ND) verallgemeinern, indem man sie zunächst halbnormal faltet (HND), was die verallgemeinerte Gammaverteilung (GD) betrifft, und dann für unsere Tour de Force beide "entfalten" (HND und GD) also eine verallgemeinerte ND (eine GND) zu machen.

Die verallgemeinerte Gamma-Verteilung

$$\text{GD}\left(x;\alpha ,\beta ,\gamma ,\mu \right)=\begin{array}{cc} & \begin{cases} \dfrac{\gamma e^{-\left(\dfrac{x-\mu }{\beta }\right)^{\gamma }} \left(\dfrac{x-\mu }{\beta }\right)^{\alpha \gamma -1}}{\beta \,\Gamma (\alpha )} & x>\mu \\ 0 & \text{other} \\ \end{cases} \\ \end{array}\,,$$

Kann umparametriert werden, um die Halbnormalverteilung zu sein ,

$$\text{GD}\left(x;\frac{1}{2},\frac{\sqrt{\pi }}{\theta },2,0 \right)=\begin{array}{cc} & \begin{cases} \dfrac{2 \theta e^{-\dfrac{\theta ^2 x^2}{\pi }}}{\pi } & x>0 \\ 0 & \text{other} \\ \end{cases} \\ \end{array}\,\,\,=\text{HND}(x;\theta)$$

$\theta=\frac{\sqrt{\pi}}{\sigma\sqrt{2}}.$

$$\text{ND}\left(x;0,\sigma^2\right)=\frac{1}{2}\text{HND}(x;\theta)+\frac{1}{2}\text{HND}(-x;\theta)=\frac{1}{2}\text{GD}\left(x;\frac{1}{2},\frac{\sqrt{\pi }}{\theta },2,0 \right)+\frac{1}{2}\text{GD}\left(-x;\frac{1}{2},\frac{\sqrt{\pi }}{\theta },2,0 \right)\,,$$

was das impliziert

$$\begin{align} \text{GND}(x;\mu,\alpha,\beta) &= \frac{1}{2}\text{GD}\left(x;\frac{1}{\beta},\alpha,\beta,\mu \right)+\frac{1}{2}\text{GD}\left(-x;\frac{1}{\beta},\alpha,\beta,\mu \right)\\ &= \frac{\beta e^{-\left(\dfrac{\left|x-\mu\right|}{\alpha }\right)^{\mathrm{\Large{\beta}}}}}{2 \alpha \Gamma \left(\dfrac{1}{\beta }\right)}\\ \end{align} \,,$$

$\mu$$\alpha>0$$\beta>0$$\beta=2$$\beta=1$$\beta\rightarrow\infty$$(\mu-\alpha,\mu+\alpha)$$\alpha =\frac{\sqrt{\pi} }{2}\,,\beta=1/2,1,4$$\alpha =\frac{\sqrt{\pi} }{2},\,\beta=2$

Das Obige kann als die verallgemeinerte Normalverteilung Version 1 angesehen werden, und in verschiedenen Parametrisierungen ist es als die exponentielle Leistungsverteilung und die verallgemeinerte Fehlerverteilung bekannt, die wiederum eine von mehreren anderen verallgemeinerten Normalverteilungen sind .

Die Ableitung der Chi-Quadrat-Verteilung von der Normalverteilung ist weitgehend analog zur Ableitung der Gamma-Verteilung von der Exponentialverteilung.

Wir sollten dies verallgemeinern können:

• $X_i$$m$$Y = \sum_{i}^n {X_i}^m$$n/m$

---

Die Analogie ist wie folgt:

Normal- und Chi-Quadrat-Verteilungen beziehen sich auf die Summe der Quadrate

• $\sum x_i^2$
  $f(x_1, x_2, ... ,x_n) = \frac{\exp \left( {-0.5\sum_{i=1}^{n}{x_i}^2}\right)}{(2\pi)^{n/2}}$

• $X_i \sim N(0,1)$

  $\sum_{i=1}^n {X_i}^2 \sim \chi^2(\nu)$

Exponential- und Gamma-Verteilungen beziehen sich auf die reguläre Summe

• $\sum x_i$

  $f(x_1, x_2, ... ,x_n) = \frac{\exp \left( -\lambda\sum_{i=1}^{n}{x_i} \right)}{\lambda^{-n}}$

• $X_i \sim Exp(\lambda)$

  $\sum_{i=1}^n X_i \sim \text{Gamma}(n,\lambda)$

---

$x_1,x_2,...x_n$

$\chi^2$

$$\begin{array}{rcl} f_{\chi^2(n)}(s) ds &=& \frac{e^{-s/2}}{\left( 2\pi \right)^{n/2}} \frac{dV}{ds} ds\\ &=& \frac{e^{-s/2}}{\left( 2\pi \right)^{n/2}} \frac{\pi^{n/2}}{\Gamma(n/2)}s^{n/2-1} ds \\ &=& \frac{1}{2^{n/2}\Gamma(n/2)}s^{n/2-1}e^{-s/2} ds \\ \end{array}$$

$V(s) = \frac{\pi^{n/2}}{\Gamma (n/2+1)}s^{n/2}$$s$

Für die Gamma-Verteilung:

$$\begin{array}{rcl} f_{G(n,\lambda)}(s) ds &=& \frac{e^{-\lambda s}}{\lambda^{-n}} \frac{dV}{ds} ds\\ &=& \frac{e^{-\lambda s}}{\lambda^{-n}} n \frac{s^{n-1}}{n!}ds \\ &=& \frac{\lambda^{n}}{ \Gamma(n)} s^{n-1} e^{-\lambda s} ds \\ \end{array}$$

Where $V(s) = \frac{s^n}{n!}$ is the n-dimensional volume of a n-polytope with $\sum x_i < s$.

---

The gamma distribution can be seen as the waiting time $Y$ for the $n$-th event in a Poisson process which is the distributed as the sum of $n$ exponentially distributed variables.

As Alecos Papadopoulos already noted there is no deeper connection that makes sums of squared normal variables 'a good model for waiting time'. The gamma distribution is the distribution for a sum of generalized normal distributed variables. That is how the two come together.

But the type of sum and type of variables may be different. While the gamma distribution, when derived from the exponential distribution (p=1), gets the interpretation of the exponential distribution (waiting time), you can not go reverse and go back to a sum of squared Gaussian variables and use that same interpretation.

The density distribution for waiting time which falls of exponentially, and the density distribution for a Gaussian error falls of exponentially (with a square). That is another way to see the two connected.