Ist es möglich, ein Paar von Gaußschen Zufallsvariablen zu haben, für die die gemeinsame Verteilung nicht Gaußsch ist?

Jemand hat mir diese Frage in einem Vorstellungsgespräch gestellt und ich habe geantwortet, dass ihre gemeinsame Verteilung immer Gaußsch ist. Ich dachte, dass ich immer einen bivariaten Gaußschen mit ihren Mitteln und Varianz und Kovarianzen schreiben kann. Ich frage mich, ob es einen Fall geben kann, bei dem die gemeinsame Wahrscheinlichkeit zweier Gaußscher nicht Gaußscher ist.

— MarkSAlen
quelle

Ein weiteres Beispiel aus Wikipedia . Wenn die Variablen unabhängig und geringfügig Gauß sind, sind sie natürlich gemeinsam Gauß.

Ein Beispiel hier wu.ece.ufl.edu/books/math/probability/jointlygaussian.pdf

— Stéphane Laurent

Antworten:

138

Die bivariate Normalverteilung ist die Ausnahme , nicht die Regel!

Es ist wichtig zu erkennen, dass "fast alle" gemeinsamen Verteilungen mit normalen Rändern nicht die bivariate Normalverteilung sind. Das heißt, die verbreitete Ansicht, dass gemeinsame Verteilungen mit normalen Rändern, die nicht die bivariaten Normalen sind, irgendwie "pathologisch" sind, ist ein bisschen falsch.

Zweifellos ist die multivariate Normale aufgrund ihrer Stabilität bei linearen Transformationen äußerst wichtig und erhält daher die Hauptaufmerksamkeit bei Anwendungen.

Beispiele

Es ist nützlich, mit einigen Beispielen zu beginnen. Die folgende Abbildung enthält Heatmaps von sechs bivariaten Verteilungen, die alle normale Standardränder haben. Die linken und mittleren in der oberen Reihe sind bivariate Normalen, die übrigen nicht (wie ersichtlich sein sollte). Sie werden weiter unten beschrieben.

Beispiele für die bivariate Verteilung mit normalen Standardrändern.

Die nackten Knochen der Copulas

Abhängigkeitseigenschaften werden oft effizient mit Hilfe von Copulas analysiert . Eine bivariate Copula ist nur ein ausgefallener Name für eine Wahrscheinlichkeitsverteilung auf dem Einheitsquadrat mit einheitlichen Rändern. $[0,1]^2$

Angenommen, ist eine bivariate Copula. Dann wissen wir unmittelbar aus dem Obigen, dass , und sind. $C(u,v)$ $C(u,v) \geq 0$ $C(u,1) = u$ $C(1,v) = v$

Wir können bivariate Zufallsvariablen auf der euklidischen Ebene mit vorgegebenen Randbedingungen durch einfache Transformation einer bivariaten Copula konstruieren . Sei und vorgeschriebene Randverteilungen für ein Paar von Zufallsvariablen . Wenn eine bivariate Kopula ist, ist eine bivariate Verteilungsfunktion mit den Rändern und . Um diese letzte Tatsache zu sehen, beachten Sie einfach, dass Das gleiche Argument gilt für . $F_1$ $F_2$ $(X,Y)$ $C(u,v)$

F (x, y) = C (F_{1} (x), F_{2} (y))

$F(x,y) = C(F_1(x), F_2(y))$

F_{1}

$F_1$

F_{2}

$F_2$

P (X \leq x) = P (X \leq x, Y < \infty) = C (F_{1} (x), F_{2} (\infty)) = C (F_{1} (x), 1) = F_{1} (x) .

$\renewcommand{\Pr}{\mathbb P} \Pr(X \leq x) = \Pr(X \leq x, Y < \infty) = C(F_1(x), F_2(\infty)) = C(F_1(x),1) = F_1(x) \>.$

F_{2}

$F_2$

Für die kontinuierliche und , Sklar Theorem behauptet eine Umkehrung impliziert Eindeutigkeit. Das heißt, bei einer bivariaten Verteilung mit kontinuierlichen Rändern , ist die entsprechende Kopula eindeutig (auf dem geeigneten Bereichsraum). $F_1$ $F_2$ $F(x,y)$ $F_1$ $F_2$

Das bivariate Normal ist außergewöhnlich

Der Satz von Sklar besagt (im Wesentlichen), dass es nur eine Copula gibt, die die bivariate Normalverteilung erzeugt. Dies ist, treffend benannt, die Gaußsche Kopula, die eine Dichte von wobei der Zähler die bivariate Normalverteilung mit der Korrelation die bei und ausgewertet wird . $[0,1]^2$

c_{ρ} (u, v) := \frac{\partial^{2}}{\partial u \partial v} C_{ρ} (u, v) = \frac{φ_{2, ρ} (Φ^{- 1} (u), Φ^{- 1} (v))}{φ (Φ^{- 1} (u)) φ (Φ^{- 1} (v))},

$c_\rho(u,v) := \frac{\partial^2}{\partial u \partial v} C_\rho(u,v) = \frac{\varphi_{2,\rho}(\Phi^{-1}(u),\Phi^{-1}(v))}{\varphi(\Phi^{-1}(u)) \varphi(\Phi^{-1}(v))} \>,$

ρ

$\rho$

Φ^{- 1} (u)

$\Phi^{-1}(u)$

Φ^{- 1} (v)

$\Phi^{-1}(v)$

Es gibt jedoch viele andere Copulas, und alle von ihnen ergeben eine bivariate Verteilung mit normalen Rändern, die nicht die bivariate Normalverteilung ist, wenn die im vorherigen Abschnitt beschriebene Transformation verwendet wird.

Einige Details zu den Beispielen

Es ist zu beachten, dass, wenn eine willkürliche Kopula mit der Dichte , die entsprechende bivariate Dichte mit normalen Standardrandwerten unter der Transformation ist $C(u,v)$ $c(u,v)$ $F(x,y) = C(\Phi(x),\Phi(y))$

f (x, y) = φ (x) φ (y) c (Φ (x), Φ (y)) .

$f(x,y) = \varphi(x) \varphi(y) c(\Phi(x), \Phi(y)) \> .$

Beachten Sie, dass durch Anwenden der Gaußschen Kopula in der obigen Gleichung die bivariate Normaldichte wiederhergestellt wird. Aber für jede andere Wahl von werden wir nicht. $c(u,v)$

Die Beispiele in der Abbildung sind wie folgt aufgebaut (jeweils eine Spalte pro Zeile):

Bivariate Normalität mit unabhängigen Komponenten.
Bivariate Normalität mit . $\rho = -0.4$
Das Beispiel in dieser Antwort von Dilip Sarwate . Es kann leicht gesehen werden, dass es durch die Kopula mit der Dichte induziert wird . $C(u,v)$ $c(u,v) = 2 (\mathbf 1_{(0 \leq u \leq 1/2, 0 \leq v \leq 1/2)} + \mathbf 1_{(1/2 < u \leq 1, 1/2 < v \leq 1)})$
Wird aus der Frank-Copula mit dem Parameter generiert . $\theta = 2$
Wird aus der Clayton-Copula mit dem Parameter generiert . $\theta = 1$
Erzeugt aus einer asymmetrischen Modifikation der Clayton-Copula mit dem Parameter . $\theta = 3$

— Kardinal
quelle

+1 für die Bemerkung, dass die bivariate Normaldichte der Ausnahmefall ist!

— Dilip Sarwate

Vielleicht fehlt mir etwas, aber wenn wir von , wird die Gelenkverteilung automatisch definiert, unabhängig von einer Kopulakonstruktion. Gaußsche Kopula-Konstruktion zu ihren CDFs, es ist wahr, dass wir eine nicht-Gaußsche CDF , aber diese Funktion wird im Allgemeinen nicht die CDF des Paares von Zufallsvariablen wir begonnen haben, richtig ?

X_{1}, X_{2} \sim N (0, 1)

$X_1, X_2\sim\mathcal N(0,1)$

(X_{1}, X_{2})

$(X_1, X_2)$

F (x_{1}, x_{2})

$F(x_1,x_2)$

X_{,} X_{2}

$X_, X_2$

— RandomGuy

Beispiel für die Simulation im unteren rechten Bereich: library(copula) kcf <- khoudrajiCopula(copula2 = claytonCopula(6), shapes = fixParam(c(.4, 1), c(FALSE, TRUE))) # force normal margins evil <- mvdc(kcf, c("norm", "norm"), list(list(mean = 0, sd =1), list(mean = 0, sd = 1))) contour(evil, dMvdc, xlim = c(-3, 3), ylim=c(-3, 3))

— Half-Pass

@RandomGuy, Sie vermissen eine unausgesprochene Annahme, dass . Wenn Sie davon ausgehen, dass sie unabhängig sind, kennen Sie die gemeinsame Verteilung bereits. Ohne die Unabhängigkeitsannahme liefert die Kenntnis der Randverteilungen nicht genügend Informationen, um die gemeinsame Verteilung zu spezifizieren.

X_{1}, X_{2} \sim i n d e p e n d e n t N (0, 1)

$X_1, X_2 \sim independent N(0, 1)$

— MentatOfDune

Es ist wahr, dass jedes Element eines multivariaten Normalvektors selbst normalverteilt ist und Sie ihre Mittelwerte und Varianzen ableiten können. Es ist jedoch nicht wahr, dass zwei beliebige Guassianische Zufallsvariablen gemeinsam normalverteilt sind. Hier ist ein Beispiel:

Bearbeiten: Als Reaktion auf den Konsens, dass eine Zufallsvariable, die eine Punktmasse ist, als normalverteilte Variable mit , ändere ich mein Beispiel. $\sigma^2=0$

Sei und sei wobei eine Zufallsvariable ist. Das heißt, jeweils mit der Wahrscheinlichkeit . $X \sim N(0,1)$ $Y = X \cdot (2B-1)$ $B$ ${\rm Bernoulli}(1/2)$ $Y = \pm X$ $1/2$

Wir zeigen zunächst, dass eine Standardnormalverteilung hat. $Y$ Durch das Gesetz der Gesamtwahrscheinlichkeit ,

P (Y \leq y) = \frac{1}{2} (P (Y \leq y | B = 1) + P (Y \leq y | B = 0))

$P(Y \leq y) = \frac{1}{2} \Big( P(Y \leq y | B = 1) + P(Y \leq y | B = 0) \Big)$

Nächster,

P (Y \leq y | B = 0) = P (- X \leq y) = 1 - P (X \leq - y) = 1 - Φ (- y) = Φ (y)

$P(Y \leq y | B = 0) = P(-X \leq y) = 1-P(X \leq -y) = 1-\Phi(-y) = \Phi(y)$

Wobei die normale Standard-CDF ist . Ähnlich, $\Phi$

P (Y \leq y | B = 1) = P (X \leq y) = Φ (y)

$P(Y \leq y | B = 1) = P(X \leq y) = \Phi(y)$

Deshalb,

P (Y \leq y) = \frac{1}{2} (Φ (y) + Φ (y)) = Φ (y)

$P(Y \leq y) = \frac{1}{2} \Big( \Phi(y) + \Phi(y) \Big) = \Phi(y)$

so wird die CDF von ist , wodurch . $Y$ $\Phi(\cdot)$ $Y \sim N(0,1)$

Nun zeigen wir, dass nicht gemeinsam normalverteilt sind. $X,Y$ Wie @ cardinal hervorhebt, ist eine Charakterisierung der multivariaten Normalen, dass jede Linearkombination ihrer Elemente normalverteilt ist. haben diese Eigenschaft nicht, da $X,Y$

Y + X = {\begin{cases} 2 X & if B = 1 \\ 0 & if B = 0. \end{cases}

$Y+X = \begin{cases} 2X &\mbox{if } B = 1 \\ 0 & \mbox{if } B = 0. \end{cases}$

Daher ist eine Mischung aus einer Zufallsvariablen und einer Punktmasse bei 0, daher kann es nicht normal verteilt werden. $Y+X$ $50/50$ $N(0,4)$

— Makro
quelle

Ich stimme dieser Antwort nicht zu. Eine entartete Punktmasse von at wird normalerweise als entartete Gaußsche Zufallsvariable mit Nullvarianz betrachtet. Auch sind nicht gemeinsam stetig, obwohl sie geringfügig stetig sind. Ein Beispiel für zwei gemeinsam stetige Zufallsvariablen, die geringfügig gaußsch, aber nicht gemeinsam gaußsch sind, finden Sie in der zweiten Hälfte dieser Antwort .

1

$1$

μ

$\mu$

(X, - X)

$(X, -X)$

— Dilip Sarwate

@DilipSarwate, die Frage war, ein Beispiel (falls vorhanden) für zwei Variablen anzugeben, die normal verteilt sind, deren gemeinsame Verteilung jedoch keine multivariate Normalverteilung ist. Dies ist ein Beispiel. Die meisten Standarddefinitionen der Normalverteilung (z. B. wikipedia de.wikipedia.org/wiki/Normal_distribution ) erfordern, dass die Varianz streng positiv ist und daher keine Punktmasse als Teil der Familie der Normalverteilungen enthält.

— Makro

Eine Standardcharakterisierung des multivariaten Gaußschen ist, dass genau dann multivariat ist, wenn für alle ist . Wie @ Dilip andeutet, lohnt es sich zu überlegen, ob dies für Ihr Beispiel zutrifft.

X \in R^{n}

$X \in \mathbb R^{n}$

a^{T} X

$a^T X$

a \in R^{n}

$a \in \mathbb R^n$

— Kardinal

Da du anscheinend keine Appelle an die Vernunft magst ;-), wie wäre es mit Appellen an die Autorität? (Das ist ein Witz, wenn es nicht offensichtlich ist.) Ich bin nur zufällig darauf gestoßen, als ich etwas anderes nachgeschlagen habe: Beispiel 2.4 , Seite 22 von GAF Seber und AJ Lee, Linear Regression Analysis , 2nd. Hrsg., Wiley. Es zitiert: "Sei und setze ... Somit hat eine multivariate Normalverteilung."

Y \sim N (μ, σ^{2})

$Y \sim \mathcal N(\mu,\sigma^2)$

Y^{'} = (Y, - Y)

$\mathbf Y' = (Y, -Y)$

Y

$\mathbf Y$

— Kardinal

In der Diskussion geht es um Definitionen. Wenn die Kovarianzmatrix per Definition ein nicht singuläres Makro sein muss, ist dies ein Beispiel, aber dies ist kein Beispiel gemäß der liberaleren Definition, auf die sich auch @cardinal bezieht. Ein guter Grund, die liberalere Definition zu bevorzugen, ist, dass dann alle linearen Transformationen normaler Variablen normal sind. Insbesondere bei linearer Regression mit Normalfehlern haben die Residuen eine gemeinsame Normalverteilung, aber die Kovarianzmatrix ist singulär.

— NRH

Der folgende Beitrag enthält eine Übersicht über einen Beweis, nur um die wichtigsten Ideen zu erläutern und Ihnen den Einstieg zu erleichtern.

Lassen zwei unabhängige Gauß'sche Zufallsvariablen und lassen sein $z = (Z_1, Z_2)$ $x = (X_1, X_2)$

x = (\begin{matrix} X_{1} \\ X_{2} \end{matrix}) = (\begin{matrix} α_{11} Z_{1} + α_{12} Z_{2} \\ α_{21} Z_{1} + α_{22} Z_{2} \end{matrix}) = (\begin{matrix} α_{11} & α_{12} \\ α_{21} & α_{22} \end{matrix}) (\begin{matrix} Z_{1} \\ Z_{2} \end{matrix}) = A z .

$x = \begin{pmatrix} X_1 \\ X_2 \end{pmatrix} = \begin{pmatrix} \alpha_{11} Z_1 + \alpha_{12} Z_2\\ \alpha_{21} Z_1 + \alpha_{22} Z_2 \end{pmatrix} = \begin{pmatrix} \alpha_{11} & \alpha_{12}\\ \alpha_{21} & \alpha_{22} \end{pmatrix} \begin{pmatrix} Z_1 \\ Z_2 \end{pmatrix} = A z.$

Jedes , aber da beide lineare Kombinationen derselben unabhängigen r.vs sind, sind sie gemeinsam abhängig. $X_i \sim N(\mu_i, \sigma_i^2)$

Definition Ein Paar r.vs wird gesagt, daß bivariate normal verteilt iff es als Linearkombination geschrieben werden kann unabhängiger normalen r.vs . $x = (X_1, X_2)$ $x = Az$ $z = (Z_1, Z_2)$

Lemma Wenn ein bivariater Gaußscher ist, ist jede andere lineare Kombination von ihnen wiederum eine normale Zufallsvariable. $x = (X_1, X_2)$

Beweis . Trivial, übersprungen, um niemanden zu beleidigen.

Eigenschaft Wenn sind, sind sie unabhängig und umgekehrt. $X_1, X_2$

Verteilung von $X_1 | X_2$

Angenommen, sind die gleichen Gaußschen r.vs wie zuvor, aber der Einfachheit halber haben sie eine positive Varianz und einen Mittelwert von Null. $X_1, X_2$

Wenn der von überspannte Unterraum ist , lassen Sie und . $\mathbf S$ $X_2$ $X_1^{\mathbf S} = \frac{\rho \sigma_{X_1}}{\sigma_{X_2}} X_2$ $X_1^{\mathbf S^\perp} = X_1 - X_1^{\mathbf S}$

$X_1$ und sind Linearkombinationen von , also auch . Sie sind gemeinsam Gauß, unkorreliert (beweisen Sie es) und unabhängig. $X_2$ $z$ $X_2, X_1^{\mathbf S^\perp}$

Die Zerlegung gilt mit

X_{1} = X_{1}^{S} + X_{1}^{S^{⊥}}

$X_1 = X_1^{\mathbf S} + X_1^{\mathbf S^\perp}$

E [X_{1} | X_{2}] = \frac{ρ σ_{X_{1}}}{σ_{X_{2}}} X_{2} = X_{1}^{S}

$\mathbf{E}[X_1 | X_2] = \frac{\rho \sigma_{X_1}}{\sigma_{X_2}} X_2 = X_1^{\mathbf S}$

\begin{aligned} V [X_{1} | X_{2}] & = V [X_{1}^{S^{⊥}}] \\ = E {[X_{1} - \frac{ρ σ_{X_{1}}}{σ_{X_{2}}} X_{2}]}^{2} \\ = (1 - ρ)^{2} σ_{X_{1}}^{2} . \end{aligned}

$\begin{split} \mathbf{V}[X_1 | X_2] &= \mathbf{V}[X_1^{\mathbf S^\perp}] \\ &= \mathbf{E} \left[ X_1 - \frac{\rho \sigma_{X_1}}{\sigma_{X_2}} X_2 \right]^2 \\ &= (1 - \rho)^2 \sigma^2_{X_1}. \end{split}$

Dann

X_{1} | X_{2} \sim N (X_{1}^{S}, (1 - ρ)^{2} σ_{X_{1}}^{2}) .

$X_1 | X_2 \sim N\left( X_1^{\mathbf S}, (1 - \rho)^2 \sigma^2_{X_1} \right).$

Zwei univariate Gaußsche Zufallsvariablen sind gemeinsam Gaußsch, wenn die Bedingungen und sind ebenfalls Gauß. $X, Y$ $X | Y$ $Y|X$

— Nebenkosten
quelle

Es ist nicht ersichtlich, wie diese Beobachtung die Frage beantwortet. Da es sich bei der Produktregel praktisch um die Definition der bedingten Verteilung handelt, handelt es sich nicht um eine Besonderheit bei Binormalverteilungen. Die nachfolgende Aussage "then in order ..." liefert keinen Grund: Warum müssen die bedingten Verteilungen auch normal sein?

— whuber

Überhaupt beantworte ich die Hauptfrage: "Ich frage mich, ob es einen Fall geben kann, für den die gemeinsame Wahrscheinlichkeit von zwei Gaußschen nicht Gaußsch ist." Die Antwort lautet also: Wenn die Bedingung nicht normal ist. - Ancillary

— Neben

Könnten Sie diese Demonstration abschließen? Im Moment ist es nur eine Behauptung von Ihrer Seite, ohne Beweise. Es ist überhaupt nicht offensichtlich, dass es richtig ist. Es ist auch unvollständig, weil Sie die Existenz begründen müssen: Das heißt, Sie müssen nachweisen, dass es tatsächlich möglich ist, dass eine gemeinsame Verteilung normale Ränder hat, für die jedoch mindestens eine Bedingung nicht normal ist. Tatsächlich ist das trivial wahr, denn Sie können jede bedingte Verteilung eines Binormalen auf einer Menge von Maß Null frei ändern, ohne seine Ränder zu ändern - aber diese Möglichkeit scheint Ihren Behauptungen zu widersprechen.

— whuber

Hallo @whuber, ich hoffe das hilft mehr. Haben Sie Vorschläge oder Änderungen zu erledigen? Ich habe das sehr schnell geschrieben, da ich im Moment nicht viel Freizeit habe :-), aber ich würde jeden Vorschlag oder jede Verbesserung schätzen, die Sie machen können. Beste

— Neben

(1) Was versuchst du zu beweisen? (2) Da sich die Frage stellt, wann eine Verteilung mit Gaußschen Rändern nicht gemeinsam Gaußsch ist, sehe ich nicht, wie dieses Argument zu irgendetwas Relevantem führt.

— Whuber