Für welche Verteilungen bedeutet Unkorrelation Unabhängigkeit?

Eine altehrwürdige Erinnerung in der Statistik ist "Unkorreliertheit bedeutet nicht Unabhängigkeit". Normalerweise wird diese Erinnerung durch die psychologisch beruhigende (und wissenschaftlich korrekte) Aussage ergänzt, "wenn die beiden Variablen dennoch gemeinsam normal verteilt sind , bedeutet Unkorrelation Unabhängigkeit".

Ich kann die Anzahl der glücklichen Ausnahmen von eins auf zwei erhöhen: Wenn zwei Variablen Bernoulli-verteilt sind, impliziert Unkorrelation Unabhängigkeit. Wenn und zwei Bermoulli rv sind, ist $X$ $Y$ , für das wir , und analog für ist ihre Kovarianz $X \sim B(q_x),\; Y \sim B(q_y)$ $P(X=1) = E(X) = q_x$ $Y$

Cov (X, Y) = E (X Y) - E (X) E (Y) = \sum_{S_{X Y}} p (x, y) x y - q_{x} q_{y}

$\operatorname{Cov}(X,Y)= E(XY) - E(X)E(Y) = \sum_{S_{XY}}p(x,y)xy - q_xq_y$

= P (X = 1, Y = 1) - q_{x} q_{y} = P (X = 1 ∣ Y = 1) P (Y = 1) - q_{x} q_{y}

$= P(X=1,Y=1) - q_xq_y = P(X=1\mid Y=1)P(Y=1)-q_xq_y$

= (P (X = 1 ∣ Y = 1) - q_{x}) q_{y}

$= \Big(P(X=1\mid Y=1)-q_x\Big)q_y$

Für die Unkorrelation benötigen wir, dass die Kovarianz Null ist

Cov (X, Y) = 0 \Rightarrow P (X = 1 ∣ Y = 1) = P (X = 1)

$\operatorname{Cov}(X,Y) = 0 \Rightarrow P(X=1\mid Y=1) = P(X=1)$

\Rightarrow P (X = 1, Y = 1) = P (X = 1) P (Y = 1)

$\Rightarrow P(X=1,Y=1) = P(X=1)P(Y=1)$

Dies ist die Bedingung, die auch erforderlich ist, damit die Variablen unabhängig sind.

Meine Frage lautet also: Kennen Sie andere Verteilungen (kontinuierlich oder diskret), für die Unkorrelation Unabhängigkeit impliziert?

Bedeutung: Nehmen Sie zwei Zufallsvariablen , die Randverteilungen haben , die zur gleichen Verteilung gehören (möglicherweise mit unterschiedlichen Werten für die beteiligten Verteilungsparameter), aber sagen wir mit der gleichen Unterstützung, z. zwei Exponentiale, zwei Dreiecke usw. Sind alle Lösungen der Gleichung so, dass sie aufgrund der Form / Eigenschaften der beteiligten Verteilungsfunktionen auch Unabhängigkeit implizieren? Dies ist der Fall bei den Normal-Rändern (auch wenn sie eine bivariate Normalverteilung haben) sowie bei den Bernoulli-Rändern - gibt es noch andere Fälle? $X,Y$ $\operatorname{Cov}(X,Y) = 0$

Die Motivation hierbei ist, dass es normalerweise einfacher ist zu überprüfen, ob die Kovarianz Null ist, als zu prüfen, ob die Unabhängigkeit gilt. Wenn Sie also angesichts der theoretischen Verteilung durch Überprüfen der Kovarianz auch die Unabhängigkeit überprüfen (wie dies beim Bernoulli oder im Normalfall der Fall ist), wäre dies eine nützliche Sache zu wissen.
Wenn wir zwei Stichproben von zwei Wohnmobilen mit normalen Rändern erhalten, wissen wir, dass wir, wenn wir statistisch aus den Stichproben schließen können, dass ihre Kovarianz Null ist, auch sagen können, dass sie unabhängig sind (aber nur, weil sie normale Ränder haben). Es wäre nützlich zu wissen, ob wir ebenfalls in Fällen schließen könnten, in denen die beiden Wohnmobile Randwerte hatten, die zu einer anderen Verteilung gehörten.

— Alecos Papadopoulos
quelle

Logischerweise gibt es hier keine Frage: Nehmen Sie ein Paar unabhängiger Variablen als Verteilung. Ob sie korreliert sind oder nicht, sie sind unabhängig von Fiat ! Sie müssen wirklich genauer sein, was Sie unter "Verteilung" verstehen und welche Arten von Antworten Sie nützlich finden.

— whuber

@whuber Ich verstehe deinen Kommentar nicht. Ich beginne mit Unkorrelation und frage: "Wenn ich beweisen kann, dass sie nicht korreliert sind, wann bedeutet dies, dass sie auch unabhängig sind?" Da die beiden in der Frage angegebenen Ergebnisse davon abhängen, ob die Wohnmobile eine bestimmte Verteilung haben (Normal oder Bernoulli), frage ich: "Gibt es eine andere bekannte Verteilung, für die diese Ergebnisse gelten, wenn die beiden Variablen folgen?"

— Alecos Papadopoulos

Nehmen Sie zwei beliebige unabhängige Variablen

und lassen Sie

ihre Verteilung sein.

ist eine gültige Antwort auf Ihre Frage. Beachten Sie, dass Sie darum bitten, eine Bedingung zu beweisen, die per Definition immer dann wahr ist, wenn die Konsequenz wahr ist, unabhängig davon, wie hoch der Wahrheitswert ihres Vorgängers sein mag. Nach den Grundregeln der Logik sind daher alle Verteilungen unabhängiger Variablen Antworten auf Ihre Frage.

X, Y

$X,Y$

F

$F$

F

$F$

— whuber

@ Whuber, du hast offensichtlich recht. Ich habe einen Text hinzugefügt, der sich auf die Motivation für diese Frage bezieht und hoffentlich meine Motivation verdeutlicht.

— Alecos Papadopoulos

Mit welchen Informationen beginnen Sie bei dieser Entscheidung? Aus der Formulierung Ihres Beispiels geht hervor, dass Sie für jede Variable das marginale PDF und die Information erhalten, dass jedes Variablenpaar nicht korreliert ist. Sie entscheiden dann, ob sie auch unabhängig sind. Ist das richtig?

— Wahrscheinlichkeitslogik

"Wenn die beiden Variablen jedoch normal verteilt sind, bedeutet Unkorrelation Unabhängigkeit", ist ein sehr häufiger Irrtum .

Dies gilt nur, wenn sie gemeinsam normal verteilt werden.

Das Gegenbeispiel, das ich am häufigsten gesehen habe, ist normales und unabhängiges Rademacher (also 1 oder -1 mit einer Wahrscheinlichkeit von jeweils 0,5); dann ist auch normal (klar unter Berücksichtigung seiner Verteilungsfunktion), (das Problem hier besteht darin, zu zeigen, z. B. indem die Erwartung an iteriert wird und festgestellt wird, dass ist $X \sim N(0,1)$ $Y$ $Z=XY$ $\operatorname{Cov}(X,Z)=0$ $\mathbb{E}(XZ)=0$ $Y$ $XZ$ $X^2$ oder mit einer Wahrscheinlichkeit von jeweils 0,5) und es ist klar, dass die Variablen abhängig sind (z. B. wenn ich kenne, dann entweder oder , also geben mir Informationen über Informationen über ). $-X^2$ $X>2$ $Z>2$ $Z<-2$ $X$ $Z$

$X$ $Y$ $F_X(x)$ $G_Y(y)$ $\alpha<1$

H_{X, Y} (x, y) = F_{X} (x) G_{Y} (y) (1 + α (1 - F_{X} (x)) (1 - F_{Y} (y)))

$H_{X,Y}(x,y)=F_X(x)G_Y(y)\left(1+\alpha\big(1-F_X(x)\big)\big(1-F_Y(y)\big)\right)$

will be a bivariate CDF. (To obtain the marginal $F_X(x)$ from $H_{X,Y}(x,y)$ take the limit as $y$ goes to infinity, where $F_Y(y)=1$ . Vice-versa for $Y$ .) Clearly by selecting different values of $\alpha$ you can obtain different joint distributions!

— Silverfish
quelle

Indeed. I forgot the "joint".

— Alecos Papadopoulos

@Alecos Since marginal distributions don't determine joint distribution in general (just edited my answer to make this clear), where does this leave your question?

— Silverfish

@Alecos I think I have a better understanding of the substance of the question now: given two marginal distributions, there is an infinite set of possible joint distributions. In what circumstances does imposing the condition of zero covariance leave us with only one of those joint distributions still possible, viz the one in which the random variables are independent?

— Silverfish

If I stick to the bivariate case, with joint MGF

M_{X, Y} (s, t)

$M_{X,Y}(s,t)$ and marginal MGFs

M_{X} (s) = M_{X, Y} (s, 0)

$M_X(s)=M_{X,Y}(s,0)$ and

M_{Y} (t) = M_{X, Y} (0, t)

$M_Y(t)=M_{X,Y}(0,t)$ , the question becomes: when does

\frac{\partial^{2}}{\partial s \partial t} M_{X, Y} (s, t) |_{s = 0, t = 0} = \frac{\partial}{\partial s} M_{X, Y} (s, t) |_{s = 0, t = 0} \cdot \frac{\partial}{\partial t} M_{X, Y} (s, t) |_{s = 0, t = 0}

$\frac{\partial^2}{\partial s \partial t}M_{X,Y}(s,t)|_{s=0,t=0} = \frac{\partial}{\partial s} M_{X,Y}(s,t)|_{s=0,t=0} \cdot \frac{\partial}{\partial t} M_{X,Y}(s,t)|_{s=0,t=0}$ imply that

M_{X, Y} (s, t) = M_{X, Y} (s, 0) \cdot M_{X, Y} (0, t)

$M_{X,Y}(s,t)=M_{X,Y}(s,0) \cdot M_{X,Y}(0,t)$ ?

— Silverfish

@Silverman I would check the concept of subindependence, en.wikipedia.org/wiki/Subindependence, to see whether this problem can be formulated in terms of moment generating functions.

— Alecos Papadopoulos