Was sind iid Zufallsvariablen?

48

Wie würden Sie IID (unabhängig und identisch verteilt) nicht-technischen Personen erklären?

random-variable intuition

— user333
quelle

54

Es bedeutet "unabhängig und identisch verteilt".

Ein gutes Beispiel ist eine Reihe von Würfen einer fairen Münze: Die Münze hat kein Gedächtnis, daher sind alle Würfe "unabhängig".

Und jeder Wurf ist 50:50 (Kopf: Zahl), also ist und bleibt die Münze fair - die Verteilung, aus der sozusagen jeder Wurf gezogen wird, ist und bleibt dieselbe: "identisch verteilt".

Ein guter Ausgangspunkt wäre die Wikipedia-Seite .

::BEARBEITEN::

Folgen Sie diesem Link , um das Konzept näher kennenzulernen.

— vonjd
quelle

10

Ich frage mich, ob das Beispiel des Münzwurfs fälschlicherweise den Eindruck erwecken würde, dass jedes Ereignis gleich wahrscheinlich sein muss ...

— Michael McGowan,

1

Ist es also nicht notwendig, dass die IID-Zufallsvariablen gleich wahrscheinlich sind? wenn sie nicht gleich wahrscheinlich sind, wie kann das "identisch verteilt" erklärt werden? Vielen Dank im Voraus ...

6

@Nalini "gleich wahrscheinlich" ist kein Synonym für "identisch verteilt". Wenn und iid sind, bedeutet dies, dass sie aus derselben Verteilung stammen und nicht, dass alle Werte in dieser Verteilung gleich wahrscheinlich sind (denken Sie an die Normalverteilung). und hätten jedoch den gleichen erwarteten Wert.

x

$x$

y

$y$

x

$x$

y

$y$

— Jason Morgan

Wenn zwei Variablen unabhängig und normalverteilt sind, aber einen unterschiedlichen Mittelwert und eine unterschiedliche Varianz haben, sind sie dann immer noch gültig?

— Spurra

1

@ Spurra Ich glaube nicht .. sie sind nur unabhängig

— user3595632

22

Nichttechnische Erklärung:

Unabhängigkeit ist ein sehr allgemeiner Begriff. Zwei Ereignisse gelten als unabhängig, wenn Sie durch das Auftreten eines Ereignisses keine Informationen darüber erhalten, ob das andere Ereignis eingetreten ist oder nicht. Insbesondere die Wahrscheinlichkeit, dass wir das zweite Ereignis zuschreiben, wird durch die Kenntnis, dass das erste Ereignis eingetreten ist, nicht beeinflusst.

Beispiel für unabhängige Ereignisse, möglicherweise identisch verteilt.
Wirf zwei verschiedene Münzen nacheinander. Unter der Annahme, dass Ihr Daumen beim Umwerfen der ersten Münze nicht übermäßig müde geworden ist, kann davon ausgegangen werden, dass das Wissen, dass der erste Münzwurf zu Heads geführt hat, in keiner Weise einen Einfluss auf die Wahrscheinlichkeit hat, dass Heads beim zweiten Wurf auftreten. Die beiden Ereignisse gelten als unabhängige Ereignisse.
${first coin toss resulted in Heads} and {second coin toss resulted in Heads}$
- Wenn wir wissen oder hartnäckig darauf bestehen, dass die beiden Münzen unterschiedliche Wahrscheinlichkeiten haben, zu Köpfen zu führen, sind die Ereignisse nicht identisch verteilt.
- Wenn wir wissen oder annehmen , dass die beiden Münzen , die haben gleiche Wahrscheinlichkeit der kommenden Heads, dann werden die oben genannten Ereignisse auch identisch verteilt, was bedeutet , dass sie beide die gleiche Wahrscheinlichkeit haben von auftreten. Beachten Sie jedoch, dass die Wahrscheinlichkeit von Heads nicht gleich der Wahrscheinlichkeit von Tails ist , es sei denn, . Wie in einem der Kommentare erwähnt, ist "identische Verteilung" nicht dasselbe wie "gleich wahrscheinlich". $p$ $p$ $p = \frac 12$
Beispiel für identisch verteilte, nicht unabhängige Ereignisse Stellen
Sie sich eine Urne mit zwei Kugeln vor, einer schwarzen und einer weißen. Wir greifen hinein und ziehen die beiden Bälle nacheinander heraus, wobei wir zufällig den ersten auswählen (und dies bestimmt natürlich die Farbe des nächsten Balls). Somit sind die beiden wahrscheinlichsten Ergebnisse des Experiments (Weiß, Schwarz) und (Schwarz, Weiß), und wir sehen, dass der erste Ball mit gleicher Wahrscheinlichkeit Schwarz oder Weiß ist und der zweite Ball ebenfalls mit gleicher Wahrscheinlichkeit Schwarz oder Weiß. Mit anderen Worten, die Ereignisse sind zwar identisch verteilt, aber sie sind definitiv nicht
${first ball drawn is Black} and {second ball drawn is Black}$ $\{\text{first ball drawn is Black}\}~~\text{and}~~\{\text{second ball drawn is Black}\}$ unabhängige Veranstaltungen. Wenn wir wissen, dass das erste Ereignis eingetreten ist, wissen wir mit Sicherheit, dass das zweite Ereignis nicht eintreten kann. Während unsere anfängliche Bewertung der Wahrscheinlichkeit des zweiten Ereignisses , sollten wir, sobald wir wissen, dass das erste Ereignis eingetreten ist, unsere Einschätzung der Wahrscheinlichkeit, dass das zweite Ereignis gezogen wird, am besten von auf . $\frac 12$ $\frac 12$ $0$

— Dilip Sarwate
quelle

"Wie in einem der Kommentare erwähnt, ist" identische Verteilung "nicht dasselbe wie" gleich wahrscheinlich "." Was ist der Unterschied? "gleich wahrscheinlich" bedeutet, dass Köpfe genauso wahrscheinlich sind wie Schwänze? Während "identisch verteilt" bedeutet, dass jedes Ereignis die gleiche Wahrscheinlichkeit von Köpfen hat?

— Die rote Erbse

3

p \neq \frac{1}{2}

$p \ne \frac 12$

p

$p$

p

$p$

1 - p

$1-p$

2

n

$n$

\frac{1}{n}

$\frac 1n$

OK, also bezieht sich die identische Verteilung auf die gesamte Wahrscheinlichkeitsverteilung, wohingegen sich die gleiche Wahrscheinlichkeit auf Teile dieser Wahrscheinlichkeitsverteilung bezieht. Ich verstehe jetzt, danke.

— Die rote Erbse

Ich bin mir nicht sicher, ob das letzte Beispiel identisch verteilt ist. Könnte man argumentieren , dass „ wenn zwei Ereignisse , die nicht unabhängig sind, sie nicht aus identischen Verteilungen sein kann“? In Ihrem Beispiel würde ich beispielsweise sagen, dass die zweite Kugelzeichnung aufgrund des ersten Ereignisses eine andere Verteilung aufweist.

— Jiggunjer

2

Eine Zufallsvariable ist eine Variable, die die Wahrscheinlichkeit aller möglichen Ereignisse in einem Szenario enthält. Erstellen Sie beispielsweise eine Zufallsvariable, die die Anzahl der Köpfe in 100 Münzwürfen darstellt. Die Zufallsvariable wird die Wahrscheinlichkeit enthalten, 1 Kopf, 2 Köpfe, 3 Köpfe ... bis hin zu 100 Köpfen zu bekommen. Nennen wir diese Zufallsvariable X .

Wenn Sie zwei Zufallsvariablen haben, dann sind sie IID (unabhängig identisch verteilt), wenn:

Wenn sie unabhängig sind . Wie oben erläutert, bedeutet Unabhängigkeit, dass das Auftreten eines Ereignisses keine Informationen über das andere Ereignis liefert. Wenn ich zum Beispiel nach 100 Flips 100 Köpfe bekomme, sind die Wahrscheinlichkeiten, dass ich beim nächsten Flip Kopf oder Zahl bekomme, gleich.
Wenn jede Zufallsvariable dieselbe Verteilung hat . Zum Beispiel kann von oben den Zufallsvariable nehmen - X . Nehmen wir an, X steht für Obama, der 100 Mal eine Münze werfen will. Nehmen wir nun an, Y repräsentiert einen Priester, der 100 Mal eine Münze werfen will. Wenn Obama und der Priester Münzen mit der gleichen Wahrscheinlichkeit auf den Köpfen werfen, werden X und Y als gleich verteilt betrachtet. Wenn wir wiederholt Proben vom Priester oder von Obama nehmen, werden die Proben als identisch verteilt betrachtet.

Randnotiz: Unabhängigkeit bedeutet auch, dass Sie Wahrscheinlichkeiten multiplizieren können. Nehmen wir an, die Wahrscheinlichkeit von Köpfen ist p, dann ist die Wahrscheinlichkeit, zwei Köpfe hintereinander zu bekommen, p * p oder p ^ 2.

— thebajo
quelle

2

Dass zwei abhängige Variablen die gleiche Verteilung haben können, zeigt dieses Beispiel:

Angenommen, zwei aufeinanderfolgende Experimente mit jeweils 100 Würfen einer voreingenommenen Münze, wobei die Gesamtzahl der Köpfe als Zufallsvariable X1 für das erste Experiment und X2 für das zweite Experiment modelliert wird. X1 und X2 sind binomische Zufallsvariablen mit den Parametern 100 und p, wobei p die Vorspannung der Münze ist.
Als solche sind sie identisch verteilt. Sie sind jedoch nicht unabhängig, da der Wert des ersteren ziemlich aussagekräftig für den Wert des letzteren ist. Das heißt, wenn das Ergebnis des ersten Experiments 100 Heads ist, sagt dies viel über die Vorspannung der Münze aus und gibt uns daher viele neue Informationen bezüglich der Verteilung von X2.
X2 und X1 sind immer noch identisch verteilt, da sie von derselben Münze abgeleitet sind.

Was auch wahr ist, ist, dass, wenn 2 Zufallsvariablen abhängig sind, der hintere Teil von X2 bei gegebenem X1 niemals derselbe ist wie der vorherige Teil von X2 und umgekehrt. Während, wenn X1 und X2 unabhängig sind, sind ihre Posteriors ihren Priors gleich. Wenn also zwei Variablen abhängig sind, führt die Beobachtung einer von ihnen zu überarbeiteten Schätzungen hinsichtlich der Verteilung der zweiten. Trotzdem können beide aus derselben Distribution stammen. Wir lernen dabei lediglich mehr über die Art dieser Distribution. Wenn wir zu den Münzwurfexperimenten zurückkehren, könnten wir zunächst annehmen, dass X1 und X2 einer Binomialverteilung mit den Parametern 100 und 0,5 folgen, wenn keine Informationen vorliegen. Aber nachdem wir 100 Köpfe in einer Reihe beobachtet haben, würden wir unsere Schätzung bezüglich des p-Parameters sicherlich revidieren, um sie ziemlich nahe an 1 zu bringen.

— rf7
quelle

1

Eine Aggregation mehrerer zufälliger Ziehungen aus derselben Verteilung. Ein Beispiel ist das 10.000-fache Herausziehen eines Marmors aus dem Beutel und das Zählen der Male, die Sie den roten Marmor herausziehen.

— Caleb
quelle

1

Können Sie erläutern, wie dies zu den vorhandenen Antworten beiträgt?

— Mdewey

0

$X$ $\mu=3$ $\sigma^2=4$ $X \sim N(3 , 4)$

$Y$ $Y \sim N(3, 4)$ $X$ $Y$

Eine identische Verteilung bedeutet jedoch nicht unbedingt Unabhängigkeit.

— S Jalal
quelle

8

Wenn Sie sich auf Fachbegriffe wie "Zufallsvariable", "Normalverteilung", "PDF", "Varianz" und "Unabhängigkeit" verlassen, müssen Sie eine interessante Gruppe von "nichttechnischen Personen" berücksichtigen. Ich würde sagen, es ist das leere Set.

— whuber

" Identisch verteilt zu sein, bedeutet nicht unbedingt Unabhängigkeit ". Wie kann sich die Abhängigkeit auf zwei gleich verteilte Variablen auswirken? Es scheint mir, dass Abhängigkeit Ungleichheit verursacht, aber nicht jede Ungleichheit ist auf Abhängigkeit zurückzuführen .

— Jiggunjer