Kann jemand helfen, den Unterschied zwischen unabhängig und zufällig zu erklären?

21

Beschreiben unabhängig und zufällig in der Statistik die gleichen Merkmale? Was ist der Unterschied zwischen ihnen? Wir stoßen oft auf die Beschreibung "zwei unabhängige Zufallsvariablen" oder "Zufallsstichproben". Ich frage mich, was genau der Unterschied zwischen ihnen ist. Kann jemand dies erklären und einige Beispiele geben? Zum Beispiel nicht unabhängiger, aber zufälliger Prozess?

distributions sampling randomness

— Tiantianchen
quelle

Hier werden zwei unterschiedliche (auf einer nicht sehr tiefen Ebene) Konzepte zusammengeführt. "Unabhängig" im Sinne unabhängig erzeugter Beobachtungen und "unabhängiger Variablen" bezüglich ihrer Verteilungen.

— TTNPHNS

3

Dies ist eine seltsame Frage, denn wenn Sie formale Definitionen von "Zufallsvariablen" und "unabhängig" heranziehen würden - was "in Statistiken" nahezulegen scheint - würden Sie feststellen, dass sie wenig gemeinsam haben.

— Whuber

@ttnphns, Ja, ich glaube, ich war mehr verwirrt über den Begriff "unabhängig generierte Beobachtungen" mit "zufällig generiert". Beim Sampling hören wir oft (einfache) Zufallsstichproben, wodurch ich mich wie unabhängige Samples fühle. Ich denke, wenn wir beide Eigenschaften bei der Beschreibung einer Stichprobenmethode wirklich kombinieren wollen, sollte es sein: Die Auswahl der Beobachtungen ist nicht voneinander abhängig (= unabhängig) und die Wahrscheinlichkeit der Auswahl einer Beobachtung ist bekannt (= zufällig).

— Tiantianchen

1

Wenn wir die Definition der Unabhängigkeit vom Wiki überprüfen: "In der Wahrscheinlichkeitstheorie sind zwei Ereignisse unabhängig, statistisch unabhängig oder stochastisch unabhängig, wenn das Auftreten eines Ereignisses die Wahrscheinlichkeit des anderen nicht beeinflusst.", Sollte die Abhängigkeit zweier Beobachtungen zugrunde gelegt werden auf, wie sie generiert / ausgewählt werden, anstatt wie sie in den Daten aussehen. Dann sollten die beiden identischen Beobachtungen in dem oben erwähnten Fall immer noch unabhängig sein.

— Tiantianchen

2

Bitte verwechseln Sie die heuristische Erklärung zu Beginn eines Wikipedia-Eintrags nicht mit einer Definition. Die Definition finden Sie im selben Artikel unter der Überschrift "Definition" . Dies ist die Antwort, die Tim hier gegeben hat.

— Whuber

35

Ich werde versuchen, es in nicht-technischen Begriffen zu erklären: Eine Zufallsvariable beschreibt das Ergebnis eines Experiments; Sie können nicht im Voraus wissen, wie das genaue Ergebnis aussehen wird, aber Sie haben einige Informationen: Sie wissen, welche Ergebnisse möglich sind, und Sie wissen für jedes Ergebnis, mit welcher Wahrscheinlichkeit.

Wenn Sie zum Beispiel eine faire Münze werfen, wissen Sie nicht im Voraus, ob Sie Kopf oder Schwanz bekommen, aber Sie wissen, dass dies die möglichen Ergebnisse sind und dass jedes 50% Eintrittswahrscheinlichkeit hat.

Um die Unabhängigkeit zu erklären, muss man zwei schöne Münzen werfen. Nachdem Sie die erste Münze geworfen haben, wissen Sie, dass für den zweiten Wurf die Wahrscheinlichkeit des Kopfes immer noch 50% und für den Schwanz ebenfalls 50% beträgt. Wenn der erste Wurf keinen Einfluss auf die Wahrscheinlichkeiten des zweiten hat, sind beide Würfe unabhängig. Wenn der erste Wurf einen Einfluss auf die Wahrscheinlichkeiten des zweiten Wurfs hat, sind sie abhängig.

Ein Beispiel für abhängige Würfe ist das Zusammenkleben der beiden Münzen.

3

Ein weiteres Paar abhängiger Variablen wäre "ob Sie Köpfe haben" und "ob Sie Schwänze haben". Beide sind zufällig, aber nicht unabhängig voneinander.

— user253751

3

@immibis Oder wirf einen fairen Würfel, schreibe den Wert auf. dann noch einmal rollen und den Wert mit dem notierten Wert multiplizieren. Dieser Wert ist zufällig, hängt jedoch vom ersten Wurf ab.

— Crowley

8

Zufällige bezieht sich auf Zufallsvariable und unabhängig bezieht sich auf Wahrscheinlichkeits Unabhängigkeit. Mit Unabhängigkeit meinen wir, dass die Beobachtung einer Variablen nichts über die andere aussagt, oder formeller ausgedrückt, wenn und zwei Zufallsvariablen sind, dann sagen wir, dass sie unabhängig sind, wenn $X$ $Y$

p_{X, Y} (x, y) = p_{X} (x) p_{Y} (y)

$p_{X,Y}(x, y) = p_X(x)\,p_Y(y)$

Außerdem

E (X Y) = E (X) E (Y)

$E(XY) = E(X)E(Y)$

und ihre Kovarianz ist Null. Die Zufallsvariable ist abhängig von wenn sie als Funktion von $Y$ $X$ $X$

Y = f (X)

$Y = f(X)$

Also in diesem Fall ist zufällig und abhängig auf . $Y$ $X$

Prozess "nicht unabhängig" zu nennen, ist ziemlich irreführend - unabhängig von was? Ich vermute, Sie meinten, dass es einige unabhängige und identisch verteilte Zufallsvariablen gibt (überprüfen Sie hier oder hier ), die von einem Prozess stammen. Mit unabhängig meinen wir hier, dass sie unabhängig voneinander sind. Es gibt Prozesse, die abhängige Zufallsvariablen erzeugen, z $X_1,\dots,X_k$

X_{ich} = X_{ich - 1} + ε

$X_i = X_{i-1} + \varepsilon$

wobei ein zufälliges Rauschen ist. In einem solchen Fall ist natürlich abhängig von , aber es ist auch zufällig. $\varepsilon$ $X_i$ $X_{i-1}$

— Tim
quelle

Was bedeutet

, wenn X eine Zufallsvariable ist? Ich denke, Sie verwechseln Wohnmobile und Ereignisse: Zwei Wohnmobile X und Y sind unabhängig, wenn die Ereignisse

und

für alle r, s unabhängig sind

P (X)

$P(X)$

P (X \leq r)

$P(X\leq r)$

P (Y \leq s)

$P(Y\leq s)$

— Matthew Towers

Dann sind zwei beliebige kontinuierliche Zufallsvariablen unabhängig.

— Matthew Towers

@m_t_ Ich glaube wirklich nicht, dass eine Diskussion der Notation irgendwo hinführt (siehe zB en.wikipedia.org/wiki/… )

— Tim

1

@m_t_ das spaltet Haare, siehe stats.stackexchange.com/questions/16321/… oder math.ucsd.edu/~napkaria/crypto/handouts/IndepDepRV.pdf

— Tim

2

@tiantianchen umgekehrt: Wenn Sie zufällige Variablen haben, können Sie eine Wahrscheinlichkeitsfunktion erstellen, indem Sie die einzelnen PDFs multiplizieren, da sie unabhängig sind.

— Tim

1

Variablen werden in allen Bereichen der Mathematik verwendet. Die Definitionen für Unabhängigkeit und Zufälligkeit einer Variablen gelten einseitig für alle Formen der Mathematik, nicht nur für die Statistik.

Beispielsweise stellen die X- und Y-Achsen in der zweidimensionalen euklidischen Geometrie unabhängige Variablen dar, deren Werte werden jedoch (normalerweise) nicht zufällig zugewiesen.

Zwei gegebene Variablen können zufällig oder unabhängig (voneinander) oder beide oder keine sein. Die Statistik konzentriert sich in der Regel auf die Zufälligkeit (genauer gesagt auf die Wahrscheinlichkeit). Ob zwei Variablen unabhängig sind oder nicht, kann viele Auswirkungen auf die Wahrscheinlichkeiten der beobachteten Ergebnisse haben.

Beim Studium der Statistik werden diese beiden Eigenschaften (Unabhängigkeit und Zufälligkeit) in der Regel zusammen beschrieben, da beide wichtig zu wissen sind und die Antwort auf die jeweilige Frage beeinflussen können. Diese Eigenschaften sind jedoch kein Synonym und treten in anderen Bereichen der Mathematik nicht unbedingt zusammen auf.

— Steve-O
quelle

Vielen Dank. Können Sie näher erläutern, "ob zwei Variablen unabhängig sind, kann viele Auswirkungen auf die Wahrscheinlichkeiten der beobachteten Ergebnisse haben."

— Tiantianchen

3

Dies ist eine nicht statistische Antwort, die einen anderen Sinn für "unabhängig" anspricht als die in der Frage verwendete. Es verwechselt auch zwei Sinne von "Variable": der eine ist der mathematische und der andere die statistische Definition einer Zufallsvariablen (die definitiv nicht mit Variablen auf geometrischen Achsen identisch ist).

— whuber

1

Der Begriff der Unabhängigkeit ist relativ, während Sie selbst zufällig sein können. In Ihrem Beispiel haben Sie "zwei unabhängige Zufallsvariablen" und müssen nicht über mehrere "Zufallsstichproben" sprechen.

$6,5,3,5, 4\ldots$ $6\to1$ $3\to4$ $1,2,4,2, 3\ldots$ $3$

Wenn man zwei Würfel parallel wirft (ohne Wechselwirkungen zwischen ihnen), sind ihre jeweiligen Sequenzen zufällig und unabhängig.

— Laurent Duval
quelle

1

Dies mag in Anbetracht der Ebene des OP ein wenig technisch sein, aber in Bezug auf Ihre Aussage "Sie können nicht (von etwas) allein (als Prozess, als Sequenz) unabhängig sein" ist Folgendes zu beachten: Jede Zufallsvariable X, die einer Konstanten c entspricht mit der Wahrscheinlichkeit ist man unabhängig von "allem", einschließlich sich selbst. Dh für ein solches X ist X unabhängig von X. Sie können dies leicht anhand der Definition der Unabhängigkeit überprüfen.

— Mark L. Stone

X

$X$

X

$X$

X

$X$

X ist unabhängig von sich. Dh, X ist unabhängig von X.

— Mark L. Stone

0

Wenn Sie ein Wertepaar haben, bei dem der erste zufällig generiert wird und der zweite von dem ersten abhängig ist. zB Größe und Gewicht eines Mannes. Es besteht eine Korrelation zwischen ihnen. Aber sie sind beide zufällig.

— Scarabeus
quelle

Obwohl in diesem Beitrag die Wörter "zufällig" und "abhängig" verwendet werden, werden sie weder definiert noch klar voneinander unterschieden. In der Tat scheint es nahezulegen, dass "zufällig = abhängig"!

— Whuber

0

Das Münzbeispiel ist ein gutes Beispiel für eine zufällige und unabhängige Variable. Eine gute Möglichkeit, sich eine zufällige, aber abhängige Variable vorzustellen, ist die nächste Karte, die aus einem Schuh mit sieben Kartenspielen gezogen wird, die Wahrscheinlichkeit eines bestimmten numerischen Ergebnisses Änderungen in Abhängigkeit von den zuvor ausgegebenen Karten, aber bis nur noch ein Kartenwert im Schuh vorhanden ist, bleibt der Wert der nächsten Karte zufällig.

— Phantombread
quelle

3

Wahrscheinlich lohnt es sich, das Wort "Wahrscheinlichkeit" durch "Wahrscheinlichkeit" zu ersetzen, da die Wahrscheinlichkeit eine eigene technische Definition in der Statistik hat

— Silverfish

1

Eine Wahrscheinlichkeit, die von anderen Ereignissen abhängt (häufig von früheren Ereignissen, manchmal aber auch von der Kenntnis zukünftiger oder gleichzeitiger Ereignisse - es gibt tatsächlich keine zeitliche Richtung dafür), wird als bedingte Wahrscheinlichkeit bezeichnet. Das Wort Wahrscheinlichkeit wird verwendet, um sich auf eine Art "Wahrscheinlichkeit in umgekehrter Richtung" (oder im kontinuierlichen Fall auf eine Wahrscheinlichkeitsdichte) zu beziehen, dh, man berechnet die Wahrscheinlichkeit eines Ergebnisses (z. B. Ihrer Daten), das von Ihren Modellparametern abhängig ist ), aber wenn wir anders herum denken, ist es die Wahrscheinlichkeit dieses Parameters, wenn Ihre Daten vorliegen .

— Silverfish

1

Wenn Sie die Wahrscheinlichkeit eines Parameters nicht berechnen, ist es am besten, das Wort "Wahrscheinlichkeit" in der Statistik zu vermeiden, auch wenn man im normalen Englisch "Wahrscheinlichkeit" als Synonym für die Wahrscheinlichkeit eines Ereignisses verwenden würde (z. B. "Rolling Ten Sixes In") Eine Reihe in einem Würfelspiel hat eine sehr geringe Wahrscheinlichkeit "ist gut für umgangssprachliches Englisch, verwendet das Wort jedoch statistisch nicht korrekt). "Lassen

π

$π$ ein Parameter sein, der die Wahrscheinlichkeit angibt, dass ein vorgespannter Würfel eine Sechs würfelt; Berechnen Sie die Wahrscheinlichkeit, dass

π = 1 / 6

$π=1/6$ vorausgesetzt, dass zehn Würfe alle sechs waren "ist statistisch korrekt, aber Jargony

— Silverfish

-1

David Bohm beschreibt in seiner Arbeit Kausalität und Zufall in der modernen Physik (London: Routledge, 1957/1984) Kausalität, Zufall, Zufälligkeit und Unabhängigkeit:

"In der Natur bleibt nichts konstant. Alles ist in einem fortwährenden Zustand der Transformation, Bewegung und Veränderung. Wir entdecken jedoch, dass nichts einfach aus dem Nichts aufsteigt, ohne vorher existierende Vorboten zu haben. Ebenso verschwindet nichts jemals spurlos das Gefühl, dass es zu absolut nichts führt, was zu einem späteren Zeitpunkt existiert .... alles kommt von anderen Dingen und führt zu anderen Dingen. Dieses Prinzip ist noch keine Aussage über die Existenz von Kausalität in der Natur. Der nächste Schritt ist dann festzustellen, dass wir bei der Untersuchung von Prozessen, die unter einer Vielzahl von Bedingungen ablaufen, feststellen, dass in der Komplexität von Veränderung und Transformation Beziehungen bestehendas bleiben effektiv konstant. .... An dieser Stelle stoßen wir jedoch auf ein neues Problem. Denn die Notwendigkeit eines Kausalgesetzes ist niemals absolut. Wir sehen also, dass man sich das Naturgesetz nur dann als notwendig vorstellen muss, wenn man von Eventualitäten abstrahiert , die im Wesentlichen unabhängige Faktoren darstellen, die außerhalb des Geltungsbereichs von Dingen existieren können, die von den betrachteten Gesetzen behandelt werden können und die nicht notwendigerweise folgen von allem, was im Rahmen dieser Gesetze festgelegt werden kann. Solche Eventualitäten führen zum Zufall . "(S.1-2)

"Die Tendenz, dass Eventualitäten, die außerhalb eines gegebenen Kontexts liegen, unabhängig von Ereignissen innerhalb dieses Kontexts schwanken, hat sich als so weit verbreitet erwiesen, dass man sie als Prinzip ausdrücken kann, nämlich als Prinzip der Zufälligkeit. Mit Zufälligkeit meinen wir nur, dass diese Unabhängigkeit führt die Schwankung dieser Eventualitäten auf sehr komplizierte Weise über einen weiten Bereich von Möglichkeiten hinweg, jedoch so, dass statistische Durchschnitte ein regelmäßiges und annähernd vorhersehbares Verhalten aufweisen. " (S.22)

— noumenal
quelle

3

Ihre Definition von "zufällig" scheint ungewöhnlich. Es scheint eng mit den Begriffen "Vorhersehbarkeit" und "Muster" verbunden zu sein - aber was genau bedeuten diese? Zum Beispiel, wenn ein Experiment, das möglicherweise eine beliebige Anzahl zwischen ergeben könnte

0

$0$ und

1

$1$ wurden konsistent beobachtet, um Werte von entweder zu ergeben

1 / 3

$1/3$ oder

4 / 7

$4/7$ , das scheint ein "Muster" zu sein und ist - soweit es von der ursprünglichen unendlichen Menge möglicher Werte abweicht - zumindest teilweise "vorhersehbar". Wenn Sie "wenn Sie zeichnen ..." schreiben, scheinen Sie zu behaupten, dass keine univariate Variable zufällig sein kann!

— Whuber

3

Sie scheinen eher über stochastische Prozesse (in der Zeit) als über Zufälligkeiten und Zufallsvariablen zu sprechen.

— Whuber

4

Ich glaube, ein Teil der Schwierigkeit, die wir bei der Kommunikation haben, besteht darin, dass Sie anscheinend von "unabhängig" im Sinne einer unabhängigen Variablen in der Regression denken . Obwohl einige Elemente der Frage dies nahelegen könnten, weisen die Ausdrücke "zwei unabhängige Zufallsvariablen" und "Zufallsstichprobe" auf etwas anderes hin.

— Whuber

1

Ich kann nicht einmal sagen, was Ihr Verständnis ist, weil Ihre Antwort keine Definitionen enthält. Ich muss raten, was Sie aus den Beispielen und Beschreibungen, die Sie geben, zu sagen versuchen. Sie scheinen sich von den Sinnen von "zufällig" und "unabhängig" zu unterscheiden, wie ich es in früheren Kommentaren beschrieben habe.

— Whuber

1

Ich möchte zu @whuber-Kommentaren hinzufügen, dass Ihre Definition, in der zufällige Variablen erwähnt werden, die sich gegenseitig beeinflussen , irreführend sein kann. "Einfluss" ist ein sehr starker Begriff, der irgendeine Art von Kausalität usw. impliziert, während die formale Definition von Unabhängigkeit keine Kausalität oder Einfluss erfordert, sondern sich lediglich auf Beziehungen zwischen gemeinsamen und individuellen Wahrscheinlichkeiten bezieht.

— Tim