Klarstellung zur Interpretation von Konfidenzintervallen?

Mein gegenwärtiges Verständnis des Begriffs "Konfidenzintervall mit Konfidenzniveau $1 - \alpha$ " ist, dass, wenn wir das Konfidenzintervall mehrmals (jedes Mal mit einer neuen Stichprobe) berechnen würden, es den korrekten Parameter $1 - \alpha$ der Zeit enthalten würde.

Obwohl mir klar ist, dass dies nicht mit der Wahrscheinlichkeit übereinstimmt, dass der wahre Parameter in diesem Intervall liegt, möchte ich etwas klarstellen.

[Hauptaktualisierung]

Bevor wir ein 95% -Konfidenzintervall berechnen, besteht eine Wahrscheinlichkeit von 95%, dass das von uns berechnete Intervall den wahren Parameter abdeckt. Nachdem wir das Konfidenzintervall berechnet und ein bestimmtes Intervall $[a,b]$ , können wir dies nicht mehr sagen. Wir können nicht einmal eine Art nicht-frequentistisches Argument vorbringen, dass wir zu 95% sicher sind, dass der wahre Parameter in $[a,b]$ ; Wenn wir könnten, würde dies Gegenbeispielen wie diesem widersprechen: Was genau ist ein Konfidenzintervall?

Ich möchte dies nicht zu einer Debatte über die Wahrscheinlichkeitsphilosophie machen. Stattdessen suche ich nach einer präzisen mathematischen Erklärung, wie und warum das Sehen des bestimmten Intervalls $[a,b]$ die Wahrscheinlichkeit von 95% ändert (oder nicht ändert), die wir hatten, bevor wir dieses Intervall sahen. Wenn Sie behaupten, dass "nach dem Betrachten des Intervalls der Begriff der Wahrscheinlichkeit keinen Sinn mehr ergibt ", dann lassen Sie uns gut daran arbeiten, die Wahrscheinlichkeit so zu interpretieren, dass sie Sinn ergibt .

Etwas präziser:

Angenommen, wir programmieren einen Computer, um ein Konfidenzintervall von 95% zu berechnen. Der Computer gibt Zahlen ein, berechnet ein Intervall und zeigt mir das Intervall erst an, wenn ich ein Passwort eingebe. Wie hoch ist die Wahrscheinlichkeit, dass das Intervall den wahren Parameter enthält, bevor ich das Kennwort eingegeben und das Intervall gesehen habe (aber nachdem der Computer es bereits berechnet hat)? Es sind 95%, und dieser Teil steht nicht zur Debatte : Dies ist die Interpretation der Wahrscheinlichkeit, die mich für diese bestimmte Frage interessiert (mir ist klar, dass es wichtige philosophische Probleme gibt, die ich unterdrücke, und dies ist beabsichtigt).

Aber sobald ich das Passwort eingebe und der Computer mir das berechnete Intervall anzeigt, kann sich die Wahrscheinlichkeit (dass das Intervall den wahren Parameter enthält) ändern. Jede Behauptung, dass sich diese Wahrscheinlichkeit niemals ändert, würde dem obigen Gegenbeispiel widersprechen. In diesem Gegenbeispiel könnte sich die Wahrscheinlichkeit von 50% auf 100% ändern, aber ...

• Gibt es Beispiele, bei denen sich die Wahrscheinlichkeit auf etwas anderes als 100% oder 0% ändert (EDIT: und wenn ja, welche)?

• Gibt es Beispiele, bei denen sich die Wahrscheinlichkeit nach dem Anzeigen des bestimmten Intervalls nicht ändert $[a,b]$(dh die Wahrscheinlichkeit, dass der wahre Parameter in $[a,b]$ liegt , beträgt immer noch 95%)?

• Wie (und warum) ändert sich die Wahrscheinlichkeit im Allgemeinen, nachdem der Computer ausgespuckt hat ?$[a,b]$

[Bearbeiten]

Vielen Dank für die tollen Antworten und hilfreichen Diskussionen!

Meines Erachtens besteht das grundlegende Problem darin, dass die Frequentist-Statistik nur eine Wahrscheinlichkeit für etwas zuordnen kann, das eine langfristige Häufigkeit aufweist. Ob der wahre Wert eines Parameters in einem bestimmten Intervall liegt oder nicht, hat keine langfristige Häufigkeit, da wir das Experiment nur einmal durchführen können, sodass Sie ihm keine frequentistische Wahrscheinlichkeit zuweisen können. Das Problem ergibt sich aus der Definition einer Wahrscheinlichkeit. Wenn Sie die Definition einer Wahrscheinlichkeit in eine Bayes'sche umwandeln, verschwindet das Problem augenblicklich, da Sie nicht mehr an die Diskussion langfristiger Häufigkeiten gebunden sind.

Sehen Sie meinen (eher TOUNGE in Wange) Antwort auf eine ähnliche Frage hier :

" Ein Frequentist ist jemand, der glaubt, dass Wahrscheinlichkeiten langfristige Häufigkeiten darstellen, mit denen Ereignisse auftreten. Falls erforderlich, wird er eine fiktive Population erfinden, aus der Ihre besondere Situation als Zufallsstichprobe betrachtet werden könnte, damit er sinnvoll über langfristige Häufigkeiten sprechen kann. Wenn Wenn Sie ihm eine Frage zu einer bestimmten Situation stellen, gibt er keine direkte Antwort, sondern macht eine Aussage zu dieser (möglicherweise imaginären) Population. "

Im Fall eines Konfidenzintervalls lautet die Frage, die wir normalerweise stellen möchten (es sei denn, wir haben ein Problem bei der Qualitätskontrolle): "Geben Sie bei diesem Datenmuster das kleinste Intervall zurück, das mit Wahrscheinlichkeit den wahren Wert des Parameters enthält X". Ein Frequentist kann dies jedoch nicht tun, da das Experiment nur einmal durchgeführt wird und es daher keine Langzeitfrequenzen gibt, mit denen eine Wahrscheinlichkeit zugewiesen werden kann. Stattdessen muss der Frequentist eine Population von Experimenten erfinden (die Sie nicht durchgeführt haben), von denen das Experiment, das Sie durchgeführt haben, als Zufallsstichprobe betrachtet werden kann. Der Frequentist gibt Ihnen dann eher eine indirekte Antwort auf diese fiktive Population von Experimenten als eine direkte Antwort auf die Frage, die Sie wirklich zu einem bestimmten Experiment stellen wollten.

Grundsätzlich handelt es sich um ein Sprachproblem. Die häufigste Definition einer Population erlaubt einfach keine Diskussion der Wahrscheinlichkeit, dass der wahre Wert eines Parameters in einem bestimmten Intervall liegt. Das bedeutet nicht, dass frequentistische Statistiken schlecht oder nicht nützlich sind, aber es ist wichtig, die Einschränkungen zu kennen.

In Bezug auf das Hauptupdate

Ich bin nicht sicher, ob wir sagen können: "Bevor wir ein 95% -Konfidenzintervall berechnen, besteht eine 95% ige Wahrscheinlichkeit, dass das von uns berechnete Intervall den wahren Parameter abdeckt." in einem frequentistischen Rahmen. Es gibt hier eine implizite Folgerung, dass die Langzeitfrequenz, mit der der wahre Wert des Parameters in Konfidenzintervallen liegt, die durch ein bestimmtes Verfahren konstruiert wurden, auch die Wahrscheinlichkeit ist, dass der wahre Wert des Parameters im Konfidenzintervall für die bestimmte Stichprobe liegt von Daten, die wir verwenden werden. Dies ist eine durchaus vernünftige Folgerung, aber es handelt sich nicht um eine häufig auftretende, sondern um eine bayesianische Folgerung, da die Wahrscheinlichkeit, dass der wahre Wert des Parameters in dem Konfidenzintervall liegt, das wir für eine bestimmte Stichprobe von Daten konstruieren, keine langfristige Häufigkeit hat Wir haben nur eine Stichprobe von Daten.

Wir können jedoch "eine Art nicht-frequentistisches Argument vorbringen, dass wir zu 95% sicher sind, dass der wahre Parameter in [a, b] liegt", genau das ist ein Bayes'sches glaubwürdiges Intervall und für viele Probleme das Bayes'sche glaubwürdige Intervall genau fällt mit dem frequentistischen Vertrauensbereich zusammen.

"Ich möchte dies nicht zu einer Debatte über die Wahrscheinlichkeitsphilosophie machen", was leider unvermeidlich ist. Der Grund, warum Sie keine frequentistische Wahrscheinlichkeit zuweisen können, ob der wahre Wert der Statistik im Konfidenzintervall liegt, ist eine direkte Konsequenz der frequentistischen Wahrscheinlichkeitsphilosophie. Frequentisten können nur Dingen Wahrscheinlichkeiten zuweisen, die auf lange Sicht häufig vorkommen, so definieren Frequentisten Wahrscheinlichkeiten in ihrer Philosophie. Das macht die frequentistische Philosophie nicht falsch, aber es ist wichtig, die durch die Definition einer Wahrscheinlichkeit auferlegten Grenzen zu verstehen.

"Bevor ich das Passwort eingegeben und das Intervall gesehen habe (aber nachdem der Computer es bereits berechnet hat), wie hoch ist die Wahrscheinlichkeit, dass das Intervall den wahren Parameter enthält? Es ist 95%, und dieser Teil steht nicht zur Debatte:" Dies ist falsch, oder zumindest bei der Abgabe einer solchen Aussage haben Sie den Rahmen der frequentistischen Statistik verlassen und eine bayesianische Folgerung getroffen, die ein gewisses Maß an Plausibilität in der Wahrheit einer Aussage und nicht in einer langfristigen Häufigkeit beinhaltet. Wie ich bereits sagte, handelt es sich jedoch um eine völlig vernünftige und natürliche Folgerung.

Vor oder nach der Eingabe des Passworts hat sich nichts geändert, da keinem anderen Ereignis eine frequentistische Wahrscheinlichkeit zugeordnet werden kann. Frequentistische Statistiken können eher kontraintuitiv sein, da wir häufig Fragen zum Plausibilitätsgrad von Aussagen zu bestimmten Ereignissen stellen möchten. Dies liegt jedoch außerhalb des Aufgabenbereichs der frequentistischen Statistik und ist der Grund für die meisten Fehlinterpretationen von frequentistischen Verfahren.

Großes Update, große neue Antwort. Lassen Sie mich versuchen, diesen Punkt klar anzusprechen, denn hier liegt das Problem:

"Wenn Sie argumentieren, dass" nach dem Betrachten des Intervalls der Begriff der Wahrscheinlichkeit keinen Sinn mehr ergibt ", dann lassen Sie uns in einer Interpretation der Wahrscheinlichkeit arbeiten, in der es Sinn ergibt."

Die Wahrscheinlichkeitsregeln ändern sich nicht, Ihr Modell für das Universum jedoch. Sind Sie bereit, Ihre früheren Überzeugungen über einen Parameter mithilfe einer Wahrscheinlichkeitsverteilung zu quantifizieren? Ist es sinnvoll, diese Wahrscheinlichkeitsverteilung nach dem Anzeigen der Daten zu aktualisieren? Wenn Sie das glauben, können Sie Aussagen wie treffen . Meine vorherige Verteilung kann meine Unsicherheit über den wahren Zustand der Natur darstellen , nicht nur Zufälligkeit$P(\theta\in [L(X), U(X)]| X=x)$wie es allgemein verstanden wird - das heißt, wenn ich der Anzahl der roten Bälle in einer Urne eine vorherige Verteilung zuordne, heißt das nicht, dass die Anzahl der roten Bälle zufällig ist. Es ist behoben, aber ich bin mir nicht sicher.

Einige Leute, einschließlich ich, haben das gesagt, aber wenn Sie nicht gewillt sind, eine Zufallsvariable zu nennen , dann die Aussage P ( θ ∈ [ L ( X $\theta$ nicht aussagekräftig. Wenn ich ein Frequentist bin, behandle ich θ als feste Größe UND ich kann ihr keine Wahrscheinlichkeitsverteilung zuschreiben. Warum? Weil es feststeht und meine Interpretation der Wahrscheinlichkeit langfristige Frequenzen betrifft. Die Anzahl der roten Kugeln in der Urne ändert sich nie. θ ist was$P(\theta\in [L(X), U(X)]| X=x)$$\theta$$\theta$$\theta$ist. Wenn ich ein paar Bälle herausziehe, habe ich eine zufällige Stichprobe. Ich kann fragen , was passieren würde , wenn ich ein paar Stichproben nehme - das heißt, kann ich darüber reden , , weil das Intervall auf der Probe abhängt, das ist (warte darauf!) zufällig.$P(\theta\in [L(X), U(X)])$

Aber das willst du nicht. Sie wollen - wie hoch ist die Wahrscheinlichkeit, dass dieses Intervall, das ich mit meiner beobachteten (und jetzt festen) Stichprobe erstellt habe, den Parameter enthält. Sobald Sie jedoch auf X = konditioniert haben$P(\theta\in [L(X), U(X)]| X=x)$ dann zu mir, ein frequentistischen, gibt es nichts zufällig links und die Aussage P ( & thgr; & egr ; [ L ( X ) , U ( X ) ] $X=x$ ergibt keinen Sinn.$P(\theta\in [L(X), U(X)]| X=x)$

Der einzige prinzipielle Weg (IMO), um eine Aussage über ist unsere Unsicherheit über einen Parameter mit einer (vor) Wahrscheinlichkeitsverteilung und Aktualisierung zu quantifizierendass Verteilung mit neuen Informationen über Bayes Theorem. Jeder andere Ansatz, den ich gesehen habe, ist eine matte Annäherung an Bayes. Sie können es sicherlich nicht aus einer frequentistischen Perspektive tun.$P(\theta\in [L(X), U(X)]| X=x)$

Das soll nicht heißen, dass Sie traditionelle frequentistische Verfahren nicht aus einer Bayes-Perspektive bewerten können (häufig sind Konfidenzintervalle nur glaubwürdige Intervalle unter einheitlichen Prioritäten) oder dass die Bewertung von Bayes-Schätzern / glaubwürdigen Intervallen aus einer frequentistischen Perspektive nicht wertvoll ist (Ich denke es kann sein). Es ist nicht zu sagen, dass die klassische / frequentistische Statistik nutzlos ist, weil sie es nicht ist. Es ist, was es ist, und wir sollten nicht versuchen, es mehr zu machen.

Halten Sie es für sinnvoll, einem Parameter eine vorherige Verteilung zu geben, um Ihre Überzeugungen über das Universum darzustellen? Es klingt wie aus Ihren Kommentaren, die Sie tun; Meiner Erfahrung nach stimmen die meisten zu (das ist der kleine Witz, den ich in meinem Kommentar zu @G. Jay Kerns 'Antwort gemacht habe). Wenn ja, bietet das Bayes'sche Paradigma eine logische, kohärente Möglichkeit, Aussagen über . Der frequentistische Ansatz tut dies einfach nicht.$P(\theta\in [L(X), U(X)]| X=x)$

OK, jetzt redest du! Ich habe dafür gestimmt, meine vorherige Antwort zu löschen, da diese wichtige aktualisierte Frage keinen Sinn ergibt.

In dieser neuen, aktualisierten Frage mit einem Computer, der 95% -Konfidenzintervalle gemäß der orthodoxen, frequentistischen Interpretation berechnet, finden Sie die Antworten auf Ihre Fragen:

1. Nein.
2. Nein.
3. Sobald das Intervall eingehalten wird, ist es nicht mehr zufällig und ändert sich nicht. (Vielleicht war das Intervall .) Aber θ ändert sich auch nicht und hat sich nie geändert. (Vielleicht ist es θ = 7. ) Die Wahrscheinlichkeit ändert sich von 95% auf 0%, da 95% der Intervalle, die der Computer berechnet, die Abdeckung 7 nicht abdecken, aber 100% der Intervalle [ 1 , 3 ] die Abdeckung 7 NICHT abdecken.$[1,3]$$\theta$$\theta = 7$$[1,3]$

(Übrigens weiß der Experimentator in der realen Welt nie, dass , was bedeutet, dass der Experimentator nie wissen kann, ob die wahre Wahrscheinlichkeit [ 1 , 3 ] für θ null oder eins ist. (S) Er kann nur das sagen es muss der eine oder andere sein.) Außerdem kann der Experimentator sagen, dass 95% der Intervalle des Computers θ abdecken , aber das wussten wir bereits.$\theta = 7$$[1,3]$$\theta$$\theta$

Der Geist Ihrer Frage verweist immer wieder auf das Wissen des Beobachters und darauf, wie sich dies auf die Position von bezieht . Das (vermutlich) ist , warum Sie über das Passwort gesprochen haben, über den Computer das Intervall Berechnung ohne es noch zu sehen, etc . Ich habe in Ihren Kommentaren zu den Antworten gesehen, dass es unbefriedigend / unangemessen erscheint, sich auf 0 oder 1 festlegen zu müssen, schließlich, warum konnten wir nicht glauben, dass es 87% sind oder$\theta$ oder sogar 99% ?? ? Aber genau das ist die Kraft - und gleichzeitig die Achillesferse - des frequentistischen Rahmens: Das subjektive Wissen / der subjektive Glaube des Betrachters ist irrelevant. Alles, was zählt, ist eine langfristige relative Häufigkeit. Nicht mehr, nicht weniger.$15/16$

Übrigens: Wenn Sie Ihre Interpretation der Wahrscheinlichkeit ändern (was Sie ursprünglich für diese Frage nicht gewählt haben), lauten die neuen Antworten:

1. Ja.
2. Ja.
3. Die Wahrscheinlichkeit ändert sich, weil sich die Wahrscheinlichkeit = subjektives Wissen oder der Grad des Glaubens und das Wissen des Beobachters geändert haben. Wir repräsentieren Wissen mit früheren / späteren Verteilungen, und sobald neue Informationen verfügbar werden, wandelt sich das erstere in das letztere um (über die Bayes-Regel).

(Aber für die vollständige Offenlegung stimmt das von Ihnen beschriebene Setup nicht sehr gut mit der subjektiven Interpretation überein. Zum Beispiel haben wir normalerweise ein glaubwürdiges Intervall von 95%, bevor wir den Computer überhaupt einschalten, dann starten wir es und setzen den Computer ein, um zu geben wir haben ein 95% posterior glaubwürdiges Intervall, das normalerweise wesentlich dünner ist als das vorherige.)

Ich werde meine zwei Cent einwerfen (vielleicht einige der früheren Antworten verdauen). Für einen Frequentisten ist das Konfidenzintervall selbst im Wesentlichen eine zweidimensionale Zufallsvariable: if Sie das Experiment millionenfach wiederholen würden, würde sich das Konfidenzintervall, das Sie schätzen würden (dh aus Ihren neu gefundenen Daten jedes Mal berechnen), jedes Mal unterscheiden . Daher sind die beiden Grenzen des Intervalls Zufallsvariablen.

Ein 95% -KI bedeutet also nichts anderes als die Gewissheit (vorausgesetzt, alle Ihre Annahmen, die zu diesem KI führen, sind korrekt), dass dieser Satz von Zufallsvariablen in 95% der Fälle den wahren Wert (einen sehr häufig vorkommenden Ausdruck) enthält.

Sie können das Konfidenzintervall für den Mittelwert von 100 Ziehungen leicht aus einer Standardnormalverteilung berechnen. Wenn Sie dann 10000 mal 100 Werte aus dieser Standardnormalverteilung zeichnen und jedes Mal das Konfidenzintervall für den Mittelwert berechnen, werden Sie in der Tat feststellen, dass 0 ungefähr 9500 Mal vorhanden ist.

Die Tatsache , dass Sie haben ein Konfidenzintervall nur einmal erstellt (von Ihrem eigentlichen Daten) verringert sich zwar die Wahrscheinlichkeit der wahre Wert in sein , dass Intervall entweder 0 oder 1, aber nicht die Wahrscheinlichkeit des Konfidenzintervalls als Änderung Zufallsvariable, die den wahren Wert enthält.

Unterm Strich: Die Wahrscheinlichkeit, dass ein 95% -Konfidenzintervall (dh im Durchschnitt) den wahren Wert enthält (95%), ändert sich nicht, und die Wahrscheinlichkeit, dass ein bestimmtes Intervall (CI oder was auch immer) den wahren Wert enthält, ändert sich auch nicht (0 oder 1). Die Wahrscheinlichkeit des Intervalls, das der Computer kennt, aber Sie nicht kennen, ist 0 oder 1 (da es sich um ein bestimmtes Intervall handelt), aber da Sie es nicht kennen (und häufig nicht in der Lage sind, dasselbe Intervall neu zu berechnen) Wieder unendlich oft von denselben Daten), alles, was Sie tun müssen, ist die Wahrscheinlichkeit eines Intervalls.

Der Grund dafür, dass das Konfidenzintervall nicht angibt, mit welcher Wahrscheinlichkeit der wahre Parameter im Intervall liegt, liegt darin, dass der Parameter nach Angabe des Intervalls entweder darin liegt oder nicht. Bei einem Konfidenzintervall von 95% besteht jedoch eine Wahrscheinlichkeit von 95%, dass ein Konfidenzintervall erstellt wird, das den Wert enthält. Dies ist ein ziemlich schwer zu verstehendes Konzept, weshalb ich es möglicherweise nicht gut artikulieren kann. Weitere Informationen finden Sie unter http://frank.itlab.us/datamodel/node39.html .

Ich glaube nicht, dass ein Frequentist sagen kann, dass es eine Wahrscheinlichkeit dafür gibt, dass der wahre (Populations-) Wert einer Statistik für eine bestimmte Stichprobe im Vertrauensbereich liegt. Dies ist entweder der Fall oder nicht, es gibt jedoch keine langfristige Häufigkeit für ein bestimmtes Ereignis, sondern nur die Anzahl der Ereignisse, die Sie durch wiederholte Ausführung eines statistischen Verfahrens erhalten würden. Aus diesem Grund müssen wir uns an Aussagen wie "95% der so konstruierten Konfidenzintervalle enthalten den wahren Wert der Statistik" halten, aber nicht "es besteht eine prozentuale Wahrscheinlichkeit, dass der wahre Wert in dem für dieses bestimmte Konfidenzintervall berechneten liegt Stichprobe". Dies gilt für jeden Wert von p, es ist einfach nicht möglich, mit der frequentistischen Definition, was eine Wahrscheinlichkeit tatsächlich ist. Ein Bayesianer kann eine solche Aussage in einem glaubwürdigen Intervall treffen.

Die Art und Weise, wie Sie das Problem darstellen, ist ein wenig durcheinander. Nehmen Sie diese Aussage: Sei das Ereignis, dass der wahre Parameter in das Intervall [ a , b ] fällt$E$$[a,b]$ . Diese Aussage ist aus häufigem Blickwinkel bedeutungslos; Der Parameter ist der Parameter und fällt nirgendwo hin, es ist einfach so. P (E) ist bedeutungslos, P (E | C) ist bedeutungslos und deshalb fällt Ihr Beispiel auseinander. Das Problem hängt auch nicht von einer Menge von Maß Null ab. Das Problem ist, dass Sie versuchen, Wahrscheinlichkeitsaussagen über etwas zu machen, das keine Zufallsvariable ist.

Ein Frequentist würde etwa sagen: Sei das Ereignis, dass das Intervall ( L ( X ) , U $\tilde E$ den wahren Parameter enthält. Dies ist etwas, dem ein Frequentist eine Wahrscheinlichkeit zuweisen kann.$(L(X), U(X))$

Bearbeiten: @G. Jay Kerns macht das Argument besser als ich und tippt schneller, also wahrscheinlich einfach weiter :)

In der Frequenzstatistik ist das Ereignis fest - der Parameter liegt entweder in [ a , b ] oder nicht. Somit,$E$$[a, b]$ unabhängig von C und C ' und somit sind sowohl P ( E | C ) = P ( E ) als auch P ( E | C ' ) = P ( $E$$C$$C'$$P(E|C) = P(E)$ .$P(E|C') = P(E)$

(In Ihrem Argument scheinen Sie zu denken, dass und P ( E | C ′ ) = 0 ist , was falsch ist.)$P(E|C) = 1$$P(E|C') = 0$

Es gibt hier so viele lange Erklärungen, dass ich keine Zeit habe, sie zu lesen. Aber ich denke, die Antwort auf die Grundfrage kann kurz und bündig sein. Es ist der Unterschied zwischen einer Wahrscheinlichkeit, die von den Daten nicht abhängig ist. Die Wahrscheinlichkeit von 1-Alpha vor dem Sammeln der Daten ist die Wahrscheinlichkeit, dass die genau definierte Prozedur den Parameter enthält. Nachdem Sie die Daten gesammelt haben und das Intervall kennen, das Sie generiert haben, ist das Intervall fest. Da der Parameter eine Konstante ist, ist diese bedingte Wahrscheinlichkeit entweder 0 oder 1. Da wir jedoch den tatsächlichen Wert des Parameters nicht einmal kennen, ist die Wahrscheinlichkeit gleich Nach dem Sammeln der Daten wissen wir nicht, um welchen Wert es sich handelt.

Erweiterung des Beitrags durch Michael Chernick kopierte Formularkommentare:

Es gibt eine pathologische Ausnahme, die man als perfekte Schätzung bezeichnen kann. Angenommen, wir haben einen autoregressiven Prozess erster Ordnung, gegeben durch X (n) = pX (n-1) + en. Es ist stationär, sodass wir wissen, dass p nicht 1 oder -1 ist und der absolute Wert <1 ist. Nun sind die en unabhängig gleichverteilt mit einer gemischten Verteilung, es gibt eine positive Wahrscheinlichkeit q, dass en = 0 ist

Es gibt eine pathologische Ausnahme, die als perfekte Schätzung bezeichnet werden kann. Angenommen, wir haben einen autoregressiven Prozess erster Ordnung, gegeben durch X (n) = pX (n-1) + en. Es ist stationär, sodass wir wissen, dass p nicht 1 oder -1 ist und der absolute Wert <1 ist.

Nun sind die en unabhängig gleichverteilt mit einer gemischten Verteilung. Es gibt eine positive Wahrscheinlichkeit q, dass en = 0 und mit der Wahrscheinlichkeit 1-q eine absolut kontinuierliche Verteilung (sagen wir, dass die Dichte in einem von 0 abgegrenzten Intervall ungleich Null ist) Sammeln Sie Daten aus der Zeitreihe nacheinander und schätzen Sie p für jedes aufeinanderfolgende Wertepaar durch X (i) / X (i-1). Wenn nun ei = 0 ist, ist das Verhältnis genau gleich p.

Weil q größer als 0 ist, wird das Verhältnis irgendwann einen Wert wiederholen und dieser Wert muss der genaue Wert des Parameters p sein, denn wenn es nicht der Wert von ei ist, der nicht 0 ist, wird er mit der Wahrscheinlichkeit 0 und ei / x (i -1) wird nicht wiederholt.

Die sequentielle Stopp-Regel lautet also, zu probieren, bis sich das Verhältnis genau wiederholt, und dann den wiederholten Wert als Schätzung von p zu verwenden. Da p genau jedes Intervall ist, das Sie auf diese Schätzung zentrieren, besteht die Wahrscheinlichkeit, dass 1 den wahren Parameter enthält. Obwohl dies ein pathologisches Beispiel ist, das nicht praktikabel ist, existieren stationäre stochastische Prozesse mit den Eigenschaften, die wir für die Fehlerverteilung benötigen

Zwei Beobachtungen über die vielen Fragen und Antworten, die noch helfen können.

Ein Teil der Verwirrung rührt daher, dass wir eine tiefere Mathematik der Wahrscheinlichkeitstheorie beschönigt haben, die übrigens erst in den 1940er Jahren auf einem festen mathematischen Fundament stand. Es wird untersucht, was Abtasträume, Wahrscheinlichkeitsräume usw. ausmacht.

Zuerst hatten Sie festgestellt, dass wir nach einem Münzwurf wissen, dass es mit einer Wahrscheinlichkeit von 0% nicht zu Schwänzen gekommen ist, wenn Köpfe aufgekommen sind. An diesem Punkt ist es nicht sinnvoll, über Wahrscheinlichkeit zu sprechen. Was passiert ist, ist passiert, und wir wissen es. Bei der Wahrscheinlichkeit geht es um das Unbekannte in der Zukunft, nicht um das Bekannte in der Gegenwart.

Als kleine Konsequenz dessen, was Nullwahrscheinlichkeit wirklich bedeutet, betrachten wir Folgendes: Wir gehen davon aus, dass eine faire Zählung eine Wahrscheinlichkeit von 0,5 für das Auftauchen von Köpfen und 0,5 für das Auftauchen von Schwänzen hat. Dies bedeutet, dass es eine 100% ige Chance gibt, Kopf oder Zahl zu erreichen, da diese Ergebnisse MECE sind (sich gegenseitig ausschließend und vollständig erschöpfend). Es hat jedoch eine Null-Prozent-Änderung beim Zusammensetzen von Kopf und Zahl : Unsere Vorstellung von "Kopf" und "Zahl" ist, dass sie sich gegenseitig ausschließen. Dies hat also eine Null-Prozent-Chance, weil es unmöglich ist, wie wir es uns vorstellen (oder definieren), eine Münze zu werfen. Und es ist unmöglich, vor und nach dem Wurf.

Als weitere Folge davon ist alles möglich, was per Definition nicht unmöglich ist möglich. In der realen Welt hasse ich es, wenn Anwälte fragen: "Ist es nicht möglich, dass Sie dieses Dokument unterschrieben und vergessen haben?" weil die Antwort aufgrund der Art der Frage immer "Ja" lautet. In diesem Fall lautet die Antwort auch "Ja" auf die Frage "War es nicht möglich, dass Sie durch die Dematerialisierung zum Planeten Remulak 4 transportiert und gezwungen wurden, etwas zu tun, das dann ohne Erinnerung zurücktransportiert wurde?". Die Wahrscheinlichkeit mag sehr gering sein - aber was nicht unmöglich ist, ist möglich. In unserem regulären Konzept der Wahrscheinlichkeit, wenn wir über das Werfen einer Münze sprechen, können Köpfe auftauchen; es kann Schwänze kommen; und es kann sogar endständig stehen oder (irgendwie, als ob wir uns in ein Raumschiff geschlichen hätten, während wir unter Drogen gesetzt und in den Orbit gebracht wurden) für immer in der Luft schweben. Aber vor oder nach dem Wurf, Schwänze gleichzeitig: Sie sind sich gegenseitig ausschließende Ergebnisse im Probenraum des Experiments (siehe 'Wahrscheinlichkeits-Probenräume' und 'Sigma-Algebren').

Zweitens bezieht sich diese Bayesian / Frequentist-Philosophie in Bezug auf Konfidenzintervalle auf Frequenzen, wenn man als Frequentist auftritt. Wenn wir also sagen, dass das Konfidenzintervall für einen abgetasteten und geschätzten Mittelwert 95% beträgt, sagen wir nicht, dass wir zu 95% sicher sind, dass der „wahre“ Wert zwischen den Grenzen liegt. Wir sagen, wenn wir dieses Experiment immer und immer wieder wiederholen könnten, würden wir in 95% der Fälle feststellen, dass der Mittelwert tatsächlich zwischen den Grenzen lag. Wenn wir es jedoch mit einem Lauf machen, nehmen wir eine mentale Abkürzung und sagen: "Wir sind zu 95% sicher, dass wir Recht haben."

Schließlich sollten Sie nicht vergessen, wie die Standardeinstellung für einen Hypothesentest lautet, der auf einem Experiment basiert. Wenn wir wissen möchten, ob ein Pflanzenwachstumshormon das Wachstum von Pflanzen beschleunigt, ermitteln wir möglicherweise erst nach 6 Monaten Wachstum die durchschnittliche Größe einer Tomate. Dann wiederholen wir, aber mit dem Hormon, und erhalten die durchschnittliche Größe. Unsere Nullhypothese ‚das Hormon hat nicht funktioniert‘, und wir prüfen , dass . Wenn die getesteten Pflanzen jedoch im Durchschnitt mit 99% iger Sicherheit größer sind, bedeutet dies, dass es aufgrund der Pflanzen und der Genauigkeit, mit der wir sie wiegen, immer zufällige Schwankungen gibt Zeit in hundert. "

Das Problem kann als eine Verwechslung von früherer und späterer Wahrscheinlichkeit oder möglicherweise als die Unzufriedenheit, die gemeinsame Verteilung bestimmter Zufallsvariablen nicht zu kennen, charakterisiert werden.

Konditionierung

$n$$1$$n$$X$$Y$$X$$Y$$P(X=x \land Y=y) = 1/(n(n-1))$$x,y \in N := \{1,\dots,n\}$$x \neq y$$P(X=x)=1/n$$P(Y=x)=1/n$$x \in N$

$t$$P(X=x)=1/n$$x \in N$$x \in N$$X=x$$P(X=x \vert Y=t) = P(X=x \land Y=t) / P(Y=t)$$x \neq t$$1/(n-1)$$x = t$$0$$X=x$$Y=t$$X=x$$X=x$$Y=t$$P(X=x)=P(Y=x)=1/n$$x \in N$

Nicht auf Beweise konditionieren heißt, Beweise ignorieren. Wir können jedoch nur bedingen, was im Wahrscheinlichkeitsmodell ausgedrückt werden kann. In unserem Beispiel mit den beiden Bällen aus der Urne können wir weder vom Wetter noch von unserem heutigen Gefühl abhängig sein. Wenn wir Grund zu der Annahme haben, dass solche Beweise für das Experiment relevant sind, müssen wir zuerst unser Modell ändern, damit wir diese Beweise als formelle Ereignisse ausdrücken können.

$C$$C = 1 \Longleftrightarrow X < Y$$P(C=1) = 1/2$$t$$P(C=1 \vert Y=t) = (t-1) / (n-1)$$P(C=1 \vert Y=1) = 0$$C=1$$P(C=1 \vert Y=n) = 1$$C=1$$P(C=1) = 1/2$

Konfidenzintervall

$X = (X_1, \dots, X_n)$$n$$(l,u)$$\gamma$$X$$l$$u$$\mathbb{R}^n$$\theta \in \mathbb{R}$$P(l(X) \leq \theta \leq u(X)) \geq \gamma$

$C$$(l,u)$$C = 1 \Longleftrightarrow l(X) \leq \theta \leq u(X)$$P(C=1) \geq \gamma$

$x = (x_1,\dots,x_n) \in \mathbb{R}^n$$x_i$$X_i$$i$$C=1$$\delta := P(C=1 \vert X = x)$$0$$1$$(C = 1 \land X = x) \Longleftrightarrow ((l(x) \leq \theta \leq u(x)) \land X = x)$$l(x) \leq \theta \leq u(x)$$\delta=0$$l(x) \leq \theta \leq u(x)$$X=x$$\delta=1$$l(x)$$u(x)$$x$$\delta \in \{0,1\}$

$P(C=1) \geq \gamma$$C=1$$x$$[l(x),u(x)]$$[l(x),u(x)]$$\theta$$\gamma$, würde bedeuten, diese Beweise anzuerkennen und gleichzeitig zu ignorieren.

Mehr lernen, weniger wissen

$\delta$$X$$Y$$x \in \mathbb{R}$$P(X=x)$$P(Y=x)$$P(X=x \land Y=y)$$x,y \in \mathbb{R}$$(X,Y)$

$Y=7$$X$$P(X=x)$$x$$(x,7)$$x \in \mathbb{R}$$x$$P(X=x)$$Y=7$$Y=7$$7$$P(X=x)$$X=x$$P(X=x \vert Y=7) = P(X=x \land Y=7) / P(Y=7)$

$Y$$X$

Wenn ich sage, dass die Wahrscheinlichkeit, mit der die Knicks zwischen xbar - 2sd (x) und xbar + 2sd (x) erzielten, in einem bestimmten Spiel in der Vergangenheit bei etwa 0,95 liegt, ist dies eine vernünftige Aussage, wenn man eine bestimmte Verteilungsannahme über die Verteilung der Basketballergebnisse voraussetzt . Wenn ich Daten über die Punktzahlen für eine Stichprobe von Spielen sammle und dieses Intervall berechne, ist die Wahrscheinlichkeit, dass sie an einem bestimmten Tag in der Vergangenheit in diesem Intervall erzielt wurden, eindeutig null oder eins, und Sie können das Spielergebnis googeln, um dies herauszufinden. Die einzige Vorstellung davon, dass der Frequentist eine Wahrscheinlichkeit ungleich Null oder eins hat, ist die wiederholte Abtastung, und die Realisierung der Intervallschätzung einer bestimmten Stichprobe ist der magische Punkt, an dem sie entweder aufgetreten ist oder die Intervallschätzung dieser Stichprobe nicht gegeben hat . Es ist nicht der Punkt, an dem Sie das Passwort eingeben,

Dies ist, was Dikran oben argumentiert, und ich habe seine Antwort abgestimmt. Der Punkt, an dem wiederholte Stichproben außer Betracht bleiben, ist der Punkt im frequentistischen Paradigma, an dem die nicht diskrete Wahrscheinlichkeit nicht mehr erreichbar ist , nicht wenn Sie das Passwort wie in Ihrem obigen Beispiel eingeben oder das Ergebnis in meinem Beispiel von googeln Knicks Spiel, aber der Punkt, an dem Ihre Anzahl von Proben = 1.

Modellieren

$\mathcal{S} = (\Omega,\Sigma,P)$$E \in \Sigma$$P(E)$$E$$\mathcal{S}$$\mathcal{S}$ kann implizit durch eine oder mehrere Zufallsvariablen und ihre gemeinsame Verteilung gegeben sein.

Schritt (1) lässt möglicherweise etwas Spielraum. Die Angemessenheit der Modellierung kann manchmal getestet werden, indem die Wahrscheinlichkeit bestimmter Ereignisse mit dem verglichen wird, was wir intuitiv erwarten würden. Insbesondere kann der Blick auf bestimmte marginale oder bedingte Wahrscheinlichkeiten helfen, eine Vorstellung davon zu bekommen, wie angemessen die Modellierung ist.

$X_1, \dots, X_n \sim \mathrm{Dist}(\theta)$${\theta \in \mathbb{R}}$

Konfidenzintervallschätzer

$\gamma$$L$$R$$\mathbb{R}^n$$P(L(X) \leq \theta \leq R(X)) \geq \gamma$$X = (X_1, \dots, X_n)$$L(X)$$R(X)$$x \in \mathbb{R}^n$$L(x) \leq \theta \leq R(x)$

Einstellungen

$\gamma_1$$\gamma_2$$\gamma_1 < \gamma_2$eine höhere Wahrscheinlichkeit, ein Gewinnschein zu sein, als die erste, als sie gezogen wurden. Eine Bevorzugung unterschiedlicher Beobachtungen (die beiden Tickets in diesem Beispiel) auf der Grundlage der wahrscheinlichkeitstheoretischen Eigenschaften der zufälligen Prozesse, die die Beobachtungen generiert haben, ist in Ordnung. Beachten Sie, dass wir nicht sagen, dass eines der Tickets eine höhere Wahrscheinlichkeit hat, ein Gewinn-Ticket zu sein. Wenn wir das jemals sagen, dann mit "Wahrscheinlichkeit" im umgangssprachlichen Sinne, was alles bedeuten könnte, so wird es hier am besten vermieden.

$0.95$

Beispiel mit einem einfachen Prior

$\theta$$P(\theta=0) = P(\theta=1) = 1/2$$\vartheta \in \mathbb{R}$$\theta = \vartheta$$X_1, \dots, X_n \sim \mathcal{N}(\vartheta, 1)$$L,R$$\gamma$$\vartheta \in \mathbb{R}$$P(L(X) \leq \vartheta \leq R(X) \vert \theta = \vartheta) \geq \gamma$${P(L(X) \leq \theta \leq R(X)) \geq \gamma}$

$x \in \mathbb{R}^n$$(X_1, \dots, X_n)$$\theta$$L(x)$$R(x)$$P(L(x) \leq \theta \leq R(x) \vert X = x)$$f_\mu$$n$$\mu$$\sigma=1$

$\theta$$x$$x$$\{\mu_0,\mu_1\} = \{0,1\}$

Wenn wir sagen könnten "die Wahrscheinlichkeit, dass der wahre Parameter in diesem Konfidenzintervall liegt", würden wir die Größe der Stichprobe nicht berücksichtigen. Egal wie groß die Stichprobe ist, solange der Mittelwert gleich ist, wäre das Konfidenzintervall gleich groß. Aber wenn wir sagen "Wenn ich dies 100 Mal wiederhole, dann würde ich erwarten, dass in 95 Fällen der wahre Parameter innerhalb des Intervalls liegt", berücksichtigen wir die Größe der Stichprobengröße und wie sicher unsere Schätzung ist . Je größer die Stichprobe ist, desto geringer ist die Varianz der mittleren Schätzung. Es wird also nicht so stark variieren, und wenn wir den Vorgang 100 Mal wiederholen, brauchen wir kein großes Intervall, um sicherzustellen, dass in 95 Fällen der wahre Parameter im Intervall liegt.