Was genau ist ein Konfidenzintervall?

86

Ich weiß ungefähr und informell, was ein Konfidenzintervall ist. Ich kann mich jedoch nicht mit einem wichtigen Detail auseinandersetzen: Laut Wikipedia:

Ein Konfidenzintervall sagt nicht voraus, dass der wahre Wert des Parameters mit einer bestimmten Wahrscheinlichkeit in dem Konfidenzintervall liegt, wenn die tatsächlich erhaltenen Daten vorliegen.

Ich habe auch ähnliche Punkte an mehreren Stellen auf dieser Site gesehen. Eine korrektere Definition, auch aus Wikipedia, ist:

Wenn Konfidenzintervalle über viele separate Datenanalysen von wiederholten (und möglicherweise unterschiedlichen) Experimenten erstellt werden, entspricht der Anteil solcher Intervalle, die den wahren Wert des Parameters enthalten, ungefähr dem Konfidenzniveau

Wieder habe ich ähnliche Punkte an mehreren Stellen auf dieser Site gesehen. Ich verstehe es nicht. Wenn unter wiederholten Versuchen, die Fraktion von berechneter Konfidenzintervalle , die die wahren Parameter enthalten ist , wie kann dann die Wahrscheinlichkeit , dass in dem Vertrauensintervall für das tatsächliche Experiment berechnet ist , etwas anderes als ? Ich suche in einer Antwort Folgendes: $\theta$ $(1 - \alpha)$ $\theta$ $(1 - \alpha)$

Klarstellung der Unterscheidung zwischen der falschen und der korrekten Definition oben.
Eine formale, präzise Definition eines Konfidenzintervalls, die deutlich macht, warum die erste Definition falsch ist.
Ein konkretes Beispiel für einen Fall, in dem die erste Definition auf spektakuläre Weise falsch ist, auch wenn das zugrunde liegende Modell korrekt ist.

confidence-interval definition

— dsimcha
quelle

4

In diesem Beitrag wird das Problem der Konfidenzintervalle ausführlich behandelt . Stats.stackexchange.com/questions/2356/… . Der Artikel, auf den in diesem Beitrag Bezug genommen wird, verdeutlicht meines Erachtens, warum die obigen Definitionen für Konfidenzintervalle korrekt sind. Wenn man sich ansieht, wie CIs zusammenbrechen, kann man sie oft besser verstehen.

— Wahrscheinlichkeitslogik

2

Ein Teil von mir begrüßt die Frage (+1). Ein konkurrierender Teil möchte darauf hinweisen, dass 1. die überwiegende Mehrheit der Statistikkonsumenten, die Statistiken pragmatisch, aber nicht philosophisch verwenden, um ihren Standpunkt in der Chemie oder in der Marktforschung zu vertreten, niemals die Feinheiten der Themen erfassen wird, und wir werden dies oft tun nicht in der Lage sein, die Ergebnisse zu erklären. 2. Sogar einige puristische Statistiker können in die Falle tappen, mutmaßlich wahrscheinliche Aussagen zu treffen, die Vertrauensbereiche beinhalten, wenn sie nicht mit Zufallsstichproben arbeiten. Ein viel größeres Problem.

— Rolando2

3

@ Mario Deine Vermutung ist nicht wahr! Von 100 Wiederholungen des Experiments erwarten wir 95 der CIs (nicht die Mittel) enthalten die wahren (aber unbekannt) bedeuten. Das CI ist zufällig, das wahre Populationsmittel jedoch nicht.

— whuber

6

Es gibt eine schöne Veröffentlichung von Cumming & Maillardet (2006), die zeigt, dass nicht 95% der Replikationsmittel in das ursprüngliche CI fallen, sondern nur 83,4% (sie nennen diesen Wert "Erfassungsprozentsatz"). Der Grund ist, dass es zwei Variabilitätsquellen gibt: A) die Variabilität des ursprünglichen Mittelwerts um muund B) die Variabilität des Replikationsmittels um mu. Die meisten Leute vergessen A: Das ursprüngliche CI muss nicht unbedingt herum konstruiert werden mu!

— Felix S

2

Interessierte Leser möchten möglicherweise auch diesen Thread sehen: Warum impliziert ein 95% CI keine 95% ige Chance, den Mittelwert zu enthalten?

— gung

26

Ich fand dieses Gedankenexperiment hilfreich, wenn ich über Konfidenzintervalle nachdachte. Es beantwortet auch Ihre Frage 3.

Sei und . Betrachten Sie zwei Beobachtungen von mit den Werten und , die den Beobachtungen und von , und lassen Sie und . Dann ist ein 50% Konfidenzintervall für (da das Intervall umfasst wenn oder , von denen jede Wahrscheinlichkeit ). $X\sim U(0,1)$ $Y=X+a-\frac{1}{2}$ $Y$ $y_1$ $y_2$ $x_1$ $x_2$ $X$ $y_l=\min(y_1,y_2)$ $y_u=\max(y_1,y_2)$ $[y_l,y_u]$ $a$ $a$ $x_1<\frac12<x_2$ $x_1>\frac12>x_2$ $\frac14$

Wenn jedoch dann wissen wir , dass die Wahrscheinlichkeit , dass das Intervall enthält ist , nicht . Die Feinfühligkeit ist, dass ein -Konfidenzintervall für einen Parameter bedeutet, dass die Endpunkte des Intervalls (die Zufallsvariablen sind) mit einer Wahrscheinlichkeit von beiden Seiten des Parameters liegen, bevor Sie das Intervall berechnen , und nicht die Wahrscheinlichkeit des Parameters Innerhalb des Intervalls liegt nachdem Sie das Intervall berechnet haben . $y_u-y_l>\frac12$ $a$ $1$ $\frac12$ $z\%$ $z\%$ $z\%$

— Chris Taylor
quelle

3

Beachten Sie, dass fast sicher ist, daher enthält das Intervall den Parameter mit der Wahrscheinlichkeit Null. Tatsächlich funktioniert Ihr Argument, wenn Sie schätzen .

Y > a

$Y>a$

[y_{l}, y_{u}]

$[y_l,y_u]$

a

$a$

θ = a + \frac{1}{2}

$\theta=a+\frac12$

— Habe

4

Ich glaube nicht, dass dieses Gegenbeispiel gültig ist, da Sie nur wissen, mit welcher Wahrscheinlichkeit das Intervall enthält, nachdem Sie gesehen haben, dass . Es ist durchaus vernünftig, dass sich die Wahrscheinlichkeit ändert, nachdem wir zusätzliche Informationen erhalten haben. Wenn Sie nur wüssten, dass das Intervall ein Konfidenzintervall von 50% ist, wäre die Wahrscheinlichkeit immer noch 1/2 (obwohl es sich um eine Bayes'sche Wahrscheinlichkeit handelt, die nicht häufig auftritt, da sie auf ein bestimmtes Ereignis ohne Langzeitfrequenz zutrifft).

θ

$\theta$

y_{u} - y_{l} > 1 / 2

$y_u-y_l>1/2$

— Dikran Marsupial

1

Das ist in der Tat ein gutes Beispiel, aber ich stimme Ihren Aussagen über Wahrscheinlichkeiten, die sich vor und nach der Berechnung des Konfidenzintervalls irgendwie ändern, überhaupt nicht zu . Das ergibt keinen Sinn und erweckt den Eindruck, dass die Mathematik sich irgendwie darum kümmert, was Sie wissen und was nicht. Das tut es nicht !! Sie haben immer das ist . Sie auch immer haben , dass ist . Das ist kein Widerspruch, einer ist einfach eine bedingungslose Wahrscheinlichkeit und der andere ist eine bedingte Wahrscheinlichkeit.

P (a \in [y_{l}, y_{u}])

$\mathbb{P}(a \in [y_l,y_u])$

\frac{1}{2}

$\tfrac{1}{2}$

P (a \in [y_{l}, y_{u}] | y_{u} - y_{l} > \frac{1}{2})

$\mathbb{P}(a \in [y_l,y_u] \;|\; y_u - y_l > \tfrac{1}{2})$

1

$1$

— fgp

2

@fgp, ja, vielleicht ist es eine schlechte Formulierung von Taylors Seite, die von sich ändernden Wahrscheinlichkeiten spricht. Es ändern sich keine Wahrscheinlichkeiten. Das Argument zeigt, wie leicht Situationen entstehen, in denen ein falsches Verständnis von CIs zu logischen Problemen führt. Wenn Sie glauben, dass ein CI, das Sie beobachten, mit einer Wahrscheinlichkeit von 50% korrekt ist, aber möglicherweise nicht korrekt sein kann, dann verstehen Sie, dass ein CI falsch ist.

— John

36

Es gibt viele Probleme in Bezug auf Konfidenzintervalle, aber konzentrieren wir uns auf die Zitate. Das Problem liegt eher in möglichen Fehlinterpretationen als in einer Frage der Korrektheit. Wenn Leute sagen, dass ein Parameter eine bestimmte Wahrscheinlichkeit für etwas hat, denken sie, dass der Parameter eine Zufallsvariable ist. Dies ist nicht der Gesichtspunkt einer (klassischen) Konfidenzintervallprozedur, für die die Zufallsvariable das Intervall selbst ist und der Parameter bestimmt wird, nicht zufällig, noch unbekannt. Deshalb werden solche Aussagen häufig angegriffen.

Mathematisch , wenn wir lassen jedes Verfahren sein , die Daten abbildet auf Teilmengen des Parameterraums und wenn (egal , was der Wert des Parameters sein kann) die Behauptung definiert ein Ereignis , dann hat es per Definition eine Wahrscheinlichkeit für jeden möglichen Wert von . Wenn eine Konfidenzintervallprozedur mit der Konfidenz ist, wird angenommen, dass diese Wahrscheinlichkeit ein Infimum (über alle Parameterwerte) von $t$ $\mathbf{x} = (x_i)$ $\theta$ $\theta \in t(\mathbf{x})$ $A(\mathbf{x})$ $\Pr_{\theta}\left( A(\mathbf{x}) \right)$ $\theta$ $t$ $1-\alpha$ $1-\alpha$ . (Abhängig von diesem Kriterium wählen wir normalerweise Verfahren aus, die einige zusätzliche Eigenschaften optimieren, z. B. kurze oder symmetrische Konfidenzintervalle. Dies ist jedoch eine separate Angelegenheit.) Das schwache Gesetz der großen Zahlen rechtfertigt dann das zweite Zitat. Dies ist jedoch keine Definition von Konfidenzintervallen, sondern lediglich eine Eigenschaft, die sie haben.

Ich denke, diese Analyse hat Frage 1 beantwortet, zeigt, dass die Prämisse von Frage 2 falsch ist, und lässt Frage 3 streiten.

— whuber
quelle

3

Vielen Dank für die Beantwortung einer hervorragenden Frage. Darf ich die folgende Analogie zur weiteren Diskussion bringen? Angenommen, ich werfe immer wieder eine schöne Münze um. Dann ist . Jetzt wirf ich einmal die Münze, aber zeige dir nicht, was ich geworfen habe, und ich frage: "Wie hoch ist die Wahrscheinlichkeit, dass die Köpfe hoch sind?". Wie würden Sie diese Frage beantworten?

P (H e a d) = .50

$P(Head) = .50$

— Wolfgang

3

Eine andere Art, es auszudrücken: Für Nicht-Bayesianer sind die einzigen "Dinge", die eine Wahrscheinlichkeit haben können, mögliche Ereignisse - im Sinne zukünftiger Ergebnisse eines zufälligen Experiments. Vorausgesetzt, der Parameter hat einen festen wahren Wert. Sobald Sie ein Intervall mit bestimmten Werten haben, ist es kein mögliches Ereignis mehr, ob der Parameter im Intervall enthalten ist oder nicht. Infolgedessen können Sie auf den Prozess vertrauen, der das Intervall generiert, jedoch nicht auf zwei bestimmte Zahlen.

— caracal

1

@caracal - nur ein paar Denkanstöße, ist ein "Münzwurf" wirklich jeder "Zufall"? Wenn Sie "Ja" sagen, lehnen Sie die Vorstellung ab, dass das Auftauchen einer Münze eine deterministische (aber komplizierte) Funktion vieler Dinge ist (z. B. Wind, Höhe, Kraft und Kippwinkel, Gewicht der Münze usw. usw.) .). Ich denke, dies zeigt den doppelten Standard der "Zufälligkeit", der für CI-basiertes Denken gilt. Die Daten sind festgelegt, aber wir sind unsicher über ihren Wert (Ergodaten sind zufällig ), während die Parameter festgelegt sind, aber wir unsicher über ihren Wert ( Ergo- Parameter sind nicht zufällig ).

— Wahrscheinlichkeitslogik

4

@Wolfgang Ich verstehe nicht, wie sich dein Beispiel auf Vertrauensbereiche bezieht. Sie fordern nichts an, was mit einem Verteilungsparameter zusammenhängt. Ihre Situation hängt am engsten mit den Vorhersageintervallen zusammen. Ich denke, diese gesamte Diskussion mag in diesem Zusammenhang ein gewisses Interesse haben, aber sie gehört nicht in einen Thread über Vertrauensbereiche.

— Whuber

2

@whuber Die Frage, ob man eine Wahrscheinlichkeitsaussage über einen bestimmten 95% CI machen kann, der den wahren unbekannten Parameter erfasst, ist der Frage, ob man eine Wahrscheinlichkeitsaussage über einen bestimmten Flip machen kann, bei dem das Ergebnis noch unbekannt ist, sehr ähnlich. Langfristig erfassen 95% der CIs den Parameter. Auf lange Sicht sind 50% der Flips Köpfe. Können wir sagen, dass die Wahrscheinlichkeit, dass ein bestimmtes CI den Parameter erfasst, bei 95% liegt? Können wir sagen, dass es eine 50% ige Chance gibt, dass die Köpfe hoch sind, bevor sie schauen? Ich würde beiden zustimmen. Aber manche Leute mögen anderer Meinung sein.

— Wolfgang

19

Ich würde die Definition von CIs nicht als falsch bezeichnen, aber sie können leicht falsch interpretiert werden, da es mehr als eine Definition der Wahrscheinlichkeit gibt. CIs basieren auf der folgenden Definition der Wahrscheinlichkeit (häufig oder ontologisch)

(1) Wahrscheinlichkeit eines Satzes = langfristiger Anteil der Zeit, in der dieser Satz als wahr angesehen wird, abhängig vom Datenerzeugungsprozess

Daher müssen Sie diese Definition der Wahrscheinlichkeit akzeptieren , um in der Verwendung eines CI begrifflich gültig zu sein . Wenn Sie dies nicht tun, ist Ihr Intervall aus theoretischer Sicht kein CI.

Aus diesem Grund wurde in der Definition der Wortanteil und NICHT die Wortwahrscheinlichkeit verwendet , um zu verdeutlichen, dass die Wahrscheinlichkeitsdefinition "Langzeithäufigkeit" verwendet wird.

Die wichtigste alternative Definition der Wahrscheinlichkeit (erkenntnistheoretisch oder Wahrscheinlichkeit als Erweiterung der deduktiven Logik oder Bayes'schen) ist

(2) Wahrscheinlichkeit eines Satzes = rationaler Grad der Annahme, dass der Satz wahr ist, abhängig von einem Wissensstand

Oft verwechseln die Menschen diese beiden Definitionen intuitiv und verwenden die Interpretation, die ihrer Intuition entspricht. Dies kann Sie in alle möglichen verwirrenden Situationen bringen (insbesondere, wenn Sie von einem Paradigma zum anderen wechseln).

Dass die beiden Ansätze oft zum gleichen Ergebnis führen, bedeutet, dass wir in einigen Fällen:

rationaler Grad der Annahme, dass der Satz wahr ist, abhängig von einem Wissensstand = langfristiger Anteil der Zeit, in der der Satz wahr ist, abhängig vom Datenerzeugungsprozess

Der Punkt ist, dass es nicht universell gilt , so dass wir nicht erwarten können, dass die beiden unterschiedlichen Definitionen immer zu den gleichen Ergebnissen führen. Wenn Sie also nicht tatsächlich die Bayes'sche Lösung erarbeiten und dann feststellen, dass es sich um dasselbe Intervall handelt, können Sie dem vom CI angegebenen Intervall nicht die Interpretation als Wahrscheinlichkeit geben, den wahren Wert zu enthalten. In diesem Fall ist das Intervall kein Konfidenzintervall, sondern ein glaubwürdiges Intervall.

— Wahrscheinlichkeitslogik
quelle

2

Ich verstehe nicht, warum die Wahrscheinlichkeit eines Satzes nach Definition 1 eine rationale Zahl sein sollte. Langfristige Proportionen scheinen sich auf die Grenze der Proportionen zu beziehen, so dass der Satz als wahr angesehen wird. Jedes Verhältnis ist eine rationale Zahl, aber ihre Grenze könnte nicht sein. (Zum Glück scheint Ihre Klammer den Rest Ihrer Antwort bestenfalls tangential zu berühren.)

— Did

3

@probability Diese Antwort scheint uns auf eine nicht sehr konstruktive Art und Weise zu entführen. Das Gleichsetzen von Wahrscheinlichkeit und Verhältnis ist eine Form der ontologischen Verwirrung, ähnlich dem Gleichsetzen einer Temperatur mit dem Quecksilbergehalt in einem Thermometer: Eines ist ein theoretisches Konstrukt und das andere ist ein physikalisches Phänomen, das zur Messung verwendet wird. Es gibt eine Diskussion darüber unter stats.stackexchange.com/questions/1525/… .

— whuber

@Didier - Sie haben Recht, in der Tat die Folge von , Das ist rationale Begriffe mit irrationaler Grenze. Ich habe diese Bemerkung entfernt. Danke, dass du das angesprochen hast.

x_{n} = \frac{r}{2 x_{n - 1}} + \frac{x_{n - 1}}{2} \to \sqrt{r}

$x_n=\frac{r}{2x_{n-1}}+\frac{x_{n-1}}{2} \rightarrow \sqrt{r}$

— Wahrscheinlichkeitsrechnung

6

@whuber - Der Punkt ist relevant, weil genau dieses Missverständnis dazu führt, dass CIs falsch interpretiert werden. Die Verwechslung der Wahrscheinlichkeit mit dem "rationalen Grad des Glaubens" steht nicht im Einklang mit dem frequentistischen Paradigma. Dies ist, was passiert, wenn Sie CIs als "Wahrscheinlichkeit, dass der wahre Wert im Intervall liegt" ansehen, was @dsimcha in dieser Frage tut.

— Wahrscheinlichkeitslogik

1

@ Wahrscheinlichkeit Vielen Dank für die Erklärung. Ich hatte Ihre Antwort als im Einklang mit einer Definition von "Wahrscheinlichkeit = Verhältnis" verstanden. Tatsächlich deutet ein genaueres Nachlesen immer noch darauf hin, dass dies das ist, was Sie im dritten Absatz sagen, obwohl Ihr Kommentar dies jetzt als Missverständnis charakterisiert. Vielleicht möchten Sie diesen Punkt klarstellen.

— Whuber

6

RA Fisher hatte ein Kriterium für die Nützlichkeit von Konfidenzintervallen: Ein CI sollte keine "identifizierbaren Teilmengen" zulassen, die ein anderes Konfidenzniveau implizieren. In den meisten (wenn nicht allen) Gegenbeispielen gibt es Fälle, in denen identifizierbare Teilmengen mit unterschiedlichen Erfassungswahrscheinlichkeiten vorliegen.

In diesen Fällen können Sie entweder Bayes'sche Anrechnungsintervalle verwenden, um ein subjektives Gefühl dafür zu geben, wo sich der Parameter befindet, oder Sie können ein Wahrscheinlichkeitsintervall formulieren, um die relative Unsicherheit im Parameter angesichts der Daten widerzuspiegeln.

Ein Fall, der relativ widerspruchsfrei zu sein scheint, ist beispielsweise das zweiseitige normale Konfidenzintervall für den Populationsmittelwert. Unter der Annahme einer Stichprobe aus einer normalen Grundgesamtheit mit gegebenem Standard lassen die 95% CI keine identifizierbaren Untergruppen zu, die mehr Informationen über den Parameter liefern würden. Dies ist daran zu erkennen, dass der Stichprobenmittelwert eine ausreichende Statistik in der Wahrscheinlichkeitsfunktion darstellt - dh die Wahrscheinlichkeitsfunktion ist unabhängig von den einzelnen Stichprobenwerten, sobald der Stichprobenmittelwert bekannt ist.

Der Grund für unser subjektives Vertrauen in den 95% -symmetrischen CI für den Normalmittelwert ergibt sich weniger aus der angegebenen Erfassungswahrscheinlichkeit als vielmehr aus der Tatsache, dass der symmetrische 95% -CI für den Normalmittelwert das Intervall "höchste Wahrscheinlichkeit" ist, dh alle Parameterwerte innerhalb des Intervalls haben eine höhere Wahrscheinlichkeit als Parameterwerte außerhalb des Intervalls. Da die Wahrscheinlichkeit jedoch keine Wahrscheinlichkeit ist (im Sinne der Langzeitgenauigkeit), ist sie eher ein subjektives Kriterium (ebenso wie die Bayes'sche Verwendung von Prior und Wahrscheinlichkeit). Insgesamt gibt es unendlich viele Intervalle für den normalen Mittelwert mit einer Wahrscheinlichkeit von 95%, aber nur das symmetrische CI weist die intuitive Plausibilität auf, die wir von einer Intervallschätzung erwarten.

Aus diesem Grund impliziert das Kriterium von RA Fisher, dass die Erfassungswahrscheinlichkeit nur dann mit subjektivem Vertrauen gleichzusetzen ist, wenn keine dieser identifizierbaren Teilmengen zugelassen wird. Wenn Teilmengen vorhanden sind, hängt die Wahrscheinlichkeit der Abdeckung von den wahren Werten der Parameter ab, die die Teilmenge beschreiben. Um ein Intervall mit dem intuitiven Vertrauensniveau zu erhalten, müssten Sie den Intervall-Schätzwert an die entsprechenden Zusatzstatistiken anpassen, mit deren Hilfe die Teilmenge identifiziert werden kann. ODER Sie können auf Dispersions- / Mischungsmodelle zurückgreifen, was natürlich dazu führt, dass die Parameter als Zufallsvariablen interpretiert werden (auch bekannt als Bayes'sche Statistik). Auf jeden Fall haben Sie die Hoffnung aufgegeben, eine objektiv überprüfbare Wahrscheinlichkeit für die Richtigkeit zu finden.

Hoffe das hilft.

— kst
quelle

1

(+1) Eine Möglichkeit, das symmetrische Normal-CI zu rechtfertigen, besteht darin, die erwartete Länge zu minimieren. Letztendlich wird dadurch die Subjektivität nur auf die Wahl der Länge als Verlustfunktion in einem Entscheidungsverfahren zurückgedrängt. Dies ist jedoch wohl eher eine "gute" Art von Subjektivität (da sie die Rolle unserer analytischen Ziele bei der Wahl des statistischen Verfahrens aufdeckt) als "schlechte" Subjektivität, die nur wie ein abwertender Beiname klingt.

— whuber

5

Aus theoretischer Sicht beruhen die Fragen 2 und 3 auf der falschen Annahme, dass die Definitionen falsch sind. Daher stimme ich in dieser Hinsicht der Antwort von @ whuber zu, und für die Antwort von @ whuber auf Frage 1 sind keine zusätzlichen Eingaben von mir erforderlich.

Aus praktischer Sicht kann ein Konfidenzintervall jedoch intuitiv definiert werden (Wahrscheinlichkeit, dass es den wahren Wert enthält), wenn es numerisch mit einem glaubwürdigen Bayes-Intervall identisch ist, das auf denselben Informationen basiert (dh einem nicht informativen Prior).

Aber das ist etwas entmutigend für den eingefleischten Anti-Bayesianer, denn um die Bedingungen zu überprüfen, unter denen sein CI die Interpretation erhält, die er / sie geben möchte, müssen sie die Bayesianische Lösung ausarbeiten, für die die intuitive Interpretation automatisch gilt!

Das einfachste Beispiel ist ein Konfidenzintervall für den normalen Mittelwert mit einer bekannten Varianz und einem posterioren glaubwürdigen Intervall . $1-\alpha$ $\overline{x}\pm \sigma Z_{\alpha/2}$ $1-\alpha$ $\overline{x}\pm \sigma Z_{\alpha/2}$

Ich bin mir der Bedingungen nicht ganz sicher, aber ich weiß, dass für die intuitive Interpretation von CIs Folgendes wichtig ist:

1) Es gibt eine Pivot-Statistik, deren Verteilung unabhängig von den Parametern ist. (Gibt es exakte Pivots außerhalb der Normal- und Chi-Quadrat-Verteilungen?)

2) es gibt keine störenden Parameter (außer im Fall einer Schwenk Statistik, die eine der wenigen ist , genaue Weise ein Ärgernis Parameter zu handhaben hat , wenn machen CIs)

3) Für den interessierenden Parameter ist eine ausreichende Statistik vorhanden, und das Konfidenzintervall verwendet die ausreichende Statistik

4) Die Stichprobenverteilung der ausreichenden Statistik und die hintere Verteilung weisen eine gewisse Symmetrie zwischen der ausreichenden Statistik und dem Parameter auf. Im Normalfall ist die Stichprobenverteilung die Symmetrie in während . $(\overline{x}|\mu,\sigma)\sim N(\mu,\frac{\sigma}{\sqrt{n}})$ $(\mu|\overline{x},\sigma)\sim N(\overline{x},\frac{\sigma}{\sqrt{n}})$

Diese Bedingungen sind normalerweise schwer zu finden, und normalerweise ist es schneller, das Bayes'sche Intervall zu berechnen und es zu vergleichen. Eine interessante Übung könnte auch darin bestehen, die Frage zu beantworten: "Wofür ist mein CI auch ein glaubwürdiges Intervall?" Sie können einige versteckte Annahmen über Ihre CI-Prozedur entdecken, indem Sie sich dies vorher ansehen.

— Wahrscheinlichkeitslogik
quelle

1

(+1) Gibt es wirklich einen "Anti-Bayesianer"? :-)

— whuber

6

@whuber Hier ist einer . Und hier ist eine Ökonometrikerin, die mit ihr an einem Stipendium für Statistikphilosophie zusammenarbeitet.

— Cyan

1

Vielen Dank! Das ist ein äußerst interessanter Thread in der Philosophie der Wahrscheinlichkeit und Statistik, von dem ich nichts wusste.

— whuber

1

Haben Sie als fehlend falsch geschrieben ?

\bar{x} \pm \frac{z_{α / 2} σ}{\sqrt{n}}

$\overline x \pm \frac{z_{\alpha/2}\sigma}{\sqrt{n}}$

\sqrt{n}

$\sqrt{n}$

— Qazwsx

3

Dies ist etwas, das schwer zu verstehen sein kann:

wenn im Durchschnitt 95% aller Konfidenzintervalle den Parameter enthalten
und ich habe ein bestimmtes Konfidenzintervall
warum liegt die wahrscheinlichkeit, dass dieses intervall den parameter enthält, nicht auch bei 95%?

Ein Konfidenzintervall bezieht sich auf das Stichprobenverfahren. Wenn Sie viele Stichproben nehmen und für jede Stichprobe ein Konfidenzintervall von 95% berechnen würden, würden Sie feststellen, dass 95% dieser Intervalle den Populationsmittelwert enthalten.

Dies ist beispielsweise für Qualitätsabteilungen in der Industrie nützlich. Diese Leute nehmen viele Proben und sind jetzt zuversichtlich, dass die meisten ihrer Schätzungen der Realität ziemlich nahe kommen werden. Sie wissen, dass 95% ihrer Schätzungen ziemlich gut sind, aber sie können das nicht über jede einzelne Schätzung sagen.

Vergleichen Sie dies mit Würfeln: Wenn Sie 600 (faire) Würfel würfeln würden, wie viele 6 würden Sie werfen? Ihre beste Schätzung ist * 600 = 100. $\frac{1}{6}$

Wenn Sie jedoch EINEN Würfel geworfen haben, ist es sinnlos zu sagen: "Es gibt eine Wahrscheinlichkeit von 1/6 oder 16,6%, dass ich jetzt eine 6 geworfen habe". Warum? Weil der Würfel entweder eine 6 oder eine andere Figur zeigt. Sie haben eine 6 geworfen oder nicht. Die Wahrscheinlichkeit ist also 1 oder 0. Die Wahrscheinlichkeit kann nicht . $\frac{1}{6}$

Wenn ein Bayesianer vor dem Wurf gefragt wird, wie hoch die Wahrscheinlichkeit ist, eine 6 mit EINEM Würfel zu werfen, antwortet er mit " " (basierend auf vorherigen Informationen: Jeder weiß, dass ein Würfel 6 Seiten und eine gleiche Chance hat von einem von ihnen fallen), aber ein Frequentist würde sagen "Keine Ahnung", weil Frequentismus nur auf den Daten basiert, nicht auf Prioritäten oder irgendwelchen externen Informationen. $\frac{1}{6}$

Wenn Sie nur eine Stichprobe (also ein Konfidenzintervall) haben, können Sie nicht sagen, wie wahrscheinlich es ist, dass der Mittelwert der Grundgesamtheit in diesem Intervall liegt. Der Mittelwert (oder ein beliebiger Parameter) ist entweder enthalten oder nicht. Die Wahrscheinlichkeit ist entweder 1 oder 0.

Es ist auch nicht korrekt, dass Werte innerhalb des Konfidenzintervalls wahrscheinlicher sind als solche außerhalb des Konfidenzintervalls. Ich habe eine kleine Illustration gemacht; alles wird in ° C gemessen. Denken Sie daran, dass Wasser bei 0 ° C gefriert und bei 100 ° C kocht.

Der Fall: In einem kalten See möchten wir die Temperatur des Wassers schätzen, das unter dem Eis fließt. Wir messen die Temperatur an 100 Orten. Hier sind meine Daten:

0,1 ° C (gemessen an 49 Orten);
0,2 ° C (auch an 49 Standorten);
0 ° C (an 1 Stelle. Dies war Wasser kurz vor dem Gefrieren);
95 ° C (an einem Ort gibt es eine Fabrik, die illegal sehr heißes Wasser in den See schüttet).
Mittlere Temperatur: 1,1 ° C;
Standardabweichung: 1,5 ° C;
95% -CI: (-0,8ºC + 3,0ºC).

Die Temperaturen in diesem Konfidenzintervall sind definitiv NICHT wahrscheinlicher als die außerhalb des Konfidenzintervalls. Die Durchschnittstemperatur des fließenden Wassers in diesem See KANN NICHT kälter als 0 ° C sein, sonst wäre es nicht Wasser, sondern Eis. Ein Teil dieses Konfidenzintervalls (nämlich der Abschnitt von -0,8 bis 0) hat tatsächlich eine Wahrscheinlichkeit von 0% , den wahren Parameter zu enthalten.

Fazit: Konfidenzintervalle sind ein häufig anzutreffendes Konzept und basieren daher auf der Idee wiederholter Stichproben. Wenn viele Forscher Proben von diesem See entnehmen würden und alle diese Forscher Konfidenzintervalle berechnen würden, würden 95% dieser Intervalle den wahren Parameter enthalten. Für ein einziges Konfidenzintervall ist es jedoch unmöglich zu sagen, wie wahrscheinlich es ist, dass es den wahren Parameter enthält.

— Pieter Hogendoorn
quelle

1

Verwechseln Sie nicht die Tatsache, dass die Häufigkeitsstatistik den Glauben nicht mit einer häufigen Person misst, die vorherige Überzeugungen hat und diese aktualisiert. Der Unterschied besteht nicht darin, ob der Frequentist ein Idiot ohne Wissen außerhalb der Daten ist, sondern ob die Frequentistenstatistik direkte Messwerte für die Glaubenszustände liefert. Der Frequentist muss seine Überzeugungen basierend auf Tests, CIs usw. aktualisieren, sonst funktioniert sein gesamtes System nicht, da alles von den getroffenen Entscheidungen abhängt.

— John

2

Okay, mir ist klar, dass bei der Berechnung eines 95% -Konfidenzintervalls für einen Parameter mit klassischen frequentistischen Methoden nicht mit einer Wahrscheinlichkeit von 95% gerechnet werden muss, dass der Parameter in diesem Intervall liegt. Und doch ... wenn Sie sich dem Problem aus Bayes-Perspektive nähern und ein zu 95% glaubwürdiges Intervall für den Parameter berechnen, erhalten Sie (unter der Annahme eines nicht informativen Prioritätsintervalls) genau dasselbe Intervall , das Sie mit dem klassischen Ansatz erhalten. Wenn ich also die klassische Statistik verwende, um das 95% -Konfidenzintervall für (sagen wir) den Mittelwert eines Datensatzes zu berechnen, besteht eine Wahrscheinlichkeit von 95%, dass der Parameter in diesem Intervall liegt.

— Ringold
quelle

5

Ob Sie das gleiche Ergebnis mit Hilfe von Konfidenzintervallen für Frequentisten und glaubwürdigen Intervallen für Bayes erzielen, hängt vom Problem und insbesondere von der vorherigen Verteilung ab, die im Bayes'schen Ansatz verwendet wird. In Mathematik und Naturwissenschaften ist es auch wichtig, dass Sie den richtigen Grund haben, wenn Sie Recht haben!

— Dikran Beuteltier

4

Wenn Sie "die klassische Statistik verwenden, um das 95% -Konfidenzintervall für [einen Parameter] zu berechnen", ist es bedeutungslos , wenn Sie konsequent argumentieren , auf eine "Wahrscheinlichkeit zu verweisen, dass der Parameter in diesem Intervall liegt". In dem Moment, in dem Sie diese Wahrscheinlichkeit erwähnen, haben Sie Ihr statistisches Modell der Situation geändert. In dem neuen Modell, in dem der Parameter zufällig ist, ist es falsch, ein CI mithilfe von frequentistischen Methoden zu berechnen. Auf diese Weise die richtige Antwort in bestimmten Situationen zu erhalten, ist interessant, rechtfertigt jedoch nicht die zugrunde liegende begriffliche Verwirrung.

— Whuber

4

@whuber - Ihre Prämisse "... wenn Sie konsequent argumentieren ..." hat eine Konsequenz aus dem Satz des guten alten Cox. Wenn Sie konsequent argumentieren, muss Ihre Lösung mathematisch einer Bayes'schen Lösung entsprechen. Unter dieser Voraussetzung entspricht ein CI zwangsläufig einem glaubwürdigen Intervall, und seine Interpretation als Wahrscheinlichkeit ist gültig. Und in Bayes ist es nicht der Parameter, der eine Verteilung hat, sondern die Unsicherheit über diesen Parameter, der eine Verteilung hat.

— Wahrscheinlichkeitsrechnung

2

... Fortsetzung ... Also kann man das alberne Spiel spielen, dass ich ein Bayesianer bin ..., ich bin ein Frequentist, ..., ich bin ein Bayesianer ..., ich bin ein Frequentist, ..... während sich die Zahlen der tatsächlichen Berechnung nie ändern

— Wahrscheinlichkeitsrechnung

2

Sie fragen nach dem Konfidenzintervall für Frequentisten . Die Definition (beachte, dass keines deiner 2 Zitate eine Definition ist! Nur Aussagen, die beide korrekt sind) ist:

Wenn ich dieses Experiment viele Male wiederholt hätte, würde bei diesem angepassten Modell mit diesen Parameterwerten in 95% der Experimente der geschätzte Wert eines Parameters in dieses Intervall fallen.

Sie haben also ein Modell (erstellt unter Verwendung Ihrer beobachteten Daten) und seine geschätzten Parameter. Wenn Sie dann einige hypothetische Datensätze gemäß diesem Modell und diesen Parametern generieren würden, würden die geschätzten Parameter in das Konfidenzintervall fallen.

Tatsächlich betrachtet dieser häufig verwendete Ansatz das Modell und die geschätzten Parameter als fest vorgegeben und behandelt Ihre Daten als ungewiss - als Zufallsstichprobe vieler anderer möglicher Daten.

Dies ist wirklich schwer zu interpretieren und wird oft als Argument für die Bayes'sche Statistik verwendet ( was meiner Meinung nach manchmal wenig umstritten sein kann . Die Bayes'sche Statistik hingegen nimmt Ihre Daten als fest und behandelt Parameter als ungewiss. Die Bayes'schen glaubwürdigen Intervalle sind dann eigentlich intuitiv, wie man es erwarten würde: Bayesianische glaubwürdige Intervalle sind Intervalle, in denen bei 95% der reale Parameterwert liegt.

In der Praxis interpretieren viele Menschen die Intervalle der häufig auftretenden Konfidenzen genauso wie die Bayes-Intervalle, und viele Statistiker halten dies nicht für ein großes Problem - obwohl sie alle wissen, dass es nicht zu 100% korrekt ist. Auch in der Praxis unterscheiden sich die Intervalle für die Häufigkeit und das Bayes'sche Vertrauen / die Glaubwürdigkeit nicht wesentlich, wenn uninformative Bayes'sche Prioritäten verwendet werden .

— Neugierig
quelle

-1 Ihre "Definition" scheint zumindest in einer Lesung falsch zu sein. Die CI ist so konstruiert, dass sie den wahren Parameter mit der Wahrscheinlichkeit abdeckt . Sie ist nicht an ein bestimmtes Modell oder eine Methode zur Anpassung der Parameter gebunden. Vielleicht verstehe ich die Definition jedoch falsch: Ich nehme "dieses angepasste Modell mit diesem Parameterwert", um auf Ihre aktuelle Schätzung des Parameters zu verweisen . Wenn Sie es nicht so beabsichtigt haben, könnten Sie diesen Punkt vielleicht klarstellen?

1 - α

$1-\alpha$

1 - α

$1-\alpha$

— Whuber

@whuber, OK, ich nehme an, aber wenn Sie sagen, meine Definition ist falsch, posten Sie bitte Ihre vollständige Definition dessen, was CI ist.

— Neugierig

Ich habe meinen Kommentar geklärt, Tomas, weil mir der Gedanke gekommen ist, dass ich Ihre Definition auf eine Weise lesen könnte, die Sie nicht beabsichtigt haben. Kiefer, Introduction to Statistical Inference , schreibt: "[ D ] Das Ergebnis des Experiments ist ... [S] Angenommen, die Prozedur wird verwendet, um estimate und den wahren Wert von zu schätzen ist ... [D] ie Menge .. Die Zahl heißt der Konfidenzkoeffizient der Prozedur ... heißt a

X

$X$

t = [L, U]

$t=[L,U]$

ϕ (θ)

$\phi(\theta)$

θ

$\theta$

θ_{0}

$\theta_0$

γ_{t} (θ_{0}) = \underset{θ_{0}}{Pr} {L (X) \leq ϕ (θ_{0}) \leq U (X)}

$\gamma_t(\theta_0)=\Pr_{\theta_0}\{L(X)\le \phi(\theta_0)\le U(X)\}$

{\bar{γ}}_{t} = inf_{θ \in Ω} γ_{t} (θ)

$\bar{\gamma}_t=\inf_{\theta\in\Omega}\gamma_t(\theta)$

t

$t$

t

$t$ Konfidenzintervall. "

— whuber

@whuber, deine Definition ist für mich wirklich unverständlich und ich fürchte auch für die meisten Leute :) Und ja, ich meinte die aktuelle Schätzung, als Frequentist die Parameterschätzung als gegeben und Daten als zufällig, das Gegenteil von Bayesian.

— Neugierig

3

Ich denke, dass das Hauptproblem in Ihrer Definition Neugierig ist, "... der geschätzte Wert eines Parameters würde in das Intervall fallen." Es ist kein geschätzter Parameter, sondern ein unbekannter fester Parameter. und es fällt nicht in das Intervall, sondern das Intervall bewegt sich und 95% der Zeit erfasst den Parameter.

— John

2

Angenommen, wir befinden uns in einer einfachen Situation. Sie haben einen unbekannten Parameter und einen Schätzer von mit einer Ungenauigkeit um 1 (informell). Sie denken (informell), dass am häufigsten in . $\theta$ $T$ $\theta$ $\theta$ $[T-1;T+1]$

In einem realen Experiment beobachten Sie . $T=12$

Es ist natürlich, die Frage zu stellen "Angesichts dessen, was ich sehe ( ), wie hoch ist die Wahrscheinlichkeit ?". Mathematisch: . Jeder stellt diese Frage natürlich. Die Konfidenzintervalltheorie sollte diese Frage logisch beantworten. Aber das tut es nicht. $T=12$ $\theta\in[11;13]$ $P(\theta\in[11;13]|T=12)$

Bayesianische Statistiken beantworten diese Frage. In der Bayes'schen Statistik kann man wirklich berechnen . Vor dem Experiment und dem Beobachten von müssen Sie jedoch ein Prior annehmen, bei dem es sich um eine Verteilung für . Beispielsweise : $P(\theta\in[11;13]|T=12)$ $\theta$ $T$

Angenommen, hat eine vorherige gleichmäßige Verteilung auf $\theta$ $[0;30]$
Führe dieses Experiment durch und finde $T=12$
Wende die Bayes-Formel an: $P(\theta\in[11;13]|T=12)=0.94$

In der frequentistischen Statistik gibt es jedoch keine Prioritäten und daher gibt es so etwas wie nicht. Stattdessen sagen Statistiker so etwas wie: "Was auch immer ist, die Wahrscheinlichkeit, dass is ". Mathematisch: " $P(\theta\in...|T \in...)$ $\theta$ $\theta\in [T-1;T+1]$ $0.95$ $\forall\theta, P(\theta\in[T-1;T+1]|\theta)=0.95$

Damit :

Bayesian: für $P(\theta\in[T-1;T+1]|T)=0.94$ $T=12$
Frequentist: $\forall\theta, P(\theta\in[T-1;T+1]|\theta)=0.95$

Die Bayes'sche Aussage ist natürlicher. Am häufigsten wird die Aussage des Frequentisten spontan als die Aussage des Bayes fehlinterpretiert (von jedem normalen menschlichen Gehirn, das seit Jahren keine Statistik mehr praktiziert). Und ehrlich gesagt, machen viele Statistikbücher diesen Punkt nicht sehr deutlich.

Und praktisch?

In vielen üblichen Situationen ist die Tatsache, dass Wahrscheinlichkeiten, die durch frequentistische und bayesianische Ansätze erhalten werden, sehr nahe beieinander liegen. Das Verwirren der frequentistischen Aussage für den Bayesianer hat also wenig Konsequenzen. Aber "philosophisch" ist es ganz anders.

— Benoit Sanchez
quelle