Die grundlegende Logik zum Erstellen eines Konfidenzintervalls

Betrachten Sie ein Modell mit einem interessierenden Parameter. $\theta$und sein Punktschätzer, $\hat\theta$. Nehmen Sie der Einfachheit halber an $\hat\theta\sim N(\theta,\sigma^2/n)$(In zahlreichen Fällen könnte dies asymptotisch gerechtfertigt sein). Es gibt zwei Möglichkeiten, ein Intervall zu erstellen, das so kurz wie möglich ist$(1-\alpha)$ Level-Konfidenzintervall.

1. Für jeden wahren Wert $\theta$Ich möchte das kürzestmögliche Intervall $(\hat\theta_{lower},\hat\theta_{upper})$ das hat $(1-\alpha)$ Wahrscheinlichkeit der Erfassung $\theta$. Ich wähle den Bereich mit der höchsten Dichte in der Verteilung von$\hat\theta$ gegeben $\theta$, $f(\hat\theta;\theta)$, so dass die kumulative Wahrscheinlichkeit für diese Region ist $(1-\alpha)$. Ich definiere den Intervallschätzer so, dass für jede Punktschätzung$\hat\theta$ in der Region würde die entsprechende Intervallschätzung abdecken $\theta$.
   Seit der Verteilung von$\hat\theta$ ist für jeden wahren Wert gleich $\theta$ Mit Ausnahme einer Ortsverschiebung ist der Mechanismus (die Regel) zum Erstellen des Intervalls unabhängig von der tatsächlichen $\theta$ist. Daher wird es alle wahren abdecken$\theta$ mit $(1-\alpha)$ Wahrscheinlichkeit.

2. Gegeben eine Punktschätzung $\hat\theta$Ich überlege, unter welchem ​​wahren Wert $\theta$es ist wahrscheinlich generiert worden. Kenntnis der Verteilung von$\hat\theta$ für jeden gegebenen wahr $\theta$, $f(\hat\theta;\theta)$Ich wähle diese aus $\theta$s, die die höchsten Dichtewerte ergeben. Ich beschränke die Auswahl auf nur Werte $\theta$ das hat die kumulative Wahrscheinlichkeit $\geq\alpha$ für Werte mindestens so extrem wie $\theta$;; mit anderen Worten, die Werte $\theta$ für die die entsprechenden $p$-Wert verbunden mit $\hat\theta$ ist mindestens $\alpha$.

Der erste Ansatz konzentriert sich direkt darauf, sicherzustellen, dass alles wahr ist $\theta$ist es enthalten in $(1-\alpha)$Anteil der Stichprobeninstanzen. Der zweite Ansatz sucht den besten Kandidaten$\theta$s, die die Realisierung machen $\hat\theta$ wahrscheinlich beim Verwerfen $\theta$s unter denen $\hat\theta$ist unwahrscheinlich. Die Linie zwischen den beiden (wahrscheinlich vs. unwahrscheinlich) wird aus der Perspektive des ursprünglichen Ziels etwas willkürlich gezogen, aber es ist zufällig die richtige Linie.

Die beiden Regeln zum Erstellen eines Intervalls geben in diesem vereinfachten Beispiel dieselbe Antwort.
Welches (wenn eines der beiden) ist die richtige Motivation oder die richtige Art, über die Konstruktion eines Konfidenzintervalls nachzudenken?
(Vielleicht entfernen Sie die Verteilungsannahme für$\hat\theta$ oben würde einen der Ansätze ungültig machen und klarstellen, dass er im Allgemeinen unangemessen ist und in diesem Beispiel nur zufällig die richtige Antwort gibt?)

Beispiel mit 100 Bernoulli-Versuchen

Die Konstruktion von Konfidenzintervallen könnte in einem Diagramm von platziert werden $\theta$ gegen $\hat{\theta}$ wie hier:

Können wir eine Nullhypothese mit Konfidenzintervallen ablehnen, die durch Stichproben anstelle der Nullhypothese erstellt wurden?

In meiner Antwort auf diese Frage verwende ich die folgende Grafik:

Beachten Sie, dass dieses Bild ein Klassiker und eine Adaption von The Use of Confidence oder Fiducial Limits ist, die im Fall des Binomial CJ Clopper und ES Pearson Biometrika Vol. 2 dargestellt sind. 26, Nr. 4 (Dezember 1934), S. 404-413

Sie könnten eine definieren $\alpha$-% Vertrauensbereich auf zwei Arten:

• in vertikaler Richtung $L(\theta) < X < U(\theta)$ die Wahrscheinlichkeit für die Daten $X$, abhängig davon, ob der Parameter wirklich ist $\theta$, innerhalb dieser Grenzen zu fallen ist $\alpha$ .

• in horizontaler Richtung $L(X) < \theta < U(X)$ Die Wahrscheinlichkeit, dass ein Experiment den wahren Parameter innerhalb des Konfidenzintervalls hat, ist $\alpha$%.

Korrespondenz zwischen zwei Richtungen

Der entscheidende Punkt ist also, dass zwischen den Intervallen eine Entsprechung besteht$L(X),U(X)$ und die Intervalle $L(\theta),U(\theta)$. Hierher kommen die beiden Methoden.

Wann du willst $L(X)$ und $U(X)$so nah wie möglich sein ( "so schnell wie möglich ($1−\alpha$) Level Confidence Intervall " ) Dann versuchen Sie, den Bereich der gesamten Region so klein wie möglich zu machen, und dies ähnelt dem Abrufen$L(\theta)$ und $U(\theta)$so nah wie möglich. (Mehr oder weniger gibt es keine eindeutige Möglichkeit, das kürzestmögliche Intervall zu erhalten, z. B. können Sie das Intervall für eine Art von Beobachtung verkürzen$\hat\theta$ auf Kosten einer anderen Art der Beobachtung $\hat\theta$)

Beispiel mit$\boldsymbol{\hat\theta \sim \mathcal{N}(\mu=\theta, \sigma^2=1+\theta^2/3)}$

Um die Differenz zwischen dem ersten und dem zweiten Verfahren veranschaulichen wir justieren Sie das Beispiel ein wenig , so dass wir einen Fall, wo die beiden Methoden nicht unterscheiden.

Das nicht konstant, sondern habe eine Beziehung zu$\sigma$$\mu= \theta$

die Wahrscheinlichkeitsdichtefunktion für die dann , abhängig heißt$\hat \theta$$\theta$

Stellen Sie sich diese Wahrscheinlichkeitsdichtefunktion die als Funktion von und aufgetragen ist .$f(\hat \theta , \theta)$$\theta$$\hat \theta$

Legende: Die rote Linie ist die obere Grenze für das Konfidenzintervall und die grüne Linie ist die untere Grenze für das Konfidenzintervall. Das Konfidenzintervall wird für (ungefähr 68,3%) gezeichnet . Die dicken schwarzen Linien sind die PDF- (2-fache) und Wahrscheinlichkeitsfunktion, die sich in den Punkten und kreuzen. .$\pm 1 \sigma$$(\theta,\hat\theta)=(-3,-1)$$(\theta,\hat\theta)=(0,-1)$

PDF In der Richtung von links nach rechts (konstant ) haben wir die pdf für die Beobachtung gegeben . Sie sehen zwei davon projiziert (in der Ebene ). Beachten Sie, dass die Werte-Grenzen ( als Bereich mit der höchsten Dichte ausgewählt) für ein einzelnes PDF auf derselben Höhe liegen, für verschiedene PDF-Dateien jedoch nicht auf derselben Höhe (nach Höhe bedeutet dies den Wert) von )$\theta$$\hat \theta$$\theta$$\theta = 7$$p$$p<1-\alpha$$f(\hat\theta,\theta)$

Likelihood - Funktion in der Richtung von oben nach unten (constant ) haben wir die Likelihood - Funktion für angesichts der Beobachtung . Sie sehen eine davon rechts projiziert.$\hat \theta$$\theta$$\hat\theta$

Wenn Sie in diesem speziellen Fall die 68% -Masse mit der höchsten Dichte für konstantes auswählen, erhalten Sie nicht das Gleiche wie die Auswahl der 68% -Masse mit der höchsten Wahrscheinlichkeit für konstantes .$\theta$$\hat \theta$

Für andere Prozentsätze des Konfidenzintervalls haben Sie eine oder beide Grenzen bei und das Intervall kann auch aus zwei disjunkten Teilen bestehen. Hier liegt also offensichtlich nicht die höchste Dichte der Wahrscheinlichkeitsfunktion (Methode 2). Dies ist ein eher künstliches Beispiel (obwohl es einfach und schön ist, wie es zu diesen vielen Details führt), aber auch für häufigere Fälle kann man leicht feststellen, dass die beiden Methoden nicht zusammenfallen (siehe das Beispiel hier, in dem das Konfidenzintervall und das glaubwürdige Intervall vorliegen mit einem flachen Prior werden für den Ratenparameter einer Exponentialverteilung verglichen).$\pm \infty$

Wann sind die beiden Methoden gleich?

Diese Horizontale gegen Vertikale ergibt das gleiche Ergebnis, wenn die Grenzen und , die die Intervalle in der Darstellung vs Isolinien für . Wenn sich die Grenzen überall auf derselben Höhe befinden wie in keiner der beiden Richtungen, können Sie eine Verbesserung vornehmen.$U$$L$$\theta$$\hat \theta$$f(\hat \theta ; \theta)$

(im Gegensatz dazu: Im Beispiel mit die Konfidenzintervallgrenzen nicht den gleichen Wert für verschiedene , weil die Wahrscheinlichkeitsmasse für größere stärker verteilt wird, also eine geringere Dichte . Dies führt dazu, dass und nicht an der liegen gleicher Wert , zumindest für einige . Dies widerspricht Methode 2, die versucht, die höchsten Dichten für ein gegebenes auszuwählen$\hat \theta \sim \mathcal{N}(\theta,1+\theta^2/3)$$f(\hat \theta, \theta)$$\theta$$\vert \theta \vert$$\theta_{low}$$\theta_{high}$$f(\hat \theta ; \theta)$$\hat \theta$$f(\hat \theta ; \theta)$$\hat \theta$. Im obigen Bild habe ich versucht, dies zu betonen, indem ich die beiden PDF-Funktionen, die sich auf die Konfidenzintervallgrenzen beziehen, auf den Wert . Sie können sehen, dass sie an diesen Grenzen unterschiedliche Werte des PDF haben.) $\hat \theta= -1$

Tatsächlich scheint die zweite Methode nicht ganz richtig zu sein (es ist eher eine Art Variante eines Wahrscheinlichkeitsintervalls oder eines glaubwürdigen Intervalls als eines Konfidenzintervalls) und wenn Sie % Dichte in horizontaler Richtung auswählen (Begrenzung % der Masse der Wahrscheinlichkeitsfunktion), dann können Sie von den vorherigen Wahrscheinlichkeiten abhängig sein .$\alpha$$\alpha$

Im Beispiel mit der Normalverteilung ist dies kein Problem und die beiden Methoden stimmen überein. Zur Veranschaulichung siehe auch diese Antwort von Christoph Hanck . Dort sind die Grenzen Isolinien. Wenn Sie das ändern, verschiebt sich die Funktion nur und ändert nicht die 'Form'.$\theta$$f(\hat\theta,\theta)$

Bezugswahrscheinlichkeit

Das Konfidenzintervall, wenn die Grenzen in vertikaler Richtung erstellt werden, ist unabhängig von den vorherigen Wahrscheinlichkeiten. Dies ist bei der 2. Methode nicht der Fall.

Dieser Unterschied zwischen der ersten und der zweiten Methode kann ein gutes Beispiel für den subtilen Unterschied zwischen Bezugswahrscheinlichkeit und Konfidenzintervallen sein.