Ableitung von Konfidenz- und Vorhersageintervallen von Vorhersagen für Probit und Logit (und GLMs im Allgemeinen)

Die Ableitung des Vorhersageintervalls für das lineare Modell ist recht einfach: Erhalten einer Formel für Vorhersagegrenzen in einem linearen Modell .

Wie lassen sich die Konfidenz- und Vorhersageintervalle für die angepassten Werte der Logit- und Probit-Regressionen (und GLMs im Allgemeinen) ableiten ?

— Statistiklerner
quelle

Definieren Sie "Vorhersagen" für ein binäres Ergebnis als Stichprobenmittelwert, wie einen Anteil oder einen Prozentsatz?

— AdamO

@AdamO Ich denke, er / sie definiert Vorhersagen der logistischen Regression als die vorhergesagte bedingte Wahrscheinlichkeit. Das heißt, die Vorhersage ist , ein Schätzer für , nicht .

\hat{p} (x)

$\hat{p}(x)$

P (Y | X = x)

$P(Y|X=x)$

\hat{Y} (x)

$\hat{Y}(x)$

— DeltaIV

@AdamO gute Frage, ich möchte ein Intervall, in dem meine Vorhersagen die zukünftigen Werte von 95% der Zeit abdecken . Dies könnte mit einem Intervall für geschehen , das sich in einem Intervall von Vorhersagen niederschlägt (das trivial entweder nur 0, nur 1 oder 0 und 1 sein würde, denke ich).

y

$y$

\hat{p}

$\hat{p}$

— Statistikschüler

@statslearner Ich verstehe nicht. Haben Sie eine endliche Intervall wollen, die den zukünftigen Wert deckt , der Zeit? Hier ist es: . Es kommt nicht einmal auf , was könnte man mehr verlangen? Im Ernst, ich halte es nicht für sinnvoll, nach einem Vorhersageintervall mit einer Bernoulli-Ausgabe zu fragen. Wenn Sie dagegen die logistische Regression für eine Binomialvariable verwenden, ist ein Vorhersageintervall sinnvoll ...

y

$y$

100 %

$100\%$

I = [0, 1]

$I=[0,1]$

x

$x$

— DeltaIV

@statslearner hmmm warte, vielleicht reden wir über das gleiche. Fixieren Sie , nehmen Sie mal ab und suchen Sie nach einem Vorhersageintervall für die Anzahl der Erfolge? Die Punktschätzung ist offensichtlich , und ein trivialer PI ist , aber Sie möchten ein besseres (kürzeres) Intervall. Wenn ja, schauen Sie hier: stats.stackexchange.com/questions/255570/…

x

$x$

y | x

$y|x$

n

$n$

n \hat{p} (x)

$n\hat{p}(x)$

100 %

$100\%$

[0, n]

$[0,n]$

— DeltaIV

Antworten:

In GLM ist die Vorhersage eine nichtlineare Funktion des Produkts der Kovariaten mit dem geschätzten Koeffizientenvektor : Endliche Stichprobenverteilung von ist im Allgemeinen unbekannt, aber solange eine maximale Wahrscheinlichkeitsschätzung ist , hat es eine asymptotische Normalverteilung , wobei ist die hessische Matrix der Wahrscheinlichkeitsfunktion in ihrem Maximum. Die p-Werte von $f$ $X$ $\hat{\beta}$

\hat{y} = f (X \hat{β})

$\hat{y} = f(X\hat{\beta})$

\hat{β}

$\hat{\beta}$

\hat{β}

$\hat{\beta}$

N (β, - H^{- 1})

$\mathcal{N}(\beta, -H^{-1})$

H

$H$

β

$\beta$ die als Ergebnis einer Regression gezeigt werden, basieren fast immer auf dieser Asymptotik. Wenn Sie jedoch der Meinung sind, dass Ihre Stichprobe für Asymptotika zu klein ist, verwenden Sie die numerische Verteilung (z. B. Bootstrapping).

Wenn Sie die asymptotische Normalverteilung von (und damit ) verwenden, ist die Verteilung von aufgrund von nichtlinearem immer noch nicht normal . Sie können es ignorieren - erhalten Sie normale Konfidenzgrenzen für und fügen Sie sie in , wobei Sie Grenzen für als . $\hat{\beta}$ $X\hat{\beta}$ $\hat{y}$ $f$ $(z_{lower}, z_{upper})$ $X\beta$ $f$ $y$ $(y_{lower}, y_{upper}) = (f(z_{lower}), f(z_{upper}))$

Eine andere Strategie ( Delta-Methode genannt ) besteht darin, eine Taylor-Erweiterung von um - sie wird in linear sein . Daher können Sie die Verteilung von als $f$ $X\hat{\beta}$ $\hat{\beta}$ $f(X\hat{\beta})$

f (X \hat{β}) \sim N (f (X β), - (f^{^{'}} (X β))^{2} X H^{- 1} X^{T})

$f(X\hat{\beta}) \sim \mathcal{N}\left(f(X\beta), -(f^{'}(X\beta))^2 X H^{-1} X^T \right)$

Dann würde das asymptotische 95% -Konfidenzintervall für so aussehen $f(X\beta)$

f (X \hat{β}) \pm 1.96 \sqrt{(f^{^{'}} (X \hat{β}))^{2} X H (\hat{β})^{- 1} X^{T}}

$f(X\hat{\beta}) \pm 1.96 \sqrt{(f^{'}(X\hat{\beta}))^2 X H(\hat{\beta})^{-1} X^T}$

Jetzt müssen Sie nur noch Ausdruck für hessische Matrizen für bestimmte Modelle finden, wie z. B. die logistische Regression in dieser Frage . Und diese Frage bietet einen praktischen Vergleich von Bootstrap, transformierten Normalgrenzen und Delta-Methode für die logistische Regression.

— David Dale
quelle

Aber gibt das ein Konfidenzintervall oder ein Vorhersageintervall von . Es sieht nur nach einem Konfidenzintervall aus, nicht wahr? Es ist der Ansicht, dass für ein Vorhersageintervall ein zusätzliches Rauschen berücksichtigt werden sollte.

\hat{y}

$\hat{y}$

— Statistikschüler

Das ist in der Tat nur ein Konfidenzintervall. Bei binären Antwortmodellen (wie Logit und Probit) ist die Vorhersage jedoch bereits probabilistisch - die tatsächliche Ausgabe beträgt 1 oder 0 mit einer gewissen Wahrscheinlichkeit. Das heißt, "Vorhersageintervall" ist immer entweder oder (wenn die vorhergesagte Wahrscheinlichkeit sehr klein ist) oder (wenn die vorhergesagte Wahrscheinlichkeit sehr groß ist). Diese vorhergesagte Wahrscheinlichkeit kann jedoch variieren, und das Konfidenzintervall spiegelt dies wider.

[0, 1]

$[0, 1]$

[0, 0]

$[0, 0]$

[1, 1]

$[1,1]$

— David Dale

Wenn alles andere fehlschlägt, können Sie jederzeit Bootstrap-CIs für jede Statistik erstellen. Hier ist ein einfacher Algorithmus:

Zeichnen Sie Proben mit Ersetzung aus (wobei die Anzahl der Zeilen in ). Sie werden feststellen, dass ungefähr 2/3 Ihrer Beobachtungen in einer solchen Stichprobe erscheinen. $N$ $X$ $N$ $X$
Verwenden Sie diese Beispiele, um ein Modell anzupassen
Verwenden Sie dieses Modell, um Vorhersagen für die Beobachtungen in zu generieren, die im Training nicht verwendet wurden. $X$
Wiederholen Sie diesen Vorgang ungefähr 100 Mal (je mehr desto besser), um eine Sammlung von Vorhersagen für jede Beobachtung zu sammeln. Diese Sammlung ist eine Annäherung an die Verteilung Ihrer Vorhersagen. Nennen Sie diese Ihre "Bootstrap-Vorhersagen".
Konstruieren Sie Konfidenzintervalle, indem Sie Quantile für die Vorhersagen verwenden. Berechnen Sie beispielsweise für eine bestimmte Beobachtung die Quantile .025 und .975 für ein 95% -Konfidenzintervall.

— David Marx
quelle

Das ist interessant, aber unter welchen Umständen können Sie mir garantieren, dass dies in 95% der Fälle der Fall ist?

— Statistikschüler