Vertrauensform und Vorhersageintervalle für nichtlineare Regression

Sollen die Konfidenz- und Vorhersagebänder einer nichtlinearen Regression symmetrisch zur Regressionslinie sein? Das heißt, sie nehmen nicht die Sanduhrform an, wie im Fall der Bänder für die lineare Regression. Warum das?

Hier ist das fragliche Modell:

und hier ist die Gleichung:

Es ist zu erwarten, dass die Konfidenz- und Vorhersagebänder in der Regel in der Nähe der Endpunkte breiter werden - und zwar aus dem gleichen Grund, aus dem sie dies bei einer normalen Regression immer tun. Im Allgemeinen führt die Parameterunsicherheit zu größeren Intervallen in der Nähe der Enden als in der Mitte

Sie können dies leicht genug durch Simulation sehen, entweder durch Simulieren von Daten aus einem gegebenen Modell oder durch Simulieren aus der Stichprobenverteilung des Parametervektors.

Die üblichen (ungefähr korrekten) Berechnungen für die nichtlineare Regression beinhalten eine lokale lineare Approximation (wie in Harveys Antwort angegeben), aber auch ohne diese können wir eine Vorstellung davon bekommen, was vor sich geht.

Das Durchführen der tatsächlichen Berechnungen ist jedoch nicht trivial und es kann sein, dass Programme eine Verknüpfung in der Berechnung verwenden, die diesen Effekt ignoriert. Es ist auch möglich, dass bei einigen Daten und Modellen der Effekt relativ gering und schwer zu erkennen ist. In der Tat kann es bei Vorhersageintervallen, insbesondere bei großen Varianzen, aber vielen Daten, manchmal schwierig sein, die Kurve in einer normalen linearen Regression zu sehen - sie können fast gerade aussehen und es ist relativ einfach, Abweichungen von der Geradheit zu erkennen.

Hier ist ein Beispiel dafür, wie schwierig es sein kann, nur mit einem Konfidenzintervall für den Mittelwert zu sehen (Vorhersageintervalle können viel schwerer zu erkennen sein, da ihre relative Variation so viel geringer ist). Hier sind einige Daten und eine nichtlineare Anpassung der kleinsten Quadrate mit einem Konfidenzintervall für den Populationsmittelwert (in diesem Fall generiert aus der Stichprobenverteilung, da ich das wahre Modell kenne, aber etwas sehr Ähnliches könnte durch asymptotische Approximation oder durch Bootstrapping erfolgen):

Die violetten Grenzen sehen fast parallel zu den blauen Vorhersagen aus ... sind es aber nicht. Hier ist der Standardfehler der Stichprobenverteilung dieser mittleren Vorhersagen:

was eindeutig nicht konstant ist.

Bearbeiten:

Diese "sp" -Ausdrücke, die Sie gerade gepostet haben, stammen direkt aus dem Vorhersageintervall für die lineare Regression!

Die Mathematik der Berechnung des Vertrauens und der Vorhersagebänder von Kurven, die durch nichtlineare Regression angepasst werden, werden auf dieser Seite mit Kreuzvalidierung erläutert . Es zeigt, dass die Bänder nicht immer / normalerweise symmetrisch sind.

Und hier ist eine Erklärung mit mehr Worten und weniger Mathematik:

Definieren wir zunächst G | x, das ist der Gradient der Parameter bei einem bestimmten Wert von X und unter Verwendung aller am besten passenden Werte der Parameter. Das Ergebnis ist ein Vektor mit einem Element pro Parameter. Für jeden Parameter wird er als dY / dP definiert, wobei Y der Y-Wert der Kurve ist, wenn der jeweilige Wert von X und alle am besten passenden Parameterwerte angegeben sind, und P einer der Parameter ist.)

G '| x ist der transponierte Gradientenvektor, es handelt sich also eher um eine Spalte als um eine Reihe von Werten. Cov ist die Kovarianzmatrix (inverses Hessisch aus der letzten Iteration). Es ist eine quadratische Matrix mit der Anzahl der Zeilen und Spalten, die der Anzahl der Parameter entspricht. Jedes Element in der Matrix ist die Kovarianz zwischen zwei Parametern. Wir verwenden Cov, um auf die normalisierte Kovarianzmatrix Bezug zu nehmen , wobei jeder Wert zwischen -1 und 1 liegt.

Jetzt rechnen

c = G '| x * Cov * G | x.

Das Ergebnis ist eine einzelne Zahl für einen beliebigen Wert von X.

Die Konfidenz- und Vorhersagebänder sind auf die Best-Fit-Kurve zentriert und erstrecken sich über und unter der Kurve um den gleichen Betrag.

Die Konfidenzbänder erstrecken sich über und unter der Kurve um:

= sqrt (c) * sqrt (SS / DF) * CriticalT (Konfidenz%, DF)

Die Vorhersagebänder erstrecken sich über und unter der Kurve um eine weitere Strecke, die gleich ist:

= sqrt (c + 1) * sqrt (SS / DF) * CriticalT (Konfidenz%, DF)

In diesen beiden Gleichungen hängt der Wert von c (oben definiert) vom Wert von X ab, so dass die Vertrauens- und Vorhersagebänder keine konstante Entfernung von der Kurve sind. Der Wert von SS ist die Summe der Quadrate für die Anpassung, und DF ist die Anzahl der Freiheitsgrade (Anzahl der Datenpunkte minus Anzahl der Parameter). CriticalT ist eine Konstante aus der t-Verteilung, die auf dem gewünschten Konfidenzniveau (traditionell 95%) und der Anzahl der Freiheitsgrade basiert. Bei 95% -Grenzen und einem relativ großen df liegt dieser Wert nahe bei 1,96. Wenn DF klein ist, ist dieser Wert höher.