Ist das R-Quadrat wirklich eine ungültige Metrik für nichtlineare Modelle?

Ich habe gelesen, dass das R-Quadrat für nichtlineare Modelle ungültig ist, da die Beziehung, die SSR + SSE = SSTotal ist, nicht mehr gilt. Kann jemand erklären, warum das so ist?

SSR und SSE sind nur die quadratischen Normen der Regressions- und Restvektoren, deren $i^{th}$ Komponenten sind $(\hat{Y_i}-\bar{Y})$ und $(Y_i-\hat{Y_i})$, beziehungsweise. Solange diese Vektoren orthogonal zueinander sind, sollte die obige Beziehung dann nicht immer gelten, unabhängig von der Art der Funktion, mit der Prädiktorwerte auf angepasste Werte abgebildet werden?

Außerdem sollte nicht der Regression und mit zugehörigen Restvektoren jedem der kleinsten Quadrate Modell sein orthogonal per Definition von der kleinsten Quadrate? Der Restvektor ist die Differenz zwischen dem Vektor$(Y_i-\bar{Y_i})$und der Regressionsvektor. Wenn der Regressionsvektor so ist, dass der Rest- / Differenzvektor nicht orthogonal zu ihm ist, kann der Regressionsvektor mit einer Konstanten multipliziert werden, so dass er jetzt orthogonal zum Rest- / Differenzvektor ist. Dies sollte auch die Norm des Rest- / Differenzvektors reduzieren.

Wenn ich das schlecht erklärt habe, dann sag es mir bitte und ich werde versuchen es zu klären.

Die Quadratsummen bei der linearen Regression sind Sonderfälle der allgemeineren Abweichungswerte im verallgemeinerten linearen Modell. Im allgemeineren Modell gibt es eine Antwortverteilung mit einem Mittelwert, der mit einer linearen Funktion der erklärenden Variablen (mit einem Intercept-Term) verknüpft ist. Die drei Abweichungsstatistiken in einem GLM sind wie folgt definiert:

$$\begin{matrix} \text{Null Deviance} \quad \quad \text{ } \text{ } & & \text{ } D_{TOT} = 2(\hat{\ell}_{S} - \hat{\ell}_0), \\[6pt] \text{Explained Deviance} & & D_{REG} = 2(\hat{\ell}_{p} - \hat{\ell}_0), \\[6pt] \text{Residual Deviance}^\dagger \text{ } & & \text{ } D_{RES} = 2(\hat{\ell}_{S} - \hat{\ell}_{p}). \\[6pt] \end{matrix}$$

In diesen Ausdrücken der Wert $\hat{\ell}_S$ ist die maximierte Log-Wahrscheinlichkeit unter einem gesättigten Modell (ein Parameter pro Datenpunkt), $\hat{\ell}_0$ ist die maximierte Log-Wahrscheinlichkeit unter einem Nullmodell (nur Intercept) und $\hat{\ell}_{p}$ ist die maximierte Log-Wahrscheinlichkeit unter dem Modell (Intercept Term und $p$ Koeffizienten).

Diese Abweichungsstatistiken spielen eine Rolle analog zu skalierten Versionen der Quadratsummen bei der linearen Regression. Es ist leicht zu erkennen, dass sie die Zersetzung befriedigen$D_{TOT} = D_{REG} + D_{RES}$Dies ist analog zur Zerlegung der Quadratsummen in der linearen Regression. In der Tat erhalten Sie in dem Fall, in dem Sie eine normale Antwortverteilung mit einer linearen Verknüpfungsfunktion haben, ein lineares Regressionsmodell, und die Abweichungsstatistik reduziert sich auf Folgendes:

$$\begin{equation} \begin{aligned} D_{TOT} = \frac{1}{\sigma^2} \sum_{i=1}^n (y_i - \bar{y})^2 = \frac{1}{\sigma^2} \cdot SS_{TOT}, \\[6pt] D_{REG} = \frac{1}{\sigma^2} \sum_{i=1}^n (\hat{y}_i - \bar{y})^2 = \frac{1}{\sigma^2} \cdot SS_{REG}, \\[6pt] D_{RES} = \frac{1}{\sigma^2} \sum_{i=1}^n (y_i - \hat{y}_i)^2 = \frac{1}{\sigma^2} \cdot SS_{RES}. \\[6pt] \end{aligned} \end{equation}$$

Der Variationskoeffizient in einem linearen Regressionsmodell ist nun eine Anpassungsgütestatistik, die den Anteil der Gesamtvariation in der Antwort misst, der auf die erklärenden Variablen zurückzuführen ist. Eine natürliche Erweiterung im Fall eines GLM besteht darin, die Statistik zu bilden:

$$R_{GLM}^2 = 1-\frac{D_{RES}}{D_{TOT}} = \frac{D_{REG}}{D_{TOT}}.$$

Es ist leicht zu erkennen, dass sich diese Statistik im Spezialfall der linearen Regression auf den Variationskoeffizienten reduziert, da sich die Skalierungswerte aufheben. Im breiteren Kontext eines GLM hat die Statistik eine natürliche Interpretation, die ihrer Interpretation in der linearen Regression entspricht: Sie gibt den Anteil der Nullabweichung an, der durch die erklärenden Variablen im Modell erklärt wird.

Nachdem wir nun gesehen haben, wie sich die Quadratsummen in der linearen Regression auf die Abweichungen in einem GLM erstrecken, können wir sehen, dass der reguläre Variationskoeffizient im nichtlinearen Modell ungeeignet ist, da er spezifisch für den Fall von a ist lineares Modell mit einem normalverteilten Fehlerterm. Wir können jedoch sehen, dass der Standardvariationskoeffizient zwar unangemessen ist, es jedoch möglich ist, unter Verwendung der Abweichungswerte mit einer analogen Interpretation eine geeignete Analogie zu bilden.

---

$^\dagger$ Die verbleibende Abweichung wird manchmal nur als Abweichung bezeichnet.

Warum sollte SSE + SSR gleich SST sein? Dies war zufällig beim linearen Modell der Fall. Es gibt viele Möglichkeiten zu zeigen, dass es gelten sollte$y=X\beta+\varepsilon$unter Gauß-Markov-Bedingungen. Es muss jedoch im Allgemeinen nicht gelten. Die Last besteht darin, zu beweisen, dass es gilt, nicht, dass es nicht gilt

Während das R-Quadrat aus anderen Gründen in nichtlinearen Modellen immer noch eine fehlerhafte Messung sein kann, glaube ich, dass ich hinreichend gezeigt habe, dass die Beziehung SSR + SSE = SSTotal in einem Modell der kleinsten Quadrate für bestimmte nichtlineare Funktionen, insbesondere für diese, immer noch gilt die einen konstanten Term ermöglichen, wie z. B. Polynommodelle. Ich glaube, dass diese Schlussfolgerung mit dem vereinbar ist, was in dieser Diskussion veröffentlicht wurde, einschließlich dem, was ich über den bereitgestellten ncbi-Link gelesen habe, obwohl ich nicht auf den vollständigen Bericht zugreifen konnte.

Wenn man eine Reihe von angepassten Werten hat $\hat y_i$ in Bezug auf eine Reihe von Beobachtungen $y_i$, wo $\hat y_i$ $= A + f(X) =$ $\bar Y$ $+ (A-\bar Y)$ $+ f(X)$mit $A$ ein konstanter Begriff sein und $f(X)$ eine Funktion von Prädiktorvariablen, in der der Vektor von $(\hat{Y_i} - \bar{Y})$ ist nicht orthogonal zu $(Y_i - \hat{Y_i})$kann man einen neuen Satz angepasster Werte erstellen $Z_i$ so dass $Z_i = c*(\hat{Y_i} - \bar{Y}) + \bar{Y}$, wobei c = $\sum{(\hat{Y_i}-\bar{Y})*(Y_i-\hat{Y_i})} / \sum{(\hat{Y_i} - \bar{Y})^2}$. Mit neu angepassten Werten$Z_i$, der Vektor $(Z_i - \bar{Y})$ wird orthogonal zum Fehlervektor und diesem neuen Fehlervektor sein $(Y_i - Z_i)$ hat eine kleinere Summe von Quadraten als das Original $(Y_i-\hat{Y_i})$. Das$Z_i$ wurden einfach durch Multiplizieren des ursprünglich geschätzten Modells mit einer Konstanten erhalten $"c"$und Hinzufügen eines Vielfachen des Mittelwerts der Beobachtungen, der mit dem Modell mit einem konstanten Term kompatibel ist. Daher sollte ein Modell der kleinsten Quadrate unter diesen Umständen immer orthogonale Regressions- und Fehlervektoren aufweisen, was bedeutet, dass$SSE + SSR = SSTotal$.

Ich habe Polynommodelle für eine Handvoll Datensätze bei der Arbeit erstellt, und diese Beziehung hat zu allen bestanden. Ich sage nur.

$R^2$ist in der nichtlinearen Regression von begrenztem Nutzen. Wir stellen es in GraphPad Prism zur Verfügung, schlagen jedoch vor, es nur auf eine Weise zu verwenden:

Ansehen $R^2$Wenn Sie eine Reihe von Experimenten ausführen und sicherstellen möchten, dass das heutige Experiment mit anderen Experimentläufen übereinstimmt. Zum Beispiel, wenn Sie immer bekommen$R^2$ zwischen 0,90 und 0,95 aber heute hast du $R^2$= 0,75, dann sollten Sie misstrauisch sein und sorgfältig prüfen, ob bei den in diesem bestimmten Experiment verwendeten Methoden oder Reagenzien ein Fehler aufgetreten ist. Und wenn ein neuer Mitarbeiter Ihnen Ergebnisse zeigt$R^2$ von 0,99 mit demselben System sollten Sie sorgfältig prüfen, wie viele "Ausreißer" entfernt wurden und ob einige Daten erstellt wurden.

Mehr .