Warum nicht das R-Quadrat verwenden, um die Prognosegenauigkeit zu messen?

Warum in der Literatur normalerweise die gängigen Genauigkeitsmaße wie MAD, MSE, RMSE, MAPE ... verwendet werden. Warum nicht den (Bestimmungskoeffizient) verwenden? $R^2$

Ich habe über den Unterschied nachgedacht: Mit der MSE kann ich den Durchschnitt der Prognose vergleichen. Und wenn ich benutze, bekomme ich Informationen über die Varianz. $R^2$

Warum wird der Vergleich von Durchschnittswerten am häufigsten verwendet? Kann mir jemand einen Hinweis geben?

— NMe
quelle

In-Sample ist kein geeignetes Maß für die Prognosegenauigkeit, da es keine Überanpassung berücksichtigt. Es ist immer möglich, ein kompliziertes Modell zu erstellen, das perfekt zu den Daten in die Stichprobe passt. Es gibt jedoch keine Garantie dafür, dass ein solches Modell außerhalb der Stichprobe eine anständige Leistung erbringt. $R^2$

außerhalb der Stichprobe , dh die quadratische Korrelation zwischen den Prognosen und den tatsächlichen Werten, ist insofern mangelhaft, als sie die Verzerrung der Prognosen nicht berücksichtigt. $R^2$

Betrachten Sie beispielsweise realisierte Werte

y_{t + 1}, \dots, y_{t + m}

$y_{t+1},\dotsc,y_{t+m}$

und zwei konkurrierende Prognosen:

{\hat{y}}_{t + 1}, \dots, {\hat{y}}_{t + m}

$\hat{y}_{t+1},\dotsc,\hat{y}_{t+m}$

und

{\tilde{y}}_{t + 1}, \dots, {\tilde{y}}_{t + m} .

$\tilde{y}_{t+1},\dotsc,\tilde{y}_{t+m}.$

Nun nimm das an

{\tilde{y}}_{t + i} = c + {\hat{y}}_{t + i}

$\tilde{y}_{t+i}=c+\hat{y}_{t+i}$

für jedes , wobei eine Konstante ist. Das heißt, die Prognosen sind die gleichen, außer dass die zweite um höher ist . Diese beiden Prognosen haben im Allgemeinen unterschiedliche MSE, MAPE usw., aber der ist der gleiche. $i$ $c$ $c$ $R^2$

Stellen Sie sich einen Extremfall vor: Die erste Vorhersage ist perfekt, dh für jedes . Der dieser Prognose wird 1 sein (was sehr gut ist). Das der anderen Prognose ist jedoch ebenfalls 1, obwohl die Prognose für jedes um verzerrt ist . $\hat{y}_{t+i}=y_{t+i}$ $i$ $R^2$ $R^2$ $c$ $i$

— Richard Hardy
quelle

Warum würden Sie das Out-of-Sample- als quadratische Korrelation anstelle eines Out-of-Sample- berechnen ? Wenn ich eine R-Simulation durchführe, erhalte ich das gleiche Ergebnis, dass unverändert bleibt, wenn ich die Vorhersagen außerhalb der Stichprobe vorspanne, wenn ich Ihre Weise berechne, aber die Berechnung von meine Weise einen schrecklichen Wert außerhalb der Stichprobe ergibt (sogar negativ).

R^{2}

$R^2$

1 - \frac{S S E}{T S S}

$1-\frac{SSE}{TSS}$

R^{2}

$R^2$

R^{2}

$R^2$

R^{2}

$R^2$

— Dave

@ Dave, danke für deinen Einblick. Ich sehe es nicht als meinen Weg gegen den Weg eines anderen , sondern als direkte Erweiterung einer Definition eines In-Sample- . Immerhin bezeichnet der Buchstabe R die Korrelation, und der In-Sample ist das Quadrat der Mehrfachkorrelation zwischen den tatsächlichen und den angepassten Werten. Es gibt andere Möglichkeiten, in der Stichprobe zu definieren , was zu derselben Menge in der Stichprobe führt. In der Zwischenzeit sind ihre Erweiterungen außerhalb der Stichprobe nicht gleichwertig. Meine Antwort zeigt, dass eine direkte Erweiterung (wenn auch nicht alle möglichen) als Maß für die Prognosegenauigkeit unsinnig sein kann.

R^{2}

$R^2$

R^{2}

$R^2$

R^{2}

$R^2$

— Richard Hardy

@ Dave, auf jeden Fall ist deine ein guter Punkt! Ich könnte eine Notiz hinzufügen, die besagt, dass sich nicht alle Erweiterungen des In-Sample- zum Out-of-Sample-Fall so schlecht verhalten. Ich müsste mir überlegen, welche von ihnen als Maß für die Prognosegenauigkeit sinnvoll sind und welche nicht.

R^{2}

$R^2$

— Richard Hardy