Was ist der Unterschied zwischen "Bestimmungskoeffizient" und "mittlerer quadratischer Fehler"?

Bei Regressionsproblemen habe ich gesehen, dass Leute "Bestimmungskoeffizienten" (alias R-Quadrat) verwenden, um die Modellauswahl durchzuführen, z. B. um den geeigneten Strafkoeffizienten für die Regularisierung zu finden.

Es ist jedoch auch üblich, "mittlere Fehlerquadrat" oder "mittlere Fehlerquadratwurzel" als Maß für die Regressionsgenauigkeit zu verwenden.

Was ist der Hauptunterschied zwischen diesen beiden? Könnten sie austauschbar für "Regularisierungs" - und "Regressions" -Aufgaben verwendet werden? Und was sind die Hauptanwendungen in der Praxis, z. B. beim maschinellen Lernen und bei Data Mining-Aufgaben?

regression r-squared

— dolaameng
quelle

$R^2=1-\frac{SSE}{SST}$ , wobei die Summe der quadratischen Fehler (Residuen oder Abweichungen von der Regressionslinie) und die Summe der quadratischen Abweichungen vom Mittelwert des abhängigen Fehlers ist . $SSE$ $SST$ $Y$

$MSE=\frac{SSE}{n-m}$ , wobei die Stichprobengröße und die Anzahl der Parameter im Modell ist (einschließlich etwaiger Abschnitte). $n$ $m$

$R^2$ ist ein standardisiertes Maß für den Grad der Vorhersage oder Anpassung an die Stichprobe. ist die Schätzung der Varianz von Residuen oder Nicht-Fit in der Population. Die beiden Maße hängen eindeutig zusammen, wie aus der gängigsten Formel für bereinigtes (der Schätzung von für die Grundgesamtheit) hervorgeht: $MSE$ $R^2$ $R^2$

$R_{adj}^2=1-(1-R^2)\frac{n-1}{n-m}=1-\frac{SSE/(n-m)}{SST/(n-1)}=1-\frac{MSE}{\sigma_y^2}$ .

— ttnphns
quelle

Ich dachte, MSE ist der Durchschnitt der Fehler, was MSE = SSE / n bedeutet. In welchen Fällen verwenden wir MSE = SSE / (nm)? Bitte erkläre. Danke

— Sincole Brans

@SincoleBrans Siehe en.wikipedia.org/wiki/Mean_squared_error , Abschnitt "Regression".

— TTNPHNS

Ich bin ein bisschen verwirrt. Die Ergebnisse in martin-thoma.com/regression zeigen, dass ein Modell mit R ^ 2 gut (im Vergleich zu einigen anderen Modellen) sein kann, aber gleichzeitig schlecht mit MSE. Können Sie das erklären?

— Martin Thoma