RMSE vs. Bestimmungskoeffizient

Ich evaluiere ein physikalisches Modell und möchte wissen, welche der Methoden ich hier anwenden soll (zwischen RMSE und Bestimmungskoeffizient R2)

Das Problem ist wie folgt: Ich habe eine Funktion, die Vorhersagen für den Eingabewert x ausgibt, . Ich habe auch die tatsächliche Beobachtung für diesen Wert, den ich .$\overline{y_x}= f(x)$$y_x$

Meine Frage ist, was sind die Vor- und Nachteile von RMSE oder . Ich habe beide in Zeitungen für das Problem gesehen, an dem ich arbeite.$R^2$

Ich habe sie beide benutzt und muss ein paar Punkte ansprechen.

• Rmse ist nützlich, weil es einfach zu erklären ist. Jeder weiß was es ist.
• Rmse zeigt keine relativen Werte an. Wenn , müssen Sie den Bereich genau kennen . Wenn , dann ist 0,2 ein guter Wert. Wenn , scheint es nicht mehr so ​​gut zu sein.α < y x < β α = 1 , β = 1000 α = 0 , β = $rmse=0.2$$\alpha <y_x< \beta$$\alpha=1, \beta=1000$$\alpha=0, \beta=1$
• In Anlehnung an den vorherigen Ansatz ist rmse ein guter Weg, um die Tatsache zu verbergen, dass die von Ihnen befragten Personen oder die von Ihnen durchgeführten Messungen größtenteils einheitlich sind (alle haben das Produkt mit 3 Sternen bewertet), und Ihre Ergebnisse sehen gut aus, weil Daten Ihnen geholfen haben. Wenn die Daten etwas zufällig wären, würden Sie feststellen, dass Ihr Modell den Jupiter umkreist.
• Verwenden Sie einen angepassten Bestimmungskoeffizienten anstelle des normalen$R^2$
• Der Bestimmungskoeffizient ist schwer zu erklären. Sogar Leute vom Feld benötigen einen Fußnotentipp wie \ footnote {Der angepasste Bestimmungskoeffizient ist der Anteil der Variabilität in einem Datensatz, der durch das statistische Modell erklärt werden kann. Dieser Wert zeigt, wie gut zukünftige Ergebnisse vom Modell vorhergesagt werden können. kann 0 als Minimum und 1 als Maximum annehmen.}$R^2$
• Der Bestimmungskoeffizient sagt jedoch sehr genau aus, wie gut Ihr Modell ein Phänomen erklärt. Wenn ist , ist Ihr Modell ungeachtet der Werte schlecht. Ich glaube, der Cut-off-Punkt für ein gutes Modell beginnt bei 0,6, und wenn Sie etwas zwischen 0,7 und 0,8 haben, ist Ihr Modell sehr gut.y $R^2=0.2$$y_x$
• Um es zusammenzufassen: besagt, dass Sie mit Ihrem Modell 70% dessen erklären können, was in den realen Daten vor sich geht. Der Rest, 30%, ist etwas, das Sie nicht kennen und das Sie nicht erklären können. Dies liegt wahrscheinlich daran, dass es verwirrende Faktoren gibt oder dass Sie beim Erstellen des Modells einige Fehler gemacht haben.$R^2=0.7$
• In der Informatik verwendet fast jeder rmse. Die Sozialwissenschaften verwenden häufiger.$R^2$
• Wenn Sie die Parameter in Ihrem Modell nicht begründen müssen, verwenden Sie einfach rmse. Wenn Sie jedoch Ihre Parameter beim Erstellen Ihres Modells eingeben, entfernen oder ändern müssen, müssen Sie zu zeigen, dass diese Parameter die Daten am besten erklären können.$R^2$
• Wenn Sie , codieren Sie in der R-Sprache. Es hat Bibliotheken, und Sie geben ihm nur die Daten, um alle Ergebnisse zu haben.$R^2$

Für einen angehenden Informatiker war es aufregend, über Statistik zu schreiben. Mit freundlichen Grüßen.

Unabhängig davon, welchen Fehlerwert Sie angeben, können Sie den vollständigen Ergebnisvektor in einem Anhang angeben. Personen, die gerne mit Ihrer Methode vergleichen, aber eine andere Fehlermessung bevorzugen, können diesen Wert aus Ihrer Tabelle ableiten.

:$R^2$

• $R^2$

• $R^2$

• Kann durch die leicht verständliche Formel ausgedrückt werden, in der Sie das Verhältnis der Summe der quadrierten Residuen aufbauen und durch den Mittelwert dividieren:

$R^2 = 1 - {\frac{SS_E}{mean}} = 1 - \frac{\sum{(y_i - \overline{y_i}})^2}{\sum{(y_i - \overline{y}})^2}$

• $R^2_{adj.}$

$RMSE$

• $RMSE$$RMSE$$R^2$

• $rel. RMSE$$rel. RMSE$

Wie bereits erwähnt, hängt die Auswahl möglicherweise von Ihrem Fachgebiet und dem Stand der Technik ab. Gibt es auch eine sehr akzeptierte Methode zum Vergleichen? Verwenden Sie die gleiche Messung wie sie, und Sie können die Vorteile Ihrer Methoden in der Diskussion direkt miteinander verknüpfen.

$R^2$

Ich würde Folgendes als eine sehr allgemeine Anleitung verwenden, um den Unterschied zwischen beiden Metriken zu verstehen:

Der RMSE gibt Ihnen einen Eindruck davon, wie nah (oder fern) Ihre vorhergesagten Werte von den tatsächlichen Daten sind, die Sie zu modellieren versuchen. Dies ist in einer Vielzahl von Anwendungen nützlich, in denen Sie die Genauigkeit und Präzision der Vorhersagen Ihres Modells verstehen möchten (z. B. Modellierung der Baumhöhe).

Vorteile

1. Es ist relativ einfach zu verstehen und zu kommunizieren, da sich die gemeldeten Werte in denselben Einheiten befinden wie die abhängige Variable, die modelliert wird.

Nachteile

1. Es ist empfindlich gegenüber großen Fehlern (benachteiligt größere Vorhersagefehler mehr als kleinere Vorhersagefehler).

$R^2$

Vorteile

1. Gibt einen Gesamtüberblick darüber, wie gut Ihre ausgewählten Variablen zu den Daten passen.

Nachteile

1. $R^2$$R^2$

Natürlich unterliegt das Obige der Stichprobengröße und dem Stichprobenentwurf sowie dem allgemeinen Verständnis, dass Korrelation keine Kausalität impliziert.

Es gibt auch MAE, Mean Absolute Error. Im Gegensatz zu RMSE reagiert es nicht übermäßig auf große Fehler. Nach dem, was ich gelesen habe, bevorzugen einige Felder RMSE, andere MAE. Ich benutze gerne beide.

Damit statistische Wissenschaftler die beste Anpassung des Modells kennen, ist RMSE für die Personen in seiner robusten Forschung sehr wichtig. Wenn RMSE sehr nahe bei Null liegt, ist das Modell am besten angepasst.

Der Bestimmungskoeffizient ist gut für andere Wissenschaftler wie die Landwirtschaft und andere Bereiche. Es ist ein Wert zwischen 0 und 1. Wenn es 1 ist, stimmen 100% der Werte mit den beobachteten Datensätzen überein. Wenn es 0 ist, dann sind die Daten völlig heterogen. Dr.SK.Khadar Babu, VIT Universität, Vellore, Tamil Nadu, Indien.

Wenn zu jedem Element eines der Vektoren eine Zahl hinzugefügt wird, ändert sich RMSE. Gleich, wenn alle Elemente in einem oder beiden Vektoren mit einer Zahl multipliziert werden. R-Code folgt;

#RMSE vs pearson's correlation
one<-rnorm(100)
two<-one+rnorm(100)

rumis<-(two - one)^2
(RMSE<-sqrt(mean(rumis)))
cor(one,two)

oneA<-one+100

rumis<-(two - oneA)^2
(RMSE<-sqrt(mean(rumis)))
cor(oneA,two)

oneB<-one*10
twoB<-two*10

rumis<-(twoB - oneB)^2
(RMSE<-sqrt(mean(rumis)))
cor(oneB,twoB)
cor(oneB,twoB)^2

Letztendlich ist der Unterschied nur Standardisierung, da beide zur Wahl des gleichen Modells führen, da RMSE - mal die Anzahl der Beobachtungen im Zähler oder R - Quadrat ist und der Nenner des letzteren über alle Modelle hinweg konstant ist (zeichnen Sie einfach ein Maß gegen das andere für 10 verschiedene Modelle).