Können RMSE und MAE den gleichen Wert haben?

Ich implementiere eine Kreuzvalidierung und berechne Fehlermetriken wie RMSE, $R^2$ , MAE, MSE usw.

Können RMSE und MAE den gleichen Wert haben?

Ja, theoretisch. Der einfachste Fall, den ich mir vorstellen kann, ist ein Datensatz, bei dem alle Vorhersagefehler (dh Residuen) genau $\pm$ 1 sind. RMSE und MAE geben identische Werte von 1 zurück. Man kann auch andere Szenarien konstruieren, aber keine scheint sehr wahrscheinlich.

EDIT: Dank an @DilipSarwate für den Hinweis (weiter ausgeführt von @ user20160 in ihrer ausgezeichneten Antwort), dass dieses Ergebnis genau dann möglich ist, wenn die absoluten Werte aller Vorhersagefehler identisch sind. Mit anderen Worten, der Wert $\pm$ 1 ist in meinem Beispiel nichts Besonderes . Jede andere Zahl würde anstelle von 1 funktionieren.

Der mittlere absolute Fehler (MAE) kann unter bestimmten Bedingungen dem mittleren quadratischen Fehler (MSE) oder dem mittleren quadratischen Fehler (RMSE) entsprechen, was ich unten zeigen werde. Es ist unwahrscheinlich, dass diese Bedingungen in der Praxis auftreten.

Vorbereitungen

Sei $r_i = |y_i - \hat{y}_i|$bezeichnen den absoluten Wert des Residuums für den $i$ ten Datenpunkt und sei $r = [r_i, \dots, r_n]^T$ ein Vektor, der absolute Residuen für alle $n$ Punkte im Datensatz enthält. Wenn $\vec{1}$ einen $n \times 1$ Vektor von Einsen bezeichnet, können MAE, MSE und RMSE wie folgt geschrieben werden:

$$MAE = \frac{1}{n} \vec{1}^T r \quad MSE = \frac{1}{n} r^T r \quad RMSE = \sqrt{\frac{1}{n} r^T r} \tag{1}$$

MSE

Wenn Sie die MSE gleich der MAE setzen und neu anordnen, erhalten Sie:

$$(r - \vec{1})^T r = 0 \tag{2}$$

MSE und MAE sind für alle Datensätze gleich, bei denen die absoluten Residuen die obige Gleichung lösen. Zwei offensichtliche Lösungen sind: $r = \vec{0}$ (es gibt keinen Fehler) und $r = \vec{1}$ (die Residuen sind alle $\pm 1$ , wie mkt erwähnt). Es gibt jedoch unendlich viele Lösungen.

Wir können Gleichung $(2)$ geometrisch wie folgt interpretieren : Die LHS ist das Punktprodukt von $r-\vec{1}$ und $r$ . Das Nullpunktprodukt impliziert Orthogonalität. MSE und MAE sind also gleich, wenn durch Subtrahieren von 1 von jedem absoluten Residuum ein Vektor erhalten wird, der orthogonal zu den ursprünglichen absoluten Residuen ist.

Durch Ausfüllen des Quadrats kann Gleichung $(2)$ wie folgt umgeschrieben werden:

$$\Big( r-\frac{1}{2} \vec{1} \Big)^T \Big( r-\frac{1}{2} \vec{1} \Big) = \frac{n}{4} \tag{3}$$

Diese Gleichung beschreibt eine $n$ dimensionale Kugel, die bei [ 1] zentriert ist$[\frac{1}{2}, \dots, \frac{1}{2}]^T$mit Radius$\frac{1}{2} \sqrt{n}$ . MSE und MAE sind genau dann gleich, wenn die absoluten Residuen auf der Oberfläche dieser Hypersphäre liegen.

RMSE

Wenn Sie den RMSE gleich dem MAE einstellen und neu anordnen, erhalten Sie:

$$r^T A r = 0 \tag{4}$$

$$A = (n I - \vec{1} \vec{1}^T)$$

wo $I$ die Identitätsmatrix bin . Die Lösungsmenge ist der Nullraum von $A$ ; das heißt, die Menge aller $r$ so dass $A r = \vec{0}$ . Um den Nullraum zu finden, beachten Sie, dass $A$ eine $n \times n$ Matrix mit diagonalen Elementen gleich $n-1$ und allen anderen Elementen gleich $-1$ . Die Aussage $A r = \vec{0}$ entspricht dem Gleichungssystem:

$$(n-1) r_i - \sum_{j \ne i} r_j = 0 \quad \forall i \tag{5}$$

Oder Dinge neu ordnen:

$$r_i = \frac{1}{n-1}\sum_{j \ne i} r_j \quad \forall i \tag{6}$$

$r_i$$A$

$$\{r \mid r = c \vec{1} \enspace \forall c \ge 0\}$$

RMSE und MAE sind also genau dann gleich, wenn die absoluten Werte der Residuen für alle Datenpunkte gleich sind.