Ich habe 3 Datensätze des gleichen Systems. Aber für den ersten habe ich 21 Messungen. Für die zweite und dritte habe ich nur 9 Messungen. Jetzt habe ich ein Modell mit diesen 3 Datensätzen erstellt (also 3 Modelle, 1 pro Datensatz). Wenn ich den Fehler zwischen diesen beiden Datensätzen vergleichen möchte. Gibt es einen klaren Vorteil bei der Verwendung der MSE anstelle der LSE (Fehler im kleinsten Quadrat)? Im Internet finde ich keine klare Antwort darauf. Was sind die Hauptvorteile?
Antworten:
Ich denke, Sie sind verwirrend, wie man ein Modell aus Daten erstellt und wie man die Genauigkeit eines Modells nach seiner Erstellung quantifiziert.
Wenn Sie ein Modell erstellen möchten (in Ihrem Fall lineare Regression, denke ich?), Verwenden Sie normalerweise die Methode der kleinsten Fehlerquadrate , mit der der "gesamte" euklidische Abstand zwischen einer Linie und den Datenpunkten minimiert wird. Theoretisch können die Koeffizienten dieser Linie mithilfe von Kalkül ermittelt werden. In der Praxis führt ein Algorithmus jedoch einen Gradientenabstieg durch, der schneller ist.
Sobald Sie Ihr Modell haben, möchten Sie dessen Leistung bewerten. Im Falle einer Regression kann es daher sinnvoll sein, eine Metrik zu berechnen, die bewertet, wie weit Ihr Modell von den tatsächlichen Datenpunkten (oder Testsatzdaten, falls vorhanden) im Durchschnitt entfernt ist. Die MSE ist eine gute Schätzung, die Sie möglicherweise verwenden möchten!
Zusammenfassend lässt sich sagen, dass LSE eine Methode zum Erstellen eines Modells ist und MSE eine Metrik, mit der die Leistung Ihres Modells bewertet wird.
MSE (Mean Squared Error) ist der Mittelwert des quadratischen Fehlers, dh die Differenz zwischen dem Schätzer und dem geschätzten. MMSE (Minumum Mean Square Error) ist ein Schätzer, der MSE minimiert. Daher sind LSE und MMSE vergleichbar, da beide Schätzer sind. LSE und MSE sind nicht vergleichbar, wie von Anil angegeben. Theoretisch gibt es einige wichtige Unterschiede zwischen MMSE und LSE.
MMSE ist für alle Realisierungen des Prozesses optimal, während LSE für die angegebenen Daten selbst optimal ist. Dies liegt daran, dass MMSE Ensemble-Durchschnittswerte (Erwartungen) verwendet, während LSE den Zeitdurchschnitt verwendet.
Praktisch bedeutet dies: 1. Für MMSE müssen Sie die statistischen Eigenschaften zweiter Ordnung der Daten (Kreuzkorrelation und Autokorrelation) kennen, während Sie für LSE nur die Daten benötigen. Autokorrelation und Kreuzkorrelation sind rechenintensiv und eine genaue Berechnung erfordert viele Datenpunkte / Experimente. 2. MMSE-Koeffizienten sind für den Prozess optimal, sodass sie für alle Datensätze des Prozesses optimal sind, während LSE nur für den jeweiligen Datensatz optimal ist. LSE-Koeffizienten bleiben nicht optimal, wenn sich der Datensatz ändert.
Beachten Sie auch, dass sich MMSE der LSE nähert, wenn der Prozess ergodisch ist und die Anzahl der Datenpunkte gegen unendlich geht.
Ich glaube, die derzeitige erste Antwort von Anil Narassiguin ist irreführend. Unten heißt es: "LSE ist eine Methode, mit der ein Modell erstellt wird, und MSE ist eine Metrik, mit der die Leistung Ihres Modells bewertet wird."
Das ist einfach nicht wahr. Grundsätzlich handelt es sich bei beiden um Verlust- / Kostenfunktionen . Beide berechnen den Fehler der aktuellen Vorhersagen während der Iteration, damit die Gewichte optimiert werden können.
LSE wird jedoch für Klassifizierungsprobleme verwendet, während MSE für Regressionsprobleme verwendet wird. Ich glaube, dies ist der Hauptunterschied zwischen diesen beiden, also müssen Sie herausfinden, welche Art von Problem Sie haben, Regression der Klassifizierung.