Berechnung der Wahrscheinlichkeit aus RMSE

Ich habe ein Modell zur Vorhersage einer Trajektorie (x als Funktion der Zeit) mit mehreren Parametern. Im Moment berechne ich den quadratischen Fehler (RMSE) zwischen der vorhergesagten und der experimentell aufgezeichneten Flugbahn. Derzeit minimiere ich diesen Unterschied (RMSE) mit simplex (fminsearch in matlab). Während diese Methode funktioniert, um gute Anpassungen zu erhalten, möchte ich mehrere verschiedene Modelle vergleichen. Ich denke, ich muss die Wahrscheinlichkeit berechnen, damit ich die maximale Wahrscheinlichkeitsschätzung verwenden kann, anstatt den RMSE zu minimieren (und dann die Modelle mit AIC oder BIC zu vergleichen) ). Gibt es eine Standardmethode dafür?

maximum-likelihood curve-fitting

— Jason
quelle

Der quadratische Mittelwertfehler und die Wahrscheinlichkeit hängen eng zusammen. Angenommen, Sie haben einen Datensatz von Paaren und möchten deren Beziehung mit dem Modell modellieren . Sie beschließen, den quadratischen Fehler zu minimieren $\lbrace x_i, z_i \rbrace$ $f$

\sum_{i} {(f (x_{i}) - z_{i})}^{2}

$\sum_i \left(f(x_i) - z_i\right)^2$

Ist diese Wahl nicht völlig willkürlich? Sicher, Sie wollen Schätzungen, die völlig falsch sind, mehr bestrafen als solche, die in etwa richtig sind. Es gibt jedoch einen sehr guten Grund, den quadratischen Fehler zu verwenden.

Erinnern Sie sich an die Gaußsche Dichte: wobeidie Normalisierungskonstante ist, um die wir uns momentan nicht kümmern. Nehmen wir an, dass Ihre Zieldatennach einem Gaußschen verteilt sind. So können wir die Wahrscheinlichkeit der Daten aufschreiben. $\frac{1}{Z}\exp \frac{-(x - \mu)^2}{2\sigma^2}$ $Z$ $z$

L = \prod_{i} \frac{1}{Z} \exp \frac{- (f (x_{i}) - z_{i})^{2}}{2 σ^{2}}

$\mathcal{L} = \prod_i \frac{1}{Z}\exp \frac{-(f(x_i) - z_i)^2}{2\sigma^2}$

Nun, wenn Sie den Logarithmus davon nehmen ...

\log L = \sum_{i} \frac{- (f (x_{i}) - z_{i})^{2}}{2 σ^{2}} - \log Z

$\log \mathcal{L} = \sum_i \frac{-(f(x_i) - z_i)^2}{2\sigma^2} - \log Z$

... es stellt sich heraus, dass es sehr eng mit dem Effektivwert zusammenhängt: Die einzigen Unterschiede sind einige konstante Terme, eine Quadratwurzel und eine Multiplikation.

Kurz gesagt: Die Minimierung des quadratischen Durchschnittsfehlers entspricht der Maximierung der Protokollwahrscheinlichkeit der Daten.

— bayerj
quelle

Danke für die klare Erklärung. Wenn ich also zwei (nicht eingebettete) Modelle mit BIC vergleichen möchte, kann ich bei der Berechnung der Wahrscheinlichkeit einfach die Sigma ^ 2- und Z-Terme löschen (vorausgesetzt, sie sind für alle Modelle gleich).

— Jason

Ja. Beide Begriffe hängen nur von ab

σ

$\sigma$ , so können Sie sie fallen lassen, wenn beide

σ

$\sigma$ s sind gleich.

— Bayerj

Ich denke, es gibt einen Fehler im letzten Schritt oben (das Protokoll der Wahrscheinlichkeit nehmen), es sollte sein:

\log L = \sum_{i} \frac{(f (x_{i}) - z_{i})^{2}}{2 σ^{2}} - \log Z

$\log \mathcal{L} = \sum_i \frac{(f(x_i) - z_i)^2}{2\sigma^2} - \log Z$ This doesn't change the "bottom line" because the log likelihood is linearly related to the RMSE, so minimizing RMSE is equivalent to minimizing log likelihood

— Jason

Is there a negative sign missing in the Gaussian distribution?

— Manoj

Shouldn't the conclusion be the opposite? Minimizing the sum of squared errors maximizes the log-likelihood (for a fixed

σ

$\sigma$ ), and thus maximizes the likelihood (since log is monotonic).

— Tim Goodman