Konfidenzintervall von RMSE

Ich habe eine Stichprobe von Datenpunkten aus einer Population entnommen . Jeder dieser Punkte hat einen wahren Wert (bekannt aus der Grundwahrheit) und einen geschätzten Wert. Ich berechne dann den Fehler für jeden abgetasteten Punkt und berechne dann den RMSE der Probe. $n$

Wie kann ich dann basierend auf der Stichprobengröße eine Art Konfidenzintervall um diesen RMSE ableiten ? $n$

Wenn ich den Mittelwert anstelle des RMSE verwenden würde, hätte ich kein Problem damit, da ich die Standardgleichung verwenden kann

$m = \frac{Z \sigma}{\sqrt{n}}$

aber ich weiß nicht, ob dies für RMSE und nicht für den Mittelwert gilt. Kann ich das irgendwie anpassen?

(Ich habe diese Frage gesehen , habe aber keine Probleme damit, ob meine Bevölkerung normalverteilt ist. Darum geht es in der Antwort dort.)

confidence-interval

— robintw
quelle

Was rechnen Sie konkret, wenn Sie "den RMSE der Stichprobe berechnen"? Ist es der RMSE der wahren Werte, der geschätzten Werte oder ihrer Unterschiede?

— Whuber

Ich berechne den RMSE der Differenzen, dh die Quadratwurzel des Mittelwerts der quadrierten Differenzen zwischen dem wahren und dem geschätzten Wert.

— robintw

Wenn Sie die "Grundwahrheit" kennen (obwohl ich nicht sicher bin, was das eigentlich bedeutet), warum brauchen Sie dann die Unsicherheit in RMSE? Versuchen Sie, eine Schlussfolgerung über Fälle zu ziehen, in denen Sie nicht die fundamentale Wahrheit haben? Ist das ein Kalibrierungsproblem?

— Glen_b

@ Glen_b: Ja, genau das versuchen wir zu tun. Wir haben nicht die Grundwahrheit für die gesamte Bevölkerung, nur für die Stichprobe. Wir berechnen dann einen RMSE für die Stichprobe und möchten die Konfidenzintervalle dafür haben, da wir diese Stichprobe verwenden, um den RMSE der Grundgesamtheit abzuleiten.

— robintw

Mögliches Duplikat von SE von RMSE in R

— Curious

Antworten:

Mit einer ähnlichen Begründung wie hier kann ich unter bestimmten Umständen eine Antwort auf Ihre Frage geben.

Let Ihr wahrer Wert für die seine Datenpunkt und den geschätzten Wert. Wenn wir davon ausgehen, dass die Unterschiede zwischen den geschätzten und wahren Werten haben $x_{i}$ $i^{th}$ $\hat{x}_{i}$

Mittelwert Null (dh die verteilt werden um ) $\hat{x}_{i}$ $x_{i}$
einer Normalverteilung folgen
und alle haben die gleiche Standardabweichung $\sigma$

Zusamenfassend:

{\hat{x}}_{i} - x_{i} \sim N (0, σ^{2}),

$\hat{x}_{i}-x_{i} \sim \mathcal{N}\left(0,\sigma^{2}\right),$

dann willst du wirklich ein Konfidenzintervall für . $\sigma$

Wenn die obigen Annahmen zutreffen, gilt folgt einer Verteilung mit(nicht) Freiheitsgraden. Das heisst

\frac{n {RMSE}^{2}}{σ^{2}} = \frac{n \frac{1}{n} \sum_{i} {(\hat{x_{i}} - x_{i})}^{2}}{σ^{2}}

$\frac{n\mbox{RMSE}^{2}}{\sigma^{2}} = \frac{n\frac{1}{n}\sum_{i}\left(\hat{x_{i}}-x_{i}\right)^{2}}{\sigma^{2}}$

χ_{n}^{2}

$\chi_{n}^{2}$

n

$n$

n - 1

$n-1$

\begin{aligned} P (χ_{\frac{α}{2}, n}^{2} \leq \frac{n {RMSE}^{2}}{σ^{2}} \leq χ_{1 - \frac{α}{2}, n}^{2}) = 1 - α \\ \Leftrightarrow P (\frac{n {RMSE}^{2}}{χ_{1 - \frac{α}{2}, n}^{2}} \leq σ^{2} \leq \frac{n {RMSE}^{2}}{χ_{\frac{α}{2}, n}^{2}}) = 1 - α \\ \Leftrightarrow P (\sqrt{\frac{n}{χ_{1 - \frac{α}{2}, n}^{2}}} RMSE \leq σ \leq \sqrt{\frac{n}{χ_{\frac{α}{2}, n}^{2}}} RMSE) = 1 - α . \end{aligned}

$\begin{align} P\left(\chi_{\frac{\alpha}{2},n}^{2}\le\frac{n\mbox{RMSE}^{2}}{\sigma^{2}}\le\chi_{1-\frac{\alpha}{2},n}^{2}\right) = 1-\alpha\\ \Leftrightarrow P\left(\frac{n\mbox{RMSE}^{2}}{\chi_{1-\frac{\alpha}{2},n}^{2}}\le\sigma^{2}\le\frac{n\mbox{RMSE}^{2}}{\chi_{\frac{\alpha}{2},n}^{2}}\right) = 1-\alpha\\ \Leftrightarrow P\left(\sqrt{\frac{n}{\chi_{1-\frac{\alpha}{2},n}^{2}}}\mbox{RMSE}\le\sigma\le\sqrt{\frac{n}{\chi_{\frac{\alpha}{2},n}^{2}}}\mbox{RMSE}\right) = 1-\alpha. \end{align}$

[\sqrt{\frac{n}{χ_{1 - \frac{α}{2}, n}^{2}}} RMSE, \sqrt{\frac{n}{χ_{\frac{α}{2}, n}^{2}}} RMSE]

$\left[\sqrt{\frac{n}{\chi_{1-\frac{\alpha}{2},n}^{2}}}\mbox{RMSE},\sqrt{\frac{n}{\chi_{\frac{\alpha}{2},n}^{2}}}\mbox{RMSE}\right]$

Hier ist ein Python-Programm, das Ihre Situation simuliert

from scipy import stats
from numpy import *
s = 3
n=10
c1,c2 = stats.chi2.ppf([0.025,1-0.025],n)
y = zeros(50000)
for i in range(len(y)):
    y[i] =sqrt( mean((random.randn(n)*s)**2))

print "1-alpha=%.2f" % (mean( (sqrt(n/c2)*y < s) & (sqrt(n/c1)*y > s)),)

Hoffentlich hilft das.

If you are not sure whether the assumptions apply or if you want to compare what I wrote to a different method, you could always try bootstrapping.

— fabee
quelle

I think you are wrong - he wants CI for RMSE, not

σ

$\sigma$ . And I want it too :)

— Curious

I don't think I am wrong. Just think about it like this: The MSE is actually the sample variance since

MSE = {\hat{σ}}^{2} = \frac{1}{n} \sum_{i = 1}^{n} (x_{i} - {\hat{x}}_{i})^{2}

$\mbox{MSE} = \hat\sigma^2 = \frac{1}{n}\sum_{i=1}^n (x_i-\hat x_i)^2$ . The only difference is that you divide by

n

$n$ and not

n - 1

$n-1$ since you are not subtracting the sample mean here. The RMSE would then correspond to

σ

$\sigma$ . Therefore, the population RMSE is

σ

$\sigma$ and you want a CI for that. That's what I derived. Otherwise I must completely misunderstand your problem.

— fabee

The reasoning in the answer by fabee seems correct if applied to the STDE (standard deviation of the error), not the RMSE. Using similar nomenclature, $i=1,\,\ldots,\,n$ is an index representing each record of data, $x_i$ is the true value and $\hat{x}_i$ is a measurement or prediction.

The error $\epsilon_i$ , BIAS, MSE (mean squared error) and RMSE are given by:

ϵ_{i} = {\hat{x}}_{i} - x_{i}, BIAS = \bar{ϵ} = \frac{1}{n} \sum_{i = 1}^{n} ϵ_{i}, MSE = \bar{ϵ^{2}} = \frac{1}{n} \sum_{i = 1}^{n} ϵ_{i}^{2}, RMSE = \sqrt{MSE} .

$\epsilon_i = \hat{x}_i-x_i\,,\\ \text{BIAS} = \overline{\epsilon} = \frac{1}{n}\sum_{i=1}^{n}\epsilon_i\,,\\ \text{MSE} = \overline{\epsilon^2} = \frac{1}{n}\sum_{i=1}^{n}\epsilon_i^2\,,\\ \text{RMSE} = \sqrt{\text{MSE}}\,.$

Agreeing on these definitions, the BIAS corresponds to the sample mean of $\epsilon$ , but MSE is not the biased sample variance. Instead:

{STDE}^{2} = \bar{(ϵ - \bar{ϵ})^{2}} = \frac{1}{n} \sum_{i = 1}^{n} (ϵ_{i} - \bar{ϵ})^{2},

$\text{STDE}^2 = \overline{(\epsilon-\overline{\epsilon})^2} = \frac{1}{n}\sum_{i=1}^{n}(\epsilon_i-\overline{\epsilon})^2\,,$ or, if both BIAS and RMSE were computed,

{STDE}^{2} = \bar{(ϵ - \bar{ϵ})^{2}} = \bar{ϵ^{2}} - {\bar{ϵ}}^{2} = {RMSE}^{2} - {BIAS}^{2} .

$\text{STDE}^2 = \overline{(\epsilon-\overline{\epsilon})^2}=\overline{\epsilon^2}-\overline{\epsilon}^2 = \text{RMSE}^2 - \text{BIAS}^2\,.$ Note that the biased sample variance is being used instead of the unbiased, to keep consistency with the previous definitions given for the MSE and RMSE.

Thus, in my opinion the confidence intervals established by fabee refer to the sample standard deviation of $\epsilon$ , STDE. Similarly, confidence intervals may be established for the BIAS based on the z-score (or t-score if $n<30$ ) and $\left.\text{STDE}\middle/\sqrt{n}\right.$ .

— cvr
quelle

You are right, but missed a part of my answer. I basically assumed that BIAS=0 (see assumption 1). In that case,

R M S E^{2} = S T D E^{2}

$RMSE^2 = STDE^2$ as you derived. Since both

R M S E^{2}

$RMSE^2$ and

B I A S^{2}

$BIAS^2$ are

χ^{2}

$\chi^2$ and there exists a close form solution for the sum of two

χ^{2}

$\chi^2$ RVs, you can probably derive a close form confidence interval for the case when assumption 1 is dropped. If you do that and update your answer, I'll definitely upvote it.

— fabee

Following Faaber 1999, the uncertainty of RMSE is given as

σ (\hat{R M S E}) / R M S E = \sqrt{\frac{1}{2 n}}

$\sigma (\hat{RMSE})/RMSE = \sqrt{\frac{1}{2n}}$ where

n

$n$ is the number of datapoints.

— LKlevin
quelle