Was ist der Unterschied zwischen der Varianz und dem mittleren quadratischen Fehler?

Ich bin überrascht, dass dies noch nicht gestellt wurde, aber ich kann die Frage nicht auf stats.stackexchange finden.

Dies ist die Formel zur Berechnung der Varianz einer normalverteilten Stichprobe:

\frac{\sum (X - \bar{X})^{2}}{n - 1}

$\frac{\sum(X - \bar{X}) ^2}{n-1}$

Dies ist die Formel zur Berechnung des mittleren quadratischen Fehlers von Beobachtungen in einer einfachen linearen Regression:

\frac{\sum (y_{i} - {\hat{y}}_{i})^{2}}{n - 2}

$\frac{\sum(y_i - \hat{y}_i) ^2}{n-2}$

Was ist der Unterschied zwischen diesen beiden Formeln? Der einzige Unterschied, den ich sehen kann, ist, dass MSE . Wenn dies der einzige Unterschied ist, warum nicht beide als Varianz bezeichnen, aber mit unterschiedlichen Freiheitsgraden? $n-2$

variance error

— Luciano
quelle

Was ist an der Wikipedia-Seite hier nicht klar?

— TrynnaDoStat

Die Varianz ist der Durchschnitt der quadratischen Abweichung der Beobachtungen vom Mittelwert. Die MSE hingegen ist der Durchschnitt der quadratischen Abweichungen der Vorhersagen von den wahren Werten.

— random_guy

Sowohl "Varianz" als auch "mittlerer quadratischer Fehler" haben mehrere Formeln und unterschiedliche Anwendungen. Könnten Sie zur Klärung Ihrer Frage (a) beschreiben, auf welche Art von Daten Sie diese Konzepte anwenden, und (b) Formeln dafür angeben? (Wahrscheinlich werden Sie auf diese Weise auch die Antwort auf Ihre Frage finden.)

— whuber

Es gibt eine allgemeine Formel, die beide sind Sonderfälle:

wobei

die Anzahl der Parameter zu erhalten geschätzt ist

\frac{\sum_{i} (y_{i} - {\hat{y}}_{i})^{2}}{n - p}

$\frac{\sum_i(y_i-\hat{y}_i)^2}{n-p}$

p

$p$

\hat{y}

$\hat{y}$

— Glen_b -Reinstate Monica

@ Glen_b Können Sie bitte eine Referenz für weitere Informationen zu dieser allgemeinen Formel bereitstellen?

— trianta2

Antworten:

Der mittlere quadratische Fehler, wie Sie ihn für OLS geschrieben haben, verbirgt etwas:

\frac{\sum_{i}^{n} (y_{i} - {\hat{y}}_{i})^{2}}{n - 2} = \frac{\sum_{i}^{n} {[y_{i} - ({\hat{β}}_{0} + {\hat{β}}_{x} x_{i})]}^{2}}{n - 2}

$\frac{\sum_{i}^{n}(y_i - \hat{y}_i) ^2}{n-2} = \frac{\sum_{i}^{n}\left[y_i - \left(\hat{\beta}_{0} + \hat{\beta}_{x}x_{i}\right)\right] ^2}{n-2}$

Beachten Sie, dass der Zähler über eine Funktion von $y$ und $x$ summiert , sodass Sie für jede Variable einen Freiheitsgrad verlieren, also $n-2$ . In der Formel für die Stichprobenvarianz ist der Zähler eine Funktion einer einzelnen Variablen, sodass Sie im Nenner nur einen Freiheitsgrad verlieren.

Sie sind jedoch auf dem richtigen Weg zu bemerken, dass dies konzeptionell ähnliche Mengen sind. Die Stichprobenvarianz misst die Streuung der Daten um den Stichprobenmittelwert (in quadratischen Einheiten), während die MSE die vertikale Streuung der Daten um die Stichprobenregressionslinie (in quadratischen vertikalen Einheiten) misst.

— Alexis
quelle

@amoeba Hey! Danke für ihre Aufmerksamkeit. Gibt es einen offiziellen Lebenslauf-Styleguide, der diese Bearbeitung veranlasst hat? Wenn ja, möchte ich davon erfahren. Wenn nicht, hat Glen_b mich einmal zu Recht ermahnt, dass ich mit meinen persönlichen Stilvorlieben kolonialisiert und andere Qs und As bearbeitet habe. Was denkst du? (Und ich frage dies in einem kollegialen Ton: Ich denke, Ihre Bearbeitung fügt etwas hinzu. Ich möchte nur unsere Bearbeitungswerte besser verstehen.)

— Alexis

Ich glaube nicht, dass es einen offiziellen Lebenslauf-Styleguide gibt, der diesen Vorschlag macht, aber in LaTeX gibt es Inline- Formeln (markiert mit einem Dollarzeichen), die direkt im Textblock gerendert werden, und angezeigte Formeln (markiert mit zwei Dollarzeichen). die in einer separaten Zeile gerendert werden. Angezeigte Formeln verwenden ein anderes Layout. Ihre Formel befand sich ursprünglich in einer separaten Zeile, war jedoch mit einem Dollarzeichen markiert. Ich halte das nicht für sinnvoll. Sie haben jedoch Recht mit Ihren persönlichen Vorlieben. Sie können sich also gerne entschuldigen. Der Grund, den ich bearbeitet habe, war, dass ich sowieso einen Tippfehler im Q behoben habe.

— Amöbe sagt Reinstate Monica

β_{0}

$\beta_0$

n - 1

$n-1$

n - 2

$n-2$

$n$ $n-1$ $n$ $n-1$

$= \beta_{0} + \beta_{1}\times x$ $\beta_{0}$ $\beta_{1}$ $n-2$

— Brajesh Kumar
quelle