Multivariate lineare Regression im Vergleich zu mehreren univariaten Regressionsmodellen

In den univariaten Regressionseinstellungen versuchen wir zu modellieren

wobei ein Vektor von n Beobachtungen und X ∈ R n × m die Entwurfsmatrix mit m Prädiktoren ist. Die Lösung ist β 0 = ( X T X ) - 1 X y .$y \in \mathbb{R}^n$$n$$X \in \mathbb{R}^{n \times m}$$m$$\beta_0 = (X^TX)^{-1}Xy$

In den multivariaten Regressionseinstellungen versuchen wir zu modellieren

Dabei ist eine Matrix aus n Beobachtungen und p verschiedenen latenten Variablen. Die Lösung ist , β 0 = ( X T X ) - 1 X Y .$y \in \mathbb{R}^{n \times p}$$n$$p$$\beta_0 = (X^TX)^{-1}XY$

Meine Frage ist , wie ist das anders als die Durchführung verschiedene univariate lineare Regression? Ich habe hier gelesen , dass wir im letzteren Fall die Korrelation zwischen den abhängigen Variablen berücksichtigen, aber ich sehe es nicht aus der Mathematik.$p$

Im Rahmen der klassischen multivariaten linearen Regression haben wir das Modell:

Dabei steht für die unabhängigen Variablen, Y für mehrere Antwortvariablen und ϵ für einen iid-Gaußschen Rauschausdruck. Rauschen hat einen Mittelwert von Null und kann über Antwortvariablen hinweg korreliert werden. Die Maximum-Likelihood-Lösung für die Gewichte entspricht der Lösung der kleinsten Quadrate (unabhängig von Rauschkorrelationen) [1] [2]:$X$$Y$$\epsilon$

Dies entspricht der unabhängigen Lösung eines separaten Regressionsproblems für jede Antwortvariable. Dies ist aus der Tatsache ersichtlich, dass die - te Spalte von β (enthaltenden Gewichte für die i - ten Ausgangsgröße) kann durch Multiplikation erhalten wird ( X T X ) - 1 X T durch die $i$$\hat{\beta}$$i$$(X^T X)^{-1} X^T$$i$ - te Spalte von (mit Werten von die i- te Antwortvariable).$Y$$i$

Die multivariate lineare Regression unterscheidet sich jedoch von der getrennten Lösung einzelner Regressionsprobleme, da statistische Inferenzverfahren Korrelationen zwischen den Mehrfachantwortvariablen berücksichtigen (siehe z. B. [2], [3], [4]). Beispielsweise wird die Rauschkovarianzmatrix in Stichprobenverteilungen, Teststatistiken und Intervallschätzungen angezeigt.

Ein weiterer Unterschied ergibt sich, wenn wir zulassen, dass jede Antwortvariable ihre eigenen Kovariaten hat:

wobei die i- te Antwortvariable darstellt und X i und ϵ i den entsprechenden Satz von Kovariaten und Rauschausdruck darstellen. Wie oben können die Rauschausdrücke über Antwortvariablen hinweg korreliert werden. In dieser Einstellung gibt es Schätzer, die effizienter als die kleinsten Quadrate sind und nicht auf die Lösung separater Regressionsprobleme für jede Antwortvariable reduziert werden können. Siehe zum Beispiel [1].$Y_i$$i$$X_i$$\epsilon_i$

Verweise

1. Zellner (1962) . Eine effiziente Methode zur Schätzung scheinbar nicht zusammenhängender Regressionen und Tests zur Aggregationsverzerrung.
2. Helwig (2017) . Multivariate lineare Regression [Folien]
3. Fox und Weisberg (2011) . Multivariate lineare Modelle in R. [Anhang zu: Ein R-Begleiter zur angewandten Regression]
4. Maitra (2013) . Multivariate lineare Regressionsmodelle. [Folien]