Gibt es eine Möglichkeit, die Kovarianzmatrix zu verwenden, um Koeffizienten für die multiple Regression zu finden?

Für eine einfache lineare Regression kann der Regressionskoeffizient direkt aus der Varianz-Kovarianz-Matrix berechnet werden , und zwar durch wobei der Index der abhängigen Variablen und der Index der erklärenden Variablen ist. $C$

\frac{C_{d, e}}{C_{e, e}}

$C_{d, e}\over C_{e,e}$

d

$d$

e

$e$

Wenn man nur die Kovarianzmatrix hat, ist es möglich, die Koeffizienten für ein Modell mit mehreren erklärenden Variablen zu berechnen?

ETA: Für zwei erklärende Variablen scheint es, dass und analog für . Ich sehe nicht sofort, wie man dies auf drei oder mehr Variablen erweitert.

β_{1} = \frac{C o v (y, x_{1}) v a r (x_{2}) - C o v (y, x_{2}) C o v (x_{1}, x_{2})}{v a r (x_{1}) v a r (x_{2}) - C o v (x_{1}, x_{2})^{2}}

$\beta_1 = \frac{Cov(y,x_1)var(x_2) - Cov(y,x_2)Cov(x_1,x_2)}{var(x_1)var(x_2) - Cov(x_1,x_2)^2}$

β_{2}

$\beta_2$

regression regression-coefficients covariance-matrix

— David
quelle

Der Koeffizientenvektor ist die Lösung für

. Einige algebraische Manipulationen zeigen, dass dies tatsächlich die gleiche Formel ist, die Sie im 2-Koeffizienten-Fall angeben. Schön hier angelegt: stat.purdue.edu/~jennings/stat514/stat512notes/topic3.pdf . Ich bin mir nicht sicher, ob das überhaupt hilft. Aber ich wage zu vermuten, dass dies aufgrund dieser Formel im Allgemeinen unmöglich ist.

\hat{β}

$\hat{\beta}$

X^{'} Y = (X^{'} X)^{- 1} β

$X'Y=(X'X)^{-1}\beta$

— Shadowtalker

@ David Haben Sie herausgefunden, wie Sie dies auf eine beliebige Anzahl von erklärenden Variablen ausweiten können (über 2 hinaus)? Ich brauche den Ausdruck.

— Jane Wayne

@ JaneWayne Ich bin mir nicht sicher, ob ich Ihre Frage verstehe: whuber gab die folgende Lösung in Matrixform an:

C^{- 1} (Cov (X_{i}, y))^{'}

$C^{-1}(\text{Cov}(X_i, y))^\prime$

— David

Ja, ich habe es studiert und er hat Recht.

— Jane Wayne

Ja, die Kovarianzmatrix aller Variablen - erklärend und antwortend - enthält die Informationen, die zum Auffinden aller Koeffizienten erforderlich sind, vorausgesetzt, das Modell enthält einen (konstanten) Intercept-Term. (Obwohl die Kovarianzen keine Informationen über den konstanten Term liefern, können sie den Daten entnommen werden.)

Analyse

Die Daten für die erklärenden Variablen seien als dimensionale Spaltenvektoren und die Antwortvariable als Spaltenvektor , was als Realisierung einer Zufallsvariablen . Das gewöhnliche kleinste Quadrat schätzt der Koeffizienten im Modell $n$ $x_1, x_2, \ldots, x_p$ $y$ $Y$ $\hat\beta$

E (Y) = α + X β

$\mathbb{E}(Y) = \alpha + X\beta$

werden erhalten, indem die Spaltenvektoren zu einem Array und das System linearer Gleichungen gelöst werden $p+1$ $X_0 = (1, 1, \ldots, 1)^\prime, X_1, \ldots, X_p$ $n \times p+1$ $X$

X^{'} X \hat{β} = X^{'} y .

$X^\prime X \hat\beta = X^\prime y.$

Es entspricht dem System

\frac{1}{n} X^{'} X \hat{β} = \frac{1}{n} X^{'} y .

$\frac{1}{n}X^\prime X \hat\beta = \frac{1}{n}X^\prime y.$

Die Gaußsche Eliminierung löst dieses System. Es wird fortgefahren, indem die Matrix und der -Vektor zu einem Array und zeilenreduzierend. $p+1\times p+1$ $\frac{1}{n}X^\prime X$ $p+1$ $\frac{1}{n}X^\prime y$ $p+1 \times p+2$ $A$

Im ersten Schritt wird . Wenn festgestellt wird, dass dies ungleich Null ist, subtrahiert es geeignete Vielfache der ersten Zeile von von den verbleibenden Zeilen, um die verbleibenden Einträge in seiner ersten Spalte auf Null zu setzen. Diese Vielfachen sind und die vom Eintrag subtrahierte Zahl ist gleich . Dies ist nur die Formel für die Kovarianz von und . Darüber hinaus ist die an der Position verbleibende Zahl gleich $\frac{1}{n}(X^\prime X)_{11} = \frac{1}{n}X_0^\prime X_0 = 1$ $A$ $\frac{1}{n}X_0^\prime X_i = \overline X_i$ $A_{i+1,j+1} = X_i^\prime X_j$ $\overline X_i \overline X_j$ $X_i$ $X_j$ $i+1, p+2$ $\frac{1}{n}X_i^\prime y - \overline{X_i}\overline{y}$ , die Kovarianz von mit . $X_i$ $y$

Somit wird das System nach dem ersten Schritt der Gaußschen Eliminierung auf das Lösen reduziert

C \hat{β} = (Cov (X_{ich}, y))^{'}

$C\hat{\beta} = (\text{Cov}(X_i, y))^\prime$

und offensichtlich - da alle Koeffizienten Kovarianzen sind - kann diese Lösung aus der Kovarianzmatrix aller Variablen gefunden werden.

(Wenn invertierbar ist, kann die Lösung geschrieben werden: . Die in der Frage angegebenen Formeln sind Spezialfälle davon, wenn und explizite Schreiben solcher Formeln wird mit wachsendem immer komplexer . Außerdem sind sie für die numerische Berechnung unterlegen, die am besten durch Lösen des Gleichungssystems und nicht durch Invertieren der Matrix .) $C$ $C^{-1}(\text{Cov}(X_i, y))^\prime$ $p=1$ $p=2$ $p$ $C$

Der konstante Term ist die Differenz zwischen dem Mittelwert von und den aus den Schätzungen vorhergesagten Mittelwerten . $y$ $X\hat{\beta}$

Beispiel

Zur Veranschaulichung werden im folgenden RCode einige Daten erstellt, deren Kovarianzen berechnet und die Koeffizientenschätzungen für die kleinsten Quadrate nur anhand dieser Informationen ermittelt. Sie werden mit den Schätzungen verglichen, die vom Schätzer der kleinsten Quadrate erhalten wurden lm.

#
# 1. Generate some data.
#
n <- 10        # Data set size
p <- 2         # Number of regressors
set.seed(17)
z <- matrix(rnorm(n*(p+1)), nrow=n, dimnames=list(NULL, paste0("x", 1:(p+1))))
y <- z[, p+1]
x <- z[, -(p+1), drop=FALSE]; 
#
# 2. Find the OLS coefficients from the covariances only.
#
a <- cov(x)
b <- cov(x,y)
beta.hat <- solve(a, b)[, 1]  # Coefficients from the covariance matrix
#
# 2a. Find the intercept from the means and coefficients.
#
y.bar <- mean(y)
x.bar <- colMeans(x)
intercept <- y.bar - x.bar %*% beta.hat

Die Ausgabe zeigt Übereinstimmung zwischen den beiden Methoden:

(rbind(`From covariances` = c(`(Intercept)`=intercept, beta.hat),
       `From data via OLS` = coef(lm(y ~ x))))

                  (Intercept)        x1        x2
From covariances     0.946155 -0.424551 -1.006675
From data via OLS    0.946155 -0.424551 -1.006675

— whuber
quelle

Danke, @whuber! Genau das habe ich gesucht, und mein atrophiertes Gehirn konnte nicht dazu kommen. Abgesehen davon ist die Motivation für die Frage, dass wir aus verschiedenen Gründen im Wesentlichen nicht das volle Verfügung haben, sondern aus früheren Berechnungen.

X

$X$ cov(z)

— David

Antworten wie diese

— legen

@whuber In Ihrem Beispiel haben Sie den Achsenabschnitt von yund xund berechnet beta.hat. Die yund xsind Teil der Originaldaten. Ist es möglich, den Achsenabschnitt allein aus der Kovarianzmatrix und den Mitteln abzuleiten? Könnten Sie bitte die Notation angeben?

— Jane Wayne

@ Jane Wende auf sie an, wenn nur die Mittel sind : Ich habe den Code geändert, um dies widerzuspiegeln.

\bar{X}

$\bar X$

\hat{β}

$\hat \beta$

\bar{X} \hat{β} = \bar{X \hat{β}} .

$\overline X \hat\beta = \overline{X \hat\beta}.$

— whuber

sehr hilfreich +1 für den Code

— Michael