Erklären Sie, wie "eigen" beim Invertieren einer Matrix hilft

Meine Frage bezieht sich auf eine in geoR:::.negloglik.GRFoder ausgenutzte Berechnungstechnik geoR:::solve.geoR.

In einem linearen gemischten Modellaufbau gilt:

$$Y=X\beta+Zb+e$$ wobei $\beta$ und $b$ die festen bzw. zufälligen Effekte sind. Auch ist $\Sigma=\text{cov}(Y)$

Bei der Abschätzung der Effekte muss berechnet werden, was normalerweise mit etwas wie , aber manchmal ist fast nicht invertierbar, also wende den Trick an( X ' Σ - 1 X

$$(X'\Sigma^{-1}X)^{-1}X'\Sigma^{-1} Y$$ solve(XtS_invX,XtS_invY)$(X'\Sigma^{-1}X)$geoR

t.ei=eigen(XtS_invX)
crossprod(t(t.ei$vec)/sqrt(t.ei$val))%*%XtS_invY

(kann in geoR:::.negloglik.GRFund gesehen werden geoR:::.solve.geoR), was gleichbedeutend ist mit Zerlegen von wobei und daher

$$(X'\Sigma^{-1}X)=\Lambda D \Lambda^{-1}\\ $$ $\Lambda'=\Lambda^{-1}$ $$(X'\Sigma^{-1}X)^{-1}=(D^{-1/2}\Lambda^{-1})'(D^{-1/2}\Lambda^{-1})$$

Zwei Fragen:

1. Wie hilft diese Eigenzerlegung beim Invertieren ?$(X'\Sigma^{-1}X)$
2. Gibt es andere realisierbare Alternativen (die robust und stabil sind)? (zB qr.solveoder chol2inv?)

1) Die eigendecomposition hilft nicht wirklich viel. Es ist mit Sicherheit numerisch stabiler als eine Cholesky-Faktorisierung. Dies ist hilfreich, wenn Ihre Matrix schlecht konditioniert / nahezu singulär ist / eine hohe Konditionszahl aufweist. So können Sie die eigendecomposition verwenden und erhalten eine Lösung für Ihr Problem. Es gibt jedoch kaum eine Garantie dafür, dass es sich um die RICHTIGE Lösung handelt. Ehrlich gesagt, wenn Sie ausdrücklich Invertzucker wird der Schaden bereits geschehen. Das Bilden von X T Σ - 1 X macht die Sache nur noch schlimmer. Die eigendecomposition wird Ihnen helfen, die Schlacht zu gewinnen, aber der Krieg ist mit Sicherheit verloren.$\Sigma$$X^T \Sigma^{-1} X$

2) Ohne die Einzelheiten Ihres Problems zu kennen, würde ich dies tun. Führen Sie zunächst eine Cholesky-Faktorisierung an sodass Σ = L L T ist . Führen Sie dann eine QR-Faktorisierung an L - 1 X durch, so dass L - 1 X = Q R ist . Bitte stellen Sie sicher, dass Sie L - 1 X durch Forward-Substitution berechnen. Invertieren Sie L NICHT explizit . Dann erhalten Sie: X T Σ - 1 X = X T ( $\Sigma$$\Sigma = L L^T$$L^{-1} X$$L^{-1} X = QR$$L^{-1} X$$L$ Von hier aus können Sie jede gewünschte rechte Seite lösen. Aber auch hier bitte nicht explizitR(oderRTR)invertieren. Verwenden Sie nach Bedarf Vorwärts- und Rückwärtssubstitutionen.

$$\begin{array}{} X^T \Sigma^{-1} X & = & X^T (L L^T)^{-1} X \\ & = & X^T L^{-T} L^{-1} X \\ & = & (L^{-1} X)^T (L^{-1} X) \\ & = & (Q R)^T Q R \\ & = & R^T Q^T Q T \\ & = & R^T R \end{array}$$ $R$$R^T R$

Übrigens bin ich neugierig auf die rechte Seite Ihrer Gleichung. Du hast geschrieben, dass es . Sind Sie sicher, dass es nicht X T Σ - 1 Y ist ? Denn wenn es wäre, könnte man einen ähnlichen Trick auf der rechten Seite verwenden: X T Σ - 1 Y = X T ( L L T ) - 1$X^T \Sigma Y$$X^T \Sigma^{-1} Y$ Und dann können Sie den Coup de grâce liefern, wenn Sie nachβzu lösen gehen: X T Σ - 1 X β = X T Σ - 1 Y R T R β = R T Q T L - 1 Y R β = Q T L - 1 Y β = R - 1 Q T

$$\begin{array}{} X^T \Sigma^{-1} Y & = & X^T (L L^T)^{-1} Y \\ & = & X^T L^{-T} L^{-1} Y \\ & = & (L^{-1} X)^T L^{-1} Y \\ & = & (Q R)^T L^{-1} Y \\ & = & R^T Q^T L^{-1} Y \end{array}$$ $\beta$ Natürlich würden Sie niemals explizitRfür den letzten Schrittinvertieren, oder? Das ist nur eine Rückwärtssubstitution. :-) $$\begin{array}{} X^T \Sigma^{-1} X \beta & = & X^T \Sigma^{-1} Y \\ R^T R \beta & = & R^T Q^T L^{-1} Y \\ R \beta & = & Q^T L^{-1} Y \\ \beta & = & R^{-1} Q^T L^{-1} Y \end{array}$$ $R$