Cholesky versus eigendecomposition für die Entnahme von Stichproben aus einer multivariaten Normalverteilung

Ich würde gerne eine Probe ziehen $\mathbf{x} \sim N\left(\mathbf{0}, \mathbf{\Sigma} \right)$ . Wikipedia schlägt vor, entweder Cholesky oder Eigendecomposition zu verwenden , dh $\mathbf{\Sigma} = \mathbf{D}_1\mathbf{D}_1^T$ oder $\mathbf{\Sigma} = \mathbf{Q}\mathbf{\Lambda}\mathbf{Q}^T$

Und daher kann die Probe gezogen werden über: $\mathbf{x} = \mathbf{D}_1 \mathbf{v}$ oder $\mathbf{x} = \mathbf{Q}\sqrt{\mathbf{\Lambda}} \mathbf{v}$ wo $\mathbf{v} \sim N\left(\mathbf{0}, \mathbf{I} \right)$

Wikipedia schlägt vor, dass beide gleich gut für die Generierung von Samples geeignet sind, aber die Cholesky-Methode hat die schnellere Rechenzeit. Ist das wahr? Besonders numerisch bei Verwendung einer Monte-Carlo-Methode, bei der sich die Varianzen entlang der Diagonalen um mehrere Größenordnungen unterscheiden können? Gibt es eine formale Analyse zu diesem Problem?

Das Problem wurde von Straka et al. Für den Unscented Kalman Filter untersucht, der als Teil des Algorithmus (deterministische) Stichproben aus einer multivariaten Normalverteilung zieht. Mit etwas Glück könnten die Ergebnisse auf das Monte-Carlo-Problem zutreffen.

Die Cholesky-Dekomposition (CD) und die Eigen-Dekomposition (ED) - und im Übrigen die eigentliche Matrix-Quadratwurzel (MSR) - sind alle Möglichkeiten, wie eine positive semi-definite Matrix (PSD) zerlegt werden kann.

Betrachten sie den SVD eine PSD - Matrix . Da P PSD ist, ist dies tatsächlich das gleiche wie der ED mit P = U S U T . Außerdem können wir die Diagonalmatrix durch ihre Quadratwurzel teilen: P = U $P = USV^T$$P = USU^T$unter Hinweis darauf, dass$P = U\sqrt{S}\sqrt{S}^TU^T$.$\sqrt{S} = \sqrt{S}^T$

Wir können nun eine beliebige orthogonale Matrix einführen :$O$

.$P = U\sqrt{S}OO^T\sqrt{S}^TU^T = (U\sqrt{S}O)(U\sqrt{S}O)^T$

Die Wahl von wirkt sich tatsächlich auf die Schätzleistung aus, insbesondere wenn die Kovarianzmatrix stark von der Diagonale abweicht.$O$

Die Arbeit untersuchte drei Möglichkeiten von :$O$

• , was der ED entspricht;$O = I$
• aus derQR-Zerlegungvon U $O = Q$, was der CD entspricht; und$U\sqrt{S} = QR$
• $O = U^T$ was zu einer symmetrischen Matrix führt (dh MSR)

Daraus wurden nach eingehender Analyse (Zitieren) die folgenden Schlussfolgerungen gezogen:

• Für eine zu transformierende Zufallsvariable mit unkorrelierten Elementen liefern alle drei betrachteten MDs identische Sigma-Punkte und machen daher fast keinen Unterschied in der Qualität der [Unscented Transform] -Näherung. In einem solchen Fall kann die CD wegen ihrer geringen Kosten bevorzugt werden.

• Wenn die Zufallsvariable korrelierte Elemente enthält, kann die Verwendung verschiedener [Zerlegungen] die Qualität der [Unscented Transform] -Näherung des Mittelwerts oder der Kovarianzmatrix der transformierten Zufallsvariablen erheblich beeinflussen. Die beiden oben genannten Fälle zeigten, dass die [ED] bevorzugt werden sollte.

• Wenn die Elemente der zu transformierenden Variablen eine starke Korrelation aufweisen, so dass die entsprechende Kovarianzmatrix nahezu singulär ist, muss ein anderes Problem berücksichtigt werden, nämlich die numerische Stabilität des Algorithmus, der die MD berechnet. Die SVD ist für nahezu singuläre Kovarianzmatrizen numerisch wesentlich stabiler als die ChD.

Referenz:

• Straka, O .; Dunik, J .; Simandl, M. & Havlik, J. "Aspekte und Vergleich von Matrixzerlegungen in nicht parfümierten Kalman-Filtern", American Control Conference (ACC), 2013, 2013, 3075-3080.

Hier ist eine einfache Abbildung, in der R verwendet wird, um die Berechnungszeit der beiden Methoden zu vergleichen.

library(mvtnorm)
library(clusterGeneration)
set.seed(1234)
mean <- rnorm(1000, 0, 1)
sigma <- genPositiveDefMat(1000)
sigma <- sigma$Sigma

eigen.time <- system.time(
  rmvnorm(n=1000, mean=mean, sigma = sigma, method = "eigen")
  )

chol.time <- system.time(
  rmvnorm(n=1000, mean=mean, sigma = sigma, method = "chol")
  )

Die Laufzeiten sind

> eigen.time
   user  system elapsed 
   5.16    0.06    5.33 
> chol.time
   user  system elapsed 
   1.74    0.15    1.90

Wenn Sie die Stichprobengröße auf 10000 erhöhen, sind die Laufzeiten gleich

> eigen.time <- system.time(
+   rmvnorm(n=10000, mean=mean, sigma = sigma, method = "eigen")
+   )
> 
> chol.time <- system.time(
+   rmvnorm(n=10000, mean=mean, sigma = sigma, method = "chol")
+   )
> eigen.time
   user  system elapsed 
   15.74    0.28   16.19 
> chol.time
   user  system elapsed 
   11.61    0.19   11.89 

Hoffe das hilft.

Hier ist die manuelle oder arme Demonstration:

> set.seed(0)
> # The correlation matrix
> corr_matrix = matrix(cbind(1, .80, .2, .80, 1, .7, .2, .7, 1), nrow=3)
> nvar = 3 # Three columns of correlated data points
> nobs = 1e6 # One million observations for each column
> std_norm = matrix(rnorm(nvar * nobs),nrow=nobs, ncol=nvar) # N(0,1)   

$$\text{Corr}=\small \begin{bmatrix} 1 & .8 & .2\\ .8& 1 & .7 \\ .2&.7&1 \end{bmatrix}$$

$$\text{N}=\tiny \begin{bmatrix} & [,1] & [,2] & [,3] \\ [1,] & -1.0806338 & 0.6563913 & 0.8400443 \\ [2,] & -1.1434241 & -0.1729738 & -0.9884772 \\ \vdots & \vdots & \vdots & \vdots \\ \vdots & \vdots & \vdots & \vdots \\ [999999,] & 0.4861827 & 0.03563006 & -2.1176976 \\ [1000000,] & -0.4394551 & 1.69265517 & -1.9534729\\ \end{bmatrix}$$

1. SVD METHOD:

$$\left[ \bf \underset{[3 \times 3]}{\color{blue}{\Large\,U}}\,\,\,\,\,\underset{\tiny \begin{bmatrix}\sqrt{d_1}&0&0\\0&\sqrt{d_2}&0\\0&0&\sqrt{d_3}\end{bmatrix}}{\Large\color{blue}{\Sigma^{0.5}}} \, \underset{[3\times 10^6]}{\Large\color{blue}{N^T}} \right]^T$$

> ptm <- proc.time()
> # Singular Value Decomposition method:
> svd = svd(corr_matrix)   
> rand_data_svd = t(svd$u %*% (diag(3) * sqrt(svd$d)) %*% t(std_norm))
> proc.time() - ptm
   user  system elapsed 
   0.29    0.05    0.34 
> 
> ptm <- proc.time()

2. CHOLESKY METHOD:

$$\bf \left[ \underset{\begin{bmatrix}c_{11}&0&0\\c_{21}&c_{22}&0\\c_{31}&c_{32}&c_{33}\end{bmatrix}}{\Large\color{blue}{\text{Ch}}}\,\,\underset{[3\times 10^6]}{\Large\color{blue}{N^T}} \right]^T$$

> # Cholesky method:
> chole = t(chol(corr_matrix))
> rand_data_chole = t(chole %*% t(std_norm))
> proc.time() - ptm
   user  system elapsed 
   0.25    0.03    0.31 

---

Thank you to @userr11852 for pointing out to me that there is a better way to calculate the difference in performance between SVD and Cholesky, in favor of the latter, using the function microbenchmark. At his suggestion, here is the result:

microbenchmark(chol(corr_matrix), svd(corr_matrix))
Unit: microseconds
              expr     min     lq      mean  median      uq     max neval cld
 chol(corr_matrix)  24.104  25.05  28.74036  25.995  26.467  95.469   100  a 
  svd(corr_matrix) 108.701 110.12 116.27794 111.065 112.719 223.074   100   b