Iterativer "Löser" für

Ich kann mir nicht vorstellen, dass ich der Erste bin, der über das folgende Problem nachdenkt, daher bin ich mit einer Referenz zufrieden (aber eine vollständige, detaillierte Antwort wird immer geschätzt):

Sagen Sie bitte eine symmetrische , positiv definite haben . wird als sehr groß angesehen, so dass es unmöglich ist , im Speicher zu halten. Sie können jedoch für jedes auswerten . Bei einigen Sie . $\Sigma \in \mathbb{R}^{n \times n}$ $n$ $\Sigma$ $\Sigma x$ $x \in \mathbb{R}^{n}$ $x \in \mathbb{R}^{n}$ $x^t\Sigma^{-1}x$

Die erste Lösung, die mir in den Sinn kommt, besteht darin, Verwendung von (sagen wir) konjugierten Gradienten zu finden. Dies scheint jedoch etwas verschwenderisch zu sein - Sie suchen einen Skalar und finden dabei einen gigantischen Vektor in . Es erscheint sinnvoller, eine Methode zur direkten Berechnung des Skalars zu entwickeln (dh ohne zu durchlaufen ). Ich suche nach dieser Art von Methode. $\Sigma^{-1}x$ $\mathbb{R}^{n}$ $\Sigma^{-1}x$

linear-algebra numerical-analysis iterative-method

— Yair Daon
quelle

Entsteht Ihre Matrix aus

für ein "kurzes & breites" rechteckiges

Σ = A^{T} A

$\Sigma = A^TA$

A

$A$

— GeoMatt22

@ GeoMatt22 leider nicht. Aber sagen wir mal, was würden Sie in diesem Fall vorschlagen?

— Yair Daon

Ja, ich habe nur darüber nachgedacht, ob es eine kleinere Matrix gibt, mit der ich arbeiten kann ... ich bin mir nicht sicher, ob es trotzdem helfen würde. Haben Sie versucht, "matrixfreie Mahalanobis-Entfernung" oder ähnliches zu googeln? Tut mir leid, nicht weiter zu helfen!

— GeoMatt22

Danke @ GeoMatt22, ich konnte online nichts finden.

— Yair Daon

Ich glaube nicht, dass ich von einer Methode gehört habe, die das tut, was Sie wollen, ohne es tatsächlich zu lösen . $y=\Sigma^{-1}x$

Die einzige Alternative, die ich anbieten kann, ist, wenn Sie etwas über die Eigenvektoren und -werte von wissen . Angenommen, Sie wussten, dass sie , dann können Sie wobei die Spalten von die sind und eine Diagonalmatrix mit den Eigenwerten auf der Diagonale ist. Folglich haben Sie und Sie erhalten $\Sigma$ $\lambda_i,v_i$ $\Sigma=V^T L V$ $V$ $v_i$ $L$ $\Sigma^{-1}=V^T L^{-1} V$ Dies würde natürlich erfordern speichernalleEigenwerte, dh eine vollständige Matrix . Wenn Sie jedoch zufällig wissen, dass nur einige der Eigenwerte von klein sind, sagen Sie das erste , und der Rest ist so groß, dass Sie alle Terme mitvernachlässigen können

x^{T} Σ^{- 1} x = x^{T} V^{T} L^{- 1} V x = \sum_{i} λ_{i}^{- 1} (v_{i}^{T} x)^{2} .

$x^T \Sigma^{-1} x = x^T V^T L^{-1} V x = \sum_i \lambda_i^{-1} (v_i^T x)^2.$

V

$V$

Σ

$\Sigma$

m

$m$

für

, können Sie sich annähern

λ_{i}^{- 1}

$\lambda^{-1}_i$

i > m

$i>m$

Dies erfordert dann nur, dass Sie

Vektoren anstelle aller

Eigenvektorenspeichern.

x^{T} Σ^{- 1} x = \sum_{i = 1}^{n} λ_{i}^{- 1} (v_{i}^{T} x)^{2} \approx \sum_{i = 1}^{m} λ_{i}^{- 1} (v_{i}^{T} x)^{2} .

$x^T \Sigma^{-1} x = \sum_{i=1}^n \lambda_i^{-1} (v_i^T x)^2 \approx \sum_{i=1}^m \lambda_i^{-1} (v_i^T x)^2.$

m

$m$

n

$n$

In der Praxis ist es natürlich oft gleich oder schwieriger, die Eigenwerte und Eigenvektoren zu berechnen, als einfach zu lösen $y=\Sigma^{-1}x$

— Wolfgang Bangerth
quelle

m

$m$

x^{T} Σ^{- 1} x

$x^T\Sigma^{-1}x$

Können Sie dann eine Methode vorschlagen?

— Yair Daon

Es gibt viele oder spärliche Eigenwertlöser. ARPACK und der PETSc-basierte SLEPc sind wahrscheinlich die am weitesten verbreiteten.

— Wolfgang Bangerth

m

$m$

n \times n

$n \times n$