Berechnung der Determinante beim Lösen von mit CG

11

Ich löse für eine riesige, spärlich positive, definitive Matrix Verwendung der Methode des konjugierten Gradienten (CG). Es ist möglich, die Determinante von Verwendung der während der Lösung erzeugten Informationen zu berechnen . $Ax=b$ $A$ $A$

— Manuel Schmidt
quelle

Warum möchten Sie die Determinante berechnen? Ein solches Ergebnis wird sicherlich entweder ein Unterlauf oder ein Überlauf für eine riesige Matrix sein. Ich wäre wohltätiger, wenn Sie darum gebeten hätten, die Bedingungsnummer zu berechnen, aber verschwenden Sie Ihre Zeit nicht mit der Determinante!

Das wissen Sie wahrscheinlich schon, aber die Ritz-Werte während des konjugierten Gradientenprozesses konvergieren gegen die Eigenwerte der Matrix, und Sie können daraus einfache Schätzungen für die Determinante ableiten.

— Shuhalo

10

Die Berechnung der Determinante einer spärlichen Matrix ist normalerweise so teuer wie eine direkte Lösung, und ich bin skeptisch, dass CG bei der Berechnung sehr hilfreich sein würde. Es wäre möglich , CG für läuft Iterationen (wobei ist ), um Informationen für das gesamte Spektrum zu erzeugen , und um dann die Determinante als das Produkt der Eigenwerte berechnet werden , aber dies würde sowohl langsam und numerisch instabil. $n$ $A$ $n \times n$ $A$

Es wäre eine bessere Idee, die spärlich direkte Cholesky-Faktorisierung Ihrer Matrix zu berechnen, beispielsweise , wobei ein unteres Dreieck ist. Dann ist wobei ist einfach das Produkt der diagonalen Einträge der unteren Dreiecksmatrix da die Eigenwerte einer Dreiecksmatrix entlang ihrer Diagonale liegen. $A = L L^H$ $L$

det (A) = det (L) det (L^{H}) = | det (L) |^{2},

$\text{det}(A) = \text{det}(L) \text{det}(L^H) = |\text{det}(L)|^2,$

det (L)

$\text{det}(L)$

L

$L$

Im Fall einer allgemeinen nicht singulären Matrix sollte eine schwenkbare LU-Zerlegung verwendet werden, beispielsweise , wobei eine Permutationsmatrix ist, so dass Da eine Permutationsmatrix ist, ist , und konstruktionsbedingt typischerweise eine Diagonale von allen, was impliziert, dass . Sie können also als berechnen. $PA=LU$ $P$

det (A) = det (P^{- 1}) \cdot det (L) \cdot det (U) .

$\text{det}(A) = \text{det}(P^{-1}) \cdot \text{det}(L) \cdot \text{det}(U).$

P

$P$

det (P) = \pm 1

$\text{det}(P)=\pm 1$

L

$L$

det (L) = 1

$\text{det}(L)=1$

det (A)

$\text{det}(A)$

\pm det (U)

$\pm \text{det}(U)$ und wieder erkennen, dass die Determinante einer dreieckigen Matrix einfach das Produkt ihrer diagonalen Einträge ist. Somit sind die Kosten für die Berechnung der Determinante im Wesentlichen nur die einer Faktorisierung.

— Jack Poulson
quelle

Dies wäre eine der Möglichkeiten (obwohl ich die Cholesky-Faktorisierung verwenden würde), wenn die Matrix klein ist, jedoch Größe von ~ und daher keine Zerlegung möglich ist

A

$A$

10^{6} x 10^{6}

$10^6 x 10^6$

— Manuel Schmidt

@ManuelSchmidt Sparse-Matrizen dieser Größe, die aus Diskretisierungen vom Finite-Elemente-Typ resultieren, können normalerweise leicht mit (zum Beispiel) multifrontalen Methoden berücksichtigt werden. Ich bin damit einverstanden, dass die Cholesky-Faktorisierung verwendet werden sollte, wenn Ihre Matrix HPD ist (und die Verallgemeinerung meines obigen Arguments ist offensichtlich).

— Jack Poulson

Vielen Dank für Ihre schnelle Antwort & Antwort. Leider hat die Matrix keine spezielle Struktur (was eine einfache Faktorisierung ermöglichen würde).

— Manuel Schmidt

2

Ich bin gespannt, warum Sie die Determinante der Matrix berechnen müssen. Reichen die höchsten und niedrigsten Eigenwerte nicht aus?

— Jack Poulson

Es ist Teil einer komplexen Wahrscheinlichkeitsverteilungsfunktion und nicht nur einer Normalisierungskonstante. Ich weiß, dass Verteilungen berücksichtigt werden können (und genau das tun wir derzeit), aber wir müssen Tonnen von Daten modellieren und jeder der Faktoren wird riesig.

— Manuel Schmidt

6

Andere haben dies bereits bemerkt, aber ich denke, es ist immer noch erwähnenswert, dass die Determinante fast immer keine nützliche Größe ist, wenn Ihre Matrix groß ist. Das Problem ist, dass große Matrizen meistens Annäherungen an noch größere Dimensionen sind (statistische Stichproben großer Populationen, endliche dimensionale Approximationen an unendlich dimensionale Dinge wie partielle Differentialgleichungen usw.). Nehmen wir an, Ihre Matrix ist und nähert sich in gewisser Weise einem Prozess bei dem und möglicherweise . $A$ $B$ $\textrm{dim}A \ll \textrm{dim} B$ $\textrm{dim}B=\infty$

Nun wird der Operator auch ein Spektrum haben, und das Spektrum von wird typischerweise in gewissem Sinne mit dem Spektrum von in Beziehung stehen - z. B. nähern sich die Eigenwerte von denen von (eine Teilmenge von) . Dies bedeutet jedoch nicht, dass ungefähr . Wenn zum Beispiel die Eigenwerte von einige der Eigenwerte von , dann ist $B$ $A$ $B$ $A$ $B$ $\textrm{det}A$ $\textrm{det}B$ $A$ $B$

det A = \prod_{j = 1 \dots dim A} λ_{i} (A) \approx \prod_{j = 1 \dots dim A} λ_{i} (B) \prod_{j = dim A + 1 \dots dim B} λ_{i} (B)

$\textrm{det}A = \prod_{j=1\ldots \textrm{dim}A} \lambda_i(A) \approx \prod_{j=1\ldots \textrm{dim}A} \lambda_i(B) \prod_{j=\textrm{dim}A+1\ldots \textrm{dim}B} \lambda_i(B)$ Der zweite Faktor in diesem Produkt ist jedoch typischerweise entweder das Produkt der kleinen oder der großen Eigenwerte von , die von nicht aufgelöst werden . Mit anderen Worten, dieser Faktor ist typischerweise entweder sehr klein (möglicherweise Null, wenn ) oder sehr groß (möglicherweise unendlich). Mit anderen Worten, in all diesen Fällen haben wir normalerweise, dass nicht approximiert und normalerweise keine nützliche Sache zum Berechnen ist.

B

$B$

A

$A$

dim B = \infty

$\textrm{dim}B=\infty$

det A

$\textrm{det}A$

det B

$\textrm{det}B$

— Wolfgang Bangerth
quelle

Es stellt sich heraus, dass es einige wirklich schöne und praktische Algorithmen gibt, die die Berechnung beträchtlicher Determinanten beinhalten. Check out www-m3.ma.tum.de/foswiki/pub/M3/Allgemeines/…

— Matt Knepley

2

Nehmen wir an, dass Ihr Operator entweder nicht leicht faktorisierbar oder einfach überhaupt nicht als Matrix verfügbar ist und dass Sie seine Determinante wirklich schätzen müssen, ohne (erneut) zu erfahren, warum und wie Determinanten böse sind .

Eine Möglichkeit, eine Schätzung der Determinante zu erhalten, besteht darin, eine Implementierung von CG zu verwenden, die direkt auf dem Lanczos-Prozess basiert. Siehe zum Beispiel Algorithmus 6.17 (D-Lanczos) in Saads Buch " Iterative Methoden für spärliche lineare Systeme " (SIAM), Seite 189. Dort wird der Operator semi-explizit berücksichtigt, und Sie können die Determinante der Faktoren als Näherung verwenden der Determinante von . Lassen Sie mich betonen, dass ich nie versucht habe, eine Determinante zu schätzen, und ich habe keine Ahnung, ob das, was ich vorschlage, eine gute Idee ist - wahrscheinlich nicht angesichts aller Probleme, die uns Geister-Eigenwerte geben. Dies fällt Ihnen jedoch beim Lesen Ihrer Frage ein. $A$ $A$

Sie können wahrscheinlich rückentwickeln, wie diese Schätzung der Determinante in der Standardimplementierung von CG zustande kommt, indem Sie Abschnitt 6.7.3 des Buches genau befolgen.

— Dominique
quelle

2

Die Determinante der Matrix A kann berechnet werden als wobei - berechnete Schritte sind während der CG-Iteration. Dies funktioniert jedoch nur, wenn . Der Beweis ist der folgende. Sei eine Matrix bestehend aus Vektoren und sei eine Matrix bestehend aus . Durch die Eigenschaft der Determinante . Man beachte nun, dass die Vektoren orthgonal sind und die Vektoren in Bezug auf konjugiert sind

d e t (A) = \prod_{i = 1}^{n} α_{k}^{- 1},

$det(A) = \prod_{i = 1}^n \alpha_k^{-1},$

α_{k} = \frac{r_{k}^{T} r_{k}}{p_{k}^{T} A p_{k}}

$\alpha_k = \cfrac{r_k^Tr_k}{p_k^TAp_k}$

r_{k} \neq 0 \forall k = 1, \dots, n

$r_k \ne 0 \;\,\forall k=1, \ldots, n$

R

$R$

r_{k}

$r_k$

P

$P$

p_{k}

$p_k$

p_{k} = - r_{k} + \sum_{i = 1}^{k - 1} γ_{i} r_{i} .

$p_k = -r_k + \sum_{i=1}^{k-1}\gamma_i r_i.$

d e t (P) = (- 1)^{n} d e t (R)

$det(P) = (-1)^n det(R)$

r_{k}

$r_k$

p_{k}

$p_k$

A

$A$ . Daher ist

\prod_{k = 1}^{n} α_{k} = \prod_{k = 1}^{n} \frac{r_{k}^{T} r_{k}}{p_{k}^{T} A p_{k}} = \frac{d e t (R^{T} R)}{d e t (P^{T} A P)} = \frac{d e t (R^{T} R)}{d e t (A) d e t (P^{T} P)} = (d e t (A))^{- 1} .

$\prod_{k = 1}^n \alpha_k = \prod_{k = 1}^n \frac{r_k^T r_k}{p_k^TAp_k} = \frac{det(R^TR)}{det(P^TAP)} = \frac{det(R^TR)}{det(A)det(P^TP)}= (det(A))^{-1}.$

— Yermek
quelle