Was sind die Symptome einer schlechten Konditionierung bei direkten Methoden?

Angenommen, wir haben ein lineares System und wissen nichts über dessen Konditionierung und haben keine vorläufigen Informationen über die Lösung. Wir wenden blind die Gaußsche Elimination an und erhalten eine Lösung $x$ . Ist es möglich zu bestimmen, ob diese Lösung vertrauenswürdig ist (dh ob das System gut konditioniert ist), ohne die Matrix gründlich vorab zu analysieren ? Gibt die Größe der Pivots zuverlässige Informationen?

Und generell, was sind die wichtigsten Richtlinien für die Erkennung von Erkrankungen "on the fly"?

linear-solver condition-number conditioning

— Faleichik
quelle

Antworten:

Wann ist eine Matrix krank konditioniert ? Es kommt auf die Genauigkeit der gesuchten Lösung an, ebenso wie "Schönheit im Auge des Betrachters" ...

Vielleicht sollte Ihre Frage besser umformuliert werden, da es günstige und robuste Schätzer für Zustandszahlen gibt, die auf der -Faktorisierung basieren . $LU$

Angenommen, Sie interessieren sich für das reale allgemeine (dichte, nicht symmetrische) Problem der Doppelgenauigkeitsarithmetik, dann würde ich Ihnen die Verwendung des LAPACK-Expertenlösers DGESVX vorschlagen, der eine Bedingungsschätzung in Form seines Reziprokwerts liefert . Als Bonus haben Sie auch andere Extras wie Gleichungsausgleich / -ausgleich, iterative Verfeinerung, Vorwärts- und Rückwärtsfehlergrenzen. krankhafte Konditionierung ( ) wird übrigens durch als Fehler signalisiert . $\text{RCOND}\approx 1/\kappa(A)$ $\kappa(A) > 1/\epsilon$ INFO>0

Gehen mehr ins Detail, schätzt LAPACK die Konditionszahl in der 1-Norm (oder -Norm , wenn Sie die Lösung ) über DGECON . Der zugrunde liegende Algorithmus wird in Abschnitt 36 beschrieben: "Robuste dreieckige Lösungen zur Verwendung bei der Zustandsschätzung" . $\infty$ $A^T x = b$

Ich muss gestehen, dass ich kein Experte auf diesem Gebiet bin, aber meine Philosophie lautet: "Wenn es für LAPACK gut genug ist, ist es für mich".

— Stefano M
quelle

Die Lösung eines schlecht konditionierten Gleichungssystems mit einer Matrix aus Norm 1 und einer zufälligen rechten Seite von Norm 1 wird mit hoher Wahrscheinlichkeit eine Norm in der Größenordnung der Bedingungsnummer haben. Wenn Sie also ein paar solcher Lösungen berechnen, erfahren Sie, was gerade passiert.

— Arnold Neumaier
quelle

Dies ist in der Tat das, was DGECON tut, mit der zusätzlichen Finesse, die Suchrichtung iterativ zu verfeinern, um das Ergebnis zu maximieren, und einen benutzerdefinierten Dreieckslöser (nicht die BLAS-Löser) zu verwenden, damit die Dinge nicht durch Approximationsfehler verzerrt werden. Der Rechenaufwand von DGECON ist daher vergleichbar mit Ihrem einfachen Test. +1 für die Erinnerung an die einfache Bedeutung der Matrixnormen und der Bedingungsnummer. Es dürfte interessant sein, herauszufinden, ob DGECON einer einfachen Stichprobenprüfung gegenüber wirklich robuster ist.

— Stefano M

Unter Berücksichtigung, dass die Bedingungszahl der Lösung von

mit der Bedingungszahl der Berechnung von

übereinstimmt, reicht es aus, die skalierte Matrix mit diesen Zufallsvektoren zu multiplizieren, anstatt tatsächlich

lösen ?

A x = b

$Ax=b$

A x

$Ax$

A x = b

$Ax=b$

— Faleichik

@faleichik Sicher nicht: Der Trick hier ist maßstab

, so dass

und

. Da es sich um diese lineare Algebra handelt, müssen Sie natürlich nicht

skalieren, sondern nur

... Sie müssen jedoch zuerst

berechnen . Ihr umgekehrtes Argument würde es erfordern, zuerst

zu berechnen.

A

$A$

‖ A ‖ = 1

$\| A \| = 1$

κ (A) = ‖ A ‖ \cdot ‖ A^{- 1} ‖ = ‖ A^{- 1} ‖

$\kappa(A) = \| A \| \cdot \| A^{-1} \| = \| A^{-1} \|$

A

$A$

A x

$Ax$

‖ A ‖

$\| A \|$

‖ A^{- 1} ‖

$\| A^{-1} \|$ was wir zu bewerten suchen.

— Stefano M

Es ist fast unmöglich zu sagen, ob Ihr System von nur einem Ergebnis schlecht konditioniert ist. Solange Sie keine genauen Einblicke in das Verhalten Ihres Systems haben (dh wissen, welche Lösung es sein SOLLTE), können Sie nicht viel zu einer einzelnen Lösung sagen.

Allerdings können Sie mehr Informationen erhalten, wenn Sie mehr als ein System mit demselben lösen . Angenommen, Sie haben ein System der Form . Für ein bestimmtes A, dessen Konditionierung Sie noch nicht kennen, können Sie den folgenden Test durchführen: $A$ $Ax=b$

Löse für einen bestimmten Vektor auf der rechten Seite . $Ax=b$ $b$
Beeinflussen Sie Ihren rechten Vektor mit wobei ist im Vergleich zu sehr klein . $b_{new}=b+\mathbf{\varepsilon}$ $||\mathbf{\epsilon}||$ $||b||$
Löse . $Ax_{new}=b_{new}$
Wenn Ihr System gut konditioniert, Ihre neue Lösung sollte ziemlich nah an Ihre alte Lösung (dh sollte klein sein). Wenn Sie eine dramatische Änderung Ihrer neuen Lösung beobachten (dh groß ist ), dann wird Ihr System ist wahrscheinlich schlecht konditioniert. $||x-x_{new}||$ $||x-x_{new}||$

$\Theta(n^3)$ $\Theta(n^2)$ $||A||\cdot||A^{-1}||$ in einer bequemen Norm.

— Paul
quelle

Your

Θ (k n^{3})

$\Theta(kn^3)$ claim is extremely far from the truth. Even if

A

$A$ is dense,

A

$A$ can be factored once with

O (n^{3})

$O(n^3)$ work and then each solve requires only

O (n^{2})

$O(n^2)$ work.

— Jack Poulson

@JackPoulson: You're absolutely right... I guess I completely spaced out about it. No worries:) I'll update my answer

— Paul

Could one also evaluate the residual of the resulting solve? Since

| | A x - b | |

$||Ax - b ||$ scales as

| | A | | \cdot | | x | |

$||A||\cdot||x||$ a nearly singular

A

$A$ might give a meaningful residual even if its solution is very bad.

— Reid.Atcheson

@Reid.Atcheson: Not really. The approximate solution to an ill conditioned system can still produce a small residual. This does not really doesn't give you any indication as to how far away it is from the true solution.

— Paul

May be it is more wise to explicitly state

‖ ε ‖

$\|\varepsilon\|$ very small with respect to

‖ b ‖

$\|b\|$ . Everything is relative in this area... Most readers will know, but someone could be mislead in dangerous waters.

— Stefano M