Wie interpretieren Sie die Bedingungsnummer einer Korrelationsmatrix?

Ich habe zwei Korrelationsmatrizen, eine mit einer Bedingungsnummer von 9 und die andere mit einer Bedingungsnummer von 70. Nach dem, was ich gelesen habe, scheint die erste Matrix allein aufgrund dieser Zahlen besser konditioniert zu sein als die andere, aber i Ich kämpfe darum, wirklich zu interpretieren, wie viel besser eine Korrelationsmatrix im Verhältnis zur anderen ist, oder ob es andere Möglichkeiten gibt, die Bedingungsnummer wirklich zu interpretieren.

Entschuldigung für mein Englisch, wenn mein Beitrag nicht klar ist, lassen Sie es mich bitte wissen und ich werde versuchen, es erneut zu schreiben.

Die Bedingungsnummer einer Korrelationsmatrix ist für sich genommen nicht von großem Interesse. Es kommt zur Geltung, wenn diese Matrix die Koeffizienten eines Satzes linearer Gleichungen angibt, wie dies bei multipler linearer Regression unter Verwendung standardisierter Regressoren der Fall ist.

Belsley, Kuh und Welsh, die als erste auf die Relevanz der Bedingungsnummer in diesem Zusammenhang hingewiesen und diese systematisch ausgenutzt haben, haben eine nette Erklärung, die ich allgemein zitieren werde. Sie beginnen mit einer Definition von

die mit bezeichnete Spektralnorm und definiert als$||A||$

$$||A|| \equiv {\sup}_{||z||=1}||Az||.$$

Geometrisch ist dies der maximale Betrag, um den die Einheitskugel neu skaliert: die maximale "Dehnung", wenn Sie so wollen. Sie weisen auf die offensichtlichen Zusammenhänge hin, diedaher ist der größte Singularwert von undist der Kehrwert des kleinsten Singularwerts von (wenn invertierbar ist). (Ich stelle mir das gerne als das maximale "Zusammendrücken" von .) Sie behaupten dann, dassist eigentlich eine Norm und fügt die (leicht zu beweisenden) Fakten hinzu$A$$||A||$$A$$||A^{-1}||$$A$$A$$A$$||A||$

$||Az|| \le ||A|| \cdot ||z|| \tag{4}$

$||AB|| \le ||A||\cdot ||B|| \tag{5}$ für alle angemessenen und .$A$$B$

Diese Bemerkungen werden dann angewendet:

Wir werden nun sehen, dass die Spektralnorm direkt für eine Analyse der Konditionierung eines linearen Gleichungssystems und nicht singulär mit der Lösung relevant ist . Wir können fragen, um wie viel sich der Lösungsvektor ändern würde wenn es kleine Änderungen oder Störungen in den Elementen von oder gäbe , die mit und . Für den Fall, dass fest ist, sich aber um ändert , haben wir oder$Az = c, A$ $n\times n$$z=A^{-1}c$$z$$(\delta z)$$c$$A$$\delta c$$\delta A$$A$$c$$\delta c$$\delta z = A^{-1}\delta c$

$$||\delta z|| \le ||A ^{-1} || \cdot || \delta c ||.$$ Wenn wir die Eigenschaft oben für das Gleichungssystem verwenden, haben wirund durch Multiplizieren dieser beiden letzten Ausdrücke erhalten wir$(4)$ $$||c|| \le ||A|| \cdot ||z||;$$ $$\frac{||\delta z||}{||z||} \le ||A|| \cdot ||A^{-1}|| \cdot \frac{||\delta c || }{||c||}.$$

Das heißt, die Größeliefert eine Grenze für die relative Änderung der Länge des Lösungsvektors , die sich aus einer gegebenen relativen Änderung der Länge von . Ein ähnliches Ergebnis gilt für Störungen in den Elementen der Matrix . Hier kann gezeigt werden, dass$||A||\cdot ||A^{-1}||$$z$$c$$A$

$$\frac{||\delta z||}{||z + \delta z||} \le ||A|| \cdot ||A^{-1}|| \cdot \frac{||\delta A||}{||A||}.$$

(Der wichtigste Schritt in dieser Demonstration, der als Übung verbleibt, besteht darin, und Normen auf beide Seiten anzuwenden.)$\delta z = -A^{-1}(\delta A)(z + \delta z)$

Aufgrund seiner Nützlichkeit in diesem Zusammenhang ist die Größeist definiert als die Bedingungsnummer der nicht singulären Matrix ....$||A||\cdot ||A^{-1}||$$A$

(Basierend auf den früheren Charakterisierungen können wir uns die Bedingungsnummer als eine Art "Seitenverhältnis" von vorstellen : Je mehr es einen Vektor strecken kann, desto mehr kann es jeden Vektor quetschen. Es würde direkt mit dem Maximum zusammenhängen Exzentrizität, die ein großer Kreis auf der Einheitskugel erreicht, nachdem er von .)$A$$A$

Die Bedingungszahl begrenzt, um wie viel sich die Lösung eines Gleichungssystems relativ ändern kann, wenn ihre Komponenten und geändert werden.$z$$Az=c$$A$$c$

Diese Ungleichungen sind jedoch nicht eng: Für jedes gegebene hängt das Ausmaß, in dem die Grenzen einigermaßen genaue Darstellungen der tatsächlichen Änderungen sind, von und den Änderungen und . Bedingungsnummern sind Aussagen über die schlimmsten Fälle. Somit kann eine Matrix mit der Bedingungsnummer als mal besser angesehen werden als eine mit der Bedingungsnummer , aber das bedeutet nicht unbedingt, dass sie genau so viel besser ist (wenn sie keine Fehler ausbreitet) als die andere. $A$$A$$\delta A$$\delta c$$9$$70/9$$70$

Referenz

Belsley, Kuh & Welsch, Regressionsdiagnostik. Wiley, 1980: Abschnitt 3.2.

Eine super hohe Bedingungszahl würde bedeuten, dass einige Variablen stark korreliert sind. 70 ist für mich keine so große Bedingungsnummer.

Eine hohe oder niedrige Bedingungszahl bedeutet nicht, dass eine Korrelationsmatrix "besser" als die andere ist. Alles was es bedeutet ist, dass Variablen mehr korreliert oder weniger sind. Ob es gut ist oder nicht, hängt von der Anwendung ab.

UPDATE: Ich gehe davon aus, dass Sie keinen superdimensionalen Fall haben, da in diesem Fall @whuber richtig ist und Sie möglicherweise eine geringe Korrelation, aber eine hohe Bedingungszahl haben. Intuitiv ist es leicht zu verstehen, warum. Stellen Sie sich eine Matrix vor, in der alle Elemente gleich , mit Ausnahme der Diagonalen. Wenn Sie in diesem Fall zwei Spalten verwenden, sehen diese einander sehr ähnlich. Tatsächlich unterscheiden sie sich in genau zwei Zeilen, von denen eine 1 und die andere . Wenn Sie eine sehr hochdimensionale Matrix haben, sind dies aus Sicht der linearen Algebra fast die gleichen Spalten, dh die Matrix sieht irgendwie rangmangelhaft aus.$\rho$$\rho$