Ein Maß für die "Varianz" aus der Kovarianzmatrix?

Wenn die Daten 1d sind, zeigt die Varianz das Ausmaß an, in dem sich die Datenpunkte voneinander unterscheiden. Wenn die Daten mehrdimensional sind, erhalten wir eine Kovarianzmatrix.

Gibt es ein Maß, das angibt, wie unterschiedlich die Datenpunkte im Allgemeinen für mehrdimensionale Daten sind?

Ich habe das Gefühl, dass es bereits viele Lösungen gibt, bin mir aber nicht sicher, welchen Begriff ich verwenden soll, um danach zu suchen.

Vielleicht kann ich so etwas wie die Eigenwerte der Kovarianzmatrix addieren, klingt das vernünftig?

(Die folgende Antwort führt lediglich den in [0] bewiesenen Satz ein und gibt ihn wieder. Das Schöne an diesem Aufsatz ist, dass die meisten Argumente in Bezug auf die lineare Grundalgebra vorgebracht werden. Um diese Frage zu beantworten, reicht es aus, die Hauptergebnisse anzugeben, aber Überprüfen Sie auf jeden Fall die Originalquelle.

In jeder Situation, in der das multivariate Muster der Daten durch eine variable elliptische Verteilung beschrieben werden kann , reduziert sich die statistische Inferenz per Definition auf das Problem der Anpassung (und Charakterisierung) eines k- variablen Ortsvektors (z. B. θ ) und eines k durch k symmetrische semipositive definite Matrix (sagen wir Σ ) zu den Daten. Aus Gründen, die ich im Folgenden erläutere (von denen Sie jedoch bereits ausgehen), ist es oft sinnvoller, Σ in eine Formkomponente (eine SPSD-Matrix mit der gleichen Größe wie Σ ) zu zerlegen, die die Form der Dichtekonturen Ihrer multivariaten Verteilung berücksichtigt und ein Skalar σ $k$$k$$\boldsymbol\theta$$k$$k$$\boldsymbol\varSigma$$\boldsymbol\varSigma$$\boldsymbol\varSigma$$\sigma_S$ den Maßstab dieser Konturen auszudrücken.

In univariate Daten ( ), Σ , die Kovarianzmatrix Ihrer Daten ist ein Skalar und, wie aus der nachfolgenden Diskussion folgen wird, ist die Form Komponente von Σ ist 1 , so dass Σ gleich seine Skala Komponente Σ = σ S immer und es ist keine Mehrdeutigkeit möglich.$k=1$$\boldsymbol\varSigma$$\boldsymbol\varSigma$$\boldsymbol\varSigma$$\boldsymbol\varSigma=\sigma_S$

In multivariaten Daten sind viele Skalierungsfunktionen möglich. Eins insbesondere ( σ S = | $\sigma_S$ ) zeichnet sich durch eine wünschenswerte Schlüsseleigenschaft aus. Dies sollte es zur bevorzugten Wahl des Skalierungsfaktors im Kontext elliptischer Familien machen.$\sigma_S=|\pmb\varSigma|^{1/k}$

---

Viele Probleme in der MV-Statistik betreffen die Schätzung einer Streumatrix, die als Funktion (al) symmetrischer, halbpositiver Definit in R k × k definiert ist und die folgende Bedingungen erfüllt:$\boldsymbol\varSigma$$\mathbb{R}^{k\times k}$

(für nicht singuläre Matrizen A und Vektoren , b ). Zum Beispiel erfüllt die klassische Kovarianzschätzung (0), ist aber keineswegs die einzige.

$$(0)\quad\boldsymbol\varSigma(\boldsymbol A\boldsymbol X+\boldsymbol b)=\boldsymbol A\boldsymbol\varSigma(\boldsymbol X)\boldsymbol A^\top$$ $\boldsymbol A$$\boldsymbol b$

Bei elliptisch verteilten Daten, bei denen alle Dichtekonturen Ellipsen sind, die durch dieselbe Formmatrix definiert sind, ist es bis zur Multiplikation mit einem Skalar selbstverständlich, normalisierte Versionen von der Form zu berücksichtigen :$\boldsymbol\varSigma$

$$\boldsymbol V_S = \boldsymbol\varSigma / S(\boldsymbol\varSigma)$$

wobei eine 1-honogene Funktion ist, die erfüllt:$S$

$$(1)\quad S(\lambda \boldsymbol\varSigma)=\lambda S(\boldsymbol\varSigma)$$

für alle . Dann V S ist die Form - Komponente der Streumatrix (in Kurzform - Matrix) und genannte σ S = S 1 / 2 ( Σ ) ist der Maßstab Komponente der Streumatrix bezeichnet. Beispiele für multivariate Schätzprobleme, bei denen die Verlustfunktion nur von Σ durch ihre Formkomponente V S abhängt, umfassen Tests der Sphärizität, PCA und CCA unter anderem.$\lambda>0$$\boldsymbol V_S$$\sigma_S=S^{1/2}(\boldsymbol\varSigma)$$\boldsymbol\varSigma$$\boldsymbol V_S$

Natürlich gibt es viele mögliche Skalierungsfunktionen, so dass immer noch die Frage offen bleibt, was (wenn überhaupt) von mehreren Auswahlmöglichkeiten der Normalisierungsfunktion in gewissem Sinne optimal ist. Beispielsweise:$S$

• (zum Beispiel der von @amoeba in seinem Kommentar unter der Frage des OP vorgeschlagene. Siehe auch [1], [2], [3])$S=\text{tr}(\boldsymbol\varSigma)/k$
• ([4], [5], [6], [7], [8])$S=|\boldsymbol\varSigma|^{1/k}$
• (der erste Eintrag der Kovarianzmatrix)$\boldsymbol\varSigma_{11}$
• (der erste Eigenwert von Σ )$\lambda_1(\boldsymbol\varSigma)$$\boldsymbol\varSigma$

Es gilt jedoch ist die einzige Skalierungsfunktion, für die die Fisher-Informationsmatrix für die entsprechenden Schätzungen von Maßstab und Form in lokal asymptotisch normalen Familien blockdiagonal ist (dh der Maßstab und die Formkomponenten des Schätzproblems sind asymptotisch orthogonal) [0] ]. Dies bedeutet unter anderem, dass die Skalenfunktion S = | Σ | 1 / k ist die einzige Wahl von S, für die die Nichtspezifikation von & sgr; S keinen Wirkungsgradverlust verursacht, wenn eine Folgerung an V S durchgeführt wird .$S=|\boldsymbol\varSigma|^{1/k}$$S=|\boldsymbol\varSigma|^{1/k}$$S$$\sigma_S$$\boldsymbol V_S$

Ich kenne keine vergleichsweise starke Optimalitätscharakterisierung für eine der vielen möglichen Entscheidungen von , die (1) erfüllen.$S$

• [0] Paindaveine, D., Eine kanonische Definition der Form, Statistics & Probability Letters, Band 78, Ausgabe 14, 1. Oktober 2008, Seiten 2240-2247. Ungated Link
• [1] Dumbgen, L. (1998). Über Tylers M-Funktional der Streuung in hohen Dimensionen, Ann. Inst. Statist. Mathematik. 50, 471–491.
• [2] Ollila, E., TP Hettmansperger und H. Oja (2004). Affine äquivariante multivariate Vorzeichenmethoden. Preprint, Universität Jyväskylä.
• [3] Tyler, DE (1983). Robustheits- und Effizienzmerkmale von Streumatrizen, Biometrika 70, 411–420.
• [4] Dumbgen, L. und DE Tyler (2005). Zu den Durchschlusseigenschaften einiger multivariater M-Funktionalen hat Scand. J. Statist. 32, 247–264.
• [5] Hallin, M. und D. Paindaveine (2008). Optimale rangbasierte Tests für die Homogenität der Streuung, Ann. Statist., Erscheinen.
• [6] Salibian-Barrera, M., S. Van Aelst und G. Willems (200 6). Hauptkomponentenanalyse basierend auf multivariaten MM-Schätzern mit schnellem und robustem Bootstrap, J. Amer. Statist. Assoc. 101, 1198–1211.
• [7] Taskinen, S., C. Croux, A. Kankainen, E. Ollila und H. O. Ja (2006). Einflussfunktionen und Wirkungsgrade der kanonischen Korrelation und Vektorschätzungen basierend auf Streu- und Formmatrizen, J. Multivariate Anal. 97, 359–384.
• [8] Tatsuoka, KS und DE Tyler (2000). Zur Einzigartigkeit von S-Funktionalen und M-Funktionalen unter nichtelliptischen Verteilungen, Ann. Statist. 28, 1219–1243.

Die Varianz einer skalaren Variablen ist definiert als die quadratische Abweichung der Variablen von ihrem Mittelwert:

$$\operatorname{Var}(X) = \operatorname E\left[\left(X - \operatorname E\left[X\right]\right)^2\right]$$

Eine Verallgemeinerung zu einer skalarwertigen Varianz für vektorwertige Zufallsvariablen kann erhalten werden, indem die Abweichung als euklidischer Abstand interpretiert wird :

$$\operatorname{Var_s}(\mathbf X) = \operatorname E\left[\left\|\mathbf X - \operatorname E\left[\mathbf X\right]\right\|_2^2\right]$$

Dieser Ausdruck kann umgeschrieben werden als

$$\begin{array}{rcl} \operatorname{Var_s}(\mathbf X) & = & \operatorname E[(\mathbf X - \operatorname E[\mathbf X ])\cdot(\mathbf X - \operatorname E[\mathbf X ])] \\ & = & \operatorname E\left[\sum_{i=1}^n(X_i - \operatorname E[X_i])^2\right] \\ & = & \sum_{i=1}^n \operatorname E\left[(X_i - \operatorname E[X_i])^2\right] \\ & = & \sum_{i=1}^n \operatorname{Var}(X_i) \\ & = & \sum_{i=1}^n C_{ii} \end{array}$$

where $\mathbf{C}$ is the covariance matrix. Finally, this can be simplified to

$$\operatorname{Var_s}(X) = \operatorname{tr}(\mathbf{C})$$

which is the trace of the covariance matrix.

Although the trace of the covariance matrix, tr(C), gives you a measure of the total variance, it does not take into account the correlation between variables.

If you need a measure of overall variance which is large when your variables are independent from each other and is very small when the variables are highly correlated, you can use the determinant of the covariance matrix, |C|.

Please see this article for a better clarification.

If you need just one number, then I suggest a largest eigen value of a covariance matrix. This is also an explained variance of the first principal component in PCA. It tells you how much total variance can be explained if you reduce the dimensionality of your vector to one. See this answer on math SE.

The idea's that you collapse your vector into just one dimension by combining all variables linearly into one series. You end up with 1d problem.

The explained variance can be reported in % terms to the total variance. In this case you'll see immediately if there is a lot of linear correlation between series. In some applications this number can be 80% and higher, e.g. interest rate curve modeling in finance. It means that you can construct a linear combination of variables that explains 80 of variance of all variables.

The entropy concept from information theory seems to suit the purpose, as a measure of unpredictability of information content, which is given by

$$H(X)=-\int p(x)\log p(x) dx.$$

If we assume a multivariate Gaussian distribution for $p(x)$ with mean $\mu$ and covariance $\Sigma$ derived from the data, according to wikipedia, the differential entropy is then,

$$H(X)=\frac{1}{2}\log((2\pi e)^n\det(\Sigma))$$ where $n$ is the number of dimensions. Since multivariate Gaussian is the distribution that maximizes the differential entropy for given covariance, this formula gives an entropy upper bound for an unknown distribution with a given variance.

And it depends on the determinant of the covariance matrix, as @user603 suggests.