Verteilung einer quadratischen Form, nicht zentrale Chi-Quadrat-Verteilung

Definition . Angenommen, $\mathbf{y} \sim \mathcal{N}(\boldsymbol{\mu}, I_{n \times n})$ .

Dann ist
$w = y^{T} y = ‖ y ‖^{2} \sim χ_{n}^{2} (θ = ‖ μ ‖^{2} / 2 = μ^{T} μ / 2),$ $w = \mathbf{y}^{T}\mathbf{y} = \|\mathbf{y}\|^2 \sim \chi^{2}_{n}\left(\theta = \|\boldsymbol{\mu}\|^2/2 =\boldsymbol{\mu}^{T}\boldsymbol{\mu}/2 \right)\text{,}$ dh die $\chi^2$ Verteilung mit $n$ Graden von Freiheits- und Nichtzentralitätsparameter $\theta$ .

Ich versuche, (am allerwenigsten) findet einen Beweis des folgenden Satzes:

Satz . Angenommen, $\Sigma$ ist eine $n \times n$ positive definitive und symmetrische Matrix, $A$ ist eine $n \times n$ symmetrische Matrix mit Rang $m$ und $(A\Sigma)^2 = A\Sigma$ .

Dann $\mathbf{y} \sim \mathcal{N}(\boldsymbol{\mu}, \Sigma) \implies \mathbf{y}^{T}A\mathbf{y} \sim \chi^2_m\left(\boldsymbol{\mu}^{T}A\boldsymbol{\mu}/2\right)\text{.}$

Ich sehe nicht, wie diese Definition funktioniert. In meinen Augen müssten wir $A$ in Potenzen von "aufteilen" $1/2$ (was auch immer dies bedeutet), um die Definition, die ich oben gegeben habe, mit dem Satz zu arbeiten , dh $(A^{1/2}\mathbf{y})^TA^{1/2}\mathbf{y}$ , es sei denn, ich vermisse hier wirklich etwas.

Ich lese nur selbst, daher wären alle Quellen oder Personen, die mir mit einem Beweis dafür helfen können, dankbar.

— Klarinettist
quelle

Sind Sie sicher, dass Sie auch durch 2 teilen müssen?

— JohnK

@JohnK Nach diesen Notizen, die ich lese, stellen sie fest, dass einige Autoren die Division nicht durch .

2

$2$

— Klarinettist

Letzte Frage: Die Matrix muss symmetrisch sein, oder?

A

$\mathbf{A}$

— JohnK

Um den Satz zu beweisen, benötigen wir das folgende Zwischenergebnis.

Satz . Sei und sei für eine symmetrische Matrix mit Rang . Wenn dann idempotent ist, hat Q eine -Verteilung. $\mathbf{y} \sim N_n \left(0, \sigma^2 \mathbf{I}_n \right)$ $Q = \sigma^{-2} \mathbf{y}^{\prime} \mathbf{A} \mathbf{y}$ $\mathbf{A}$ $r$ $\mathbf{A}$ $\chi^2 (r)$

Der Satz erstreckt sich auch in die andere Richtung, aber wir brauchen nur die Hinlänglichkeit, also werden wir dies nur beweisen und dies unter Verwendung der Eigenwert-Eigenvektor-Zerlegung einer idempotenten Matrix tun.

Es ist wichtig anzumerken, dass wir zuerst den Fall des Mittelwerts Null betrachten. Wir werden diese Annahme später lockern. Aber denken Sie vorerst daran, dass für eine quadratische Matrix mit Rang r $\mathbf{A}$

A = \sum_{i = 1}^{r} λ_{i} c_{i} c_{i}^{'}

$\mathbf{A} = \sum_{i=1}^{r} \lambda_i \mathbf{c}_i \mathbf{c}_i^{\prime}$

Dabei sind die Lambdas die Eigenwerte und die die entsprechenden Eigenvektoren. Alles ziemlich normal bis jetzt. Wenn wir nun auf symmetrisch beschränken, passieren zwei Dinge: $\mathbf{c}_i$ $\mathbf{A}$

Die Eigenwerte sind reelle Werte
Eigenvektoren, die unterschiedlichen Eigenwerten entsprechen, sind orthogonal

Dies sind Konsequenzen des sogenannten Spektralsatzes der linearen Algebra, und Sie können jedes gute Lehrbuch für einen Beweis konsultieren. Was bedeutet das für uns? Sie werden gleich sehen, warum Symmetrie erforderlich ist. Schreiben wir die Zerlegung unseres in unserer quadratischen Form auf und sehen, was passiert. $\mathbf{A}$

\begin{matrix} (1) & σ^{- 2} y^{'} A y = σ^{- 2} y^{'} (\sum_{i = 1}^{r} λ_{i} c_{i} c_{i}^{'}) y = \sum_{i = 1}^{r} λ_{i} {(σ^{- 1} c_{i}^{'} y)}^{2} \end{matrix}

$\sigma^{-2} \mathbf{y}^{\prime} \mathbf{A} \mathbf{y} = \sigma^{-2} \mathbf{y}^{\prime} \left( \sum_{i=1}^r \lambda_i \mathbf{c}_i \mathbf{c}_i^{\prime} \right) \mathbf{y} = \sum_{i=1}^r \lambda_i \left( \sigma^{-1} \mathbf{c}_i^{\prime} \mathbf{y} \right)^2 \tag{1}$

Wir haben unsere quadratische Form als gewichtete quadratische Projektionen auf orthogonale Achsen geschrieben. Untersuchen wir nun die Verteilung von und , . Nach Grundregeln $\mathbf{c}_i ^{\prime} \mathbf{y}$ $\mathbf{c}_j ^{\prime} \mathbf{y}$ $i \neq j$

σ^{- 1} c_{i}^{'} y \sim N (0, \underset{= 1}{\underset{⏟}{c_{i}^{'} c_{i}}})

$\sigma^{-1} \mathbf{c}_i ^{\prime} \mathbf{y} \sim N(0, \underbrace{\mathbf{c}_i^{\prime} \mathbf{c}_i}_{=1} )$

da die Eigenvektoren nicht eindeutig sind und daher ohne Verlust der Allgemeinheit neu skaliert werden können, um die Länge eins zu haben. Nächster,

C o v (σ^{- 1} c_{i}^{'} x, σ^{- 1} c_{j}^{'} x) = σ^{- 2} c_{i}^{'} I_{n} c_{j} = 0, i \neq j

$Cov\left(\sigma^{-1} \mathbf{c}_i ^{\prime} \mathbf{x} , \sigma^{-1} \mathbf{c}_j ^{\prime} \mathbf{x} \right) = \sigma^{-2}\mathbf{c}_i ^{\prime} I_n \mathbf{c}_j = 0, \ \ i \neq j$

durch die zweite Implikation des Spektralsatzes. Somit sind unsere Summanden nicht korreliert. Durch die Normalität sind sie auch unabhängig. Es ist dann leicht zu erkennen, dass die Summe aus gewichteten Zufallsvariablen besteht (gewichtet mit den Eigenwerten). In diesem Thread wurde gefragt, ob dies unabhängig von der Verteilung folgt . Die Antwort ist natürlich nein. $\chi^2$ $\chi^2$

Geben Sie die Idempotenz ein. Aus der Definition einer idempotenten Matrix und dem Eigenwert / Eigenvektor-Problem folgt leicht, dass eine idempotente Matrix Eigenwerte hat, die entweder eins oder null sind. Da die Matrix unter der Annahme den Rang , gibt es Eigenwerte gleich eins. Deshalb $\mathbf{A}$ $r$ $r$

σ^{- 2} y^{'} A y = \sum_{i = 1}^{r} {(σ^{- 1} c_{i}^{'} y)}^{2} \sim χ^{2} (r)

$\sigma^{-2} \mathbf{y}^{\prime} \mathbf{A} \mathbf{y} = \sum_{i=1}^r \left( \sigma^{-1} \mathbf{c}_i^{\prime} \mathbf{y} \right)^2 \sim \chi^2 (r)$

Und das vervollständigt den Beweis.

Was passiert jetzt, wenn der Vektor einen Mittelwert ungleich Null hat? Kein Schaden angerichtet, wir werden nur die Definition der nicht zentralen Verteilung verwenden, um zu folgern, dass wenn $y$ $\chi^2$

y \sim N_{n} (μ, σ^{2} I_{n})

$\mathbf{y} \sim N_n \left( \boldsymbol{\mu}, \sigma^2 \mathbf{I}_n \right)$

dann

σ^{- 2} y^{'} A y \sim χ^{2} (r, μ^{'} A μ)

$\sigma^{-2} \mathbf{y}^{\prime} \mathbf{A} \mathbf{y} ~ \sim \chi^2 \left(r, \boldsymbol{\mu}^{\prime} \mathbf{A} \boldsymbol{\mu} \right)$

wobei der zweite Term den Nicht-Zentralitätsparameter angibt. (Aus Gewohnheit werde ich die Division um überspringen, aber Sie können es einfach auf Ihre Weise tun). $2$

Wir sind jetzt bereit, das gewünschte Ergebnis zu beweisen.

Satz . Angenommen, ist eine positive definitive und symmetrische Matrix, ist eine symmetrische Matrix mit Rang und . $\Sigma$ $n \times n$ $A$ $n \times n$ $r$ $(A\Sigma)^2 = A\Sigma$

Dann $\mathbf{y} \sim N(\boldsymbol{\mu}, \Sigma) \implies Q = \mathbf{y}^{\prime}A\mathbf{y} \sim \chi^2 \left(r, \boldsymbol{\mu}^{\prime} \mathbf{A}\boldsymbol{\mu} \right)\text{.}$

Das ist uns gegeben

A Σ A Σ = A Σ

$\mathbf{A\Sigma A \Sigma} = \mathbf{A\Sigma}$

woraus folgt das

A Σ A = A

$\mathbf{A\Sigma A} = \mathbf{A}$

und daher können wir unsere quadratische Form umschreiben als

\begin{matrix} (2) & Q = {(Σ^{- 1 / 2} y)}^{'} Σ^{1 / 2} A Σ^{1 / 2} (Σ^{- 1 / 2} y) \end{matrix}

$Q = \left( \boldsymbol{\Sigma}^{-1/2} \mathbf{y} \right)^{\prime} \boldsymbol{\Sigma}^{1/2} \mathbf{A} \boldsymbol{\Sigma}^{1/2} \left( \boldsymbol{\Sigma}^{-1/2} \mathbf{y} \right) \tag{2}$

Da eine positiv definierte Matrix ist, ist ihre Quadratwurzel immer gut definiert und Sie können dies anhand der Eigenwert- / Eigenvektor-Zerlegung überprüfen (Sie können auch überprüfen, ob Gleichung ( ) Gleichung ( ) entspricht )!) $\boldsymbol{\Sigma}$ $2$ $1$

Natürlich würden Sie zustimmen, dass . Wenn wir vorübergehend annehmen, dass wir uns in der Situation des ersten Satzes, richtig? Nun, nicht genau - wir müssen immer noch zeigen, dass die mittlere Matrix idempotent ist, aber das ist unter unseren Annahmen einfach genug. $\boldsymbol{\Sigma}^{-1/2} \mathbf{y} \sim N_n \left( \boldsymbol{\Sigma}^{-1/2} \boldsymbol{\mu} , \mathbf{I}_n \right)$ $\boldsymbol{\mu}=0$

Σ^{1 / 2} A Σ^{1 / 2} Σ^{1 / 2} A Σ^{1 / 2} = Σ^{1 / 2} A Σ^{1 / 2}

$\boldsymbol{\Sigma}^{1/2} \mathbf{A} \boldsymbol{\Sigma}^{1/2} \boldsymbol{\Sigma}^{1/2} \mathbf{A} \boldsymbol{\Sigma}^{1/2} = \boldsymbol{\Sigma}^{1/2} \mathbf{A} \boldsymbol{\Sigma}^{1/2}$

Wenn also , was impliziert, dass wir jetzt wechseln zurück zur Situation von ungleich Null bedeuten wir $\mathbf{y} \sim N_n \left(\mathbf{0}, \boldsymbol{\Sigma} \right)$ $Q \sim \chi^2 \left(r \right)$

Q = y^{'} A y \sim χ^{2} (r, μ^{'} A μ)

$Q = \mathbf{y}^{\prime}\mathbf{A}\mathbf{y} \sim \chi^2 \left(r, \boldsymbol{\mu}^{\prime} \mathbf{A}\boldsymbol{\mu} \right)$

wie erforderlich. $\square$

— JohnK
quelle

Wenn Sie "Mittelwert" sagen (z. B. "... wir betrachten zuerst den Fall des Mittelwerts Null"), meinen Sie damit den Nichtzentralitätsparameter?

— Klarinettist

@Clarinetist Ich meine den Mittelwert der Normalverteilung, , was wiederum bedeutet, dass der Nichtzentralitätsparameter ebenfalls Null ist.

μ

$\boldsymbol{\mu}$

— JohnK

Ah ja. Okay. Soll das bei der ersten Satzanweisung ?

y_{n}

$\mathbf{y}_n$

y

$\mathbf{y}$

— Klarinettist

@Clarinetist Ja, soll die Dimension betonen.

— JohnK

Sehr gut geschrieben. Ich verfolge ungefähr 98% davon beim ersten Lesen, was angesichts der Erklärungen, die ich zu diesem und ähnlichen Themen versucht habe, erstaunlich ist. Ich muss ein paar Dinge lernen und überprüfen, aber ich verstehe diese Antwort größtenteils. Vielen Dank und viel Spaß mit den +12.

— Klarinettist