Asymptotische Normalität einer quadratischen Form

Lassen Sie $\mathbf{x}$ ein Zufallsvektor aus gezeichnet sein $P$ . Betrachten wir eine Probe . Definieren Sie und . Sei und . $\{ \mathbf{x}_i \}_{i=1}^n \stackrel{i.i.d.}{\sim} P$ $\bar{\mathbf{x}}_n := \frac{1}{n} \sum_{i=1}^n \mathbf{x}_i$ $\hat{C} := \frac{1}{n} \sum_{i=1}^n (\mathbf{x}_i - \bar{\mathbf{x}}_n) (\mathbf{x}_i - \bar{\mathbf{x}}_n)^\top$ $\boldsymbol{\mu} := \mathbb{E}_{\mathbf{x}\sim P}[\mathbf{x}]$ $C:=\mathrm{cov}_{\mathbf{x} \sim P}[\mathbf{x}, \mathbf{x}]$

Nehmen wir nach dem zentralen Grenzwertsatz an, dass

\sqrt{n} ({\bar{x}}_{n} - μ) \overset{d}{\to} N (0, C),

$\sqrt{n} \big( \bar{\mathbf{x}}_n - \boldsymbol{\mu} \big) \stackrel{d}{\to} \mathcal{N}(\boldsymbol{0}, C),$

wobei $C$ eine Kovarianzmatrix mit vollem Rang ist.

Frage : Wie kann ich das beweisen (oder widerlegen)?

\sqrt{n} ({\bar{x}}_{n}^{⊤} (\hat{C} + γ_{n} I)^{- 1} {\bar{x}}_{n} - μ^{⊤} C^{- 1} μ) \overset{d}{\to} N (0, v^{2}),

$\sqrt{n} \big( \bar{\mathbf{x}}_n^\top (\hat{C} + \gamma_n I)^{-1} \bar{\mathbf{x}}_n - \boldsymbol{\mu}^\top C^{-1} \boldsymbol{\mu} \big) \stackrel{d}{\to} \mathcal{N}(0, v^2),$

für einige $v>0$ und für einige $\gamma_n \ge 0$ so dass $\lim_{n\to \infty} \gamma_n =0$ ? Das sieht einfach aus. Aber ich konnte nicht genau herausfinden, wie ich das zeigen sollte. Dies ist keine Hausaufgabenfrage.

Mein Verständnis ist, dass die Delta-Methode es uns ermöglichen würde, leicht zu schließen

\sqrt{n} ({\bar{x}}_{n}^{⊤} C^{- 1} {\bar{x}}_{n} - μ^{⊤} C^{- 1} μ) \overset{d}{\to} N (0, v^{2}),

$\sqrt{n} \big( \bar{\mathbf{x}}_n^\top C^{-1} \bar{\mathbf{x}}_n - \boldsymbol{\mu}^\top C^{-1} \boldsymbol{\mu} \big) \stackrel{d}{\to} \mathcal{N}(0, v^2),$

oder

\sqrt{n} ({\bar{x}}_{n}^{⊤} (\hat{C} + γ_{n} I)^{- 1} {\bar{x}}_{n} - μ^{⊤} (\hat{C} + γ_{n} I)^{- 1} μ) \overset{d}{\to} N (0, v^{2}) .

$\sqrt{n} \big( \bar{\mathbf{x}}_n^\top (\hat{C} + \gamma_n I)^{-1} \bar{\mathbf{x}}_n - \boldsymbol{\mu}^\top (\hat{C} + \gamma_n I)^{-1} \boldsymbol{\mu} \big) \stackrel{d}{\to} \mathcal{N}(0, v^2).$

Diese sind ein bisschen anders als ich will. Beachten Sie die Kovarianzmatrizen in den beiden Begriffen. Ich habe das Gefühl, dass ich hier etwas sehr Triviales vermisse. Wenn es die Dinge einfacher macht, können wir alternativ auch ignorieren, dh und annehmen, dass invertierbar ist. Vielen Dank. $\gamma_n$ $\gamma_n =0$ $\hat{C}$

— wij
quelle

Wir müssen etwas darüber wissen, wie auf 0 geht. Ist es eine Folge von Konstanten? Ich denke, dass Sie zuerst was meiner Meinung nach ein Ergebnis von Slutskys ist. Dann würde ich als schreiben . hat eine einschränkende Verteilung, die mit der Methode gefunden werden kann. Zuletzt können Sie versuchen zu zeigen, dass mit einer Wahrscheinlichkeit auf 0 geht. Obwohl ich nicht sicher bin, ob das gilt ...

γ_{n}

$\gamma_n$

{\bar{x}}_{n}^{T} γ_{n} I {\bar{x}}_{n} \to_{p} 0

$\bar{x}_n^T \gamma_n I \bar{x}_n \rightarrow_p 0$

\hat{C}

$\hat{C}$

C + bias (\hat{C})

$C + \text{bias}(\hat{C})$

{\bar{x}}_{n}^{T} C {\bar{x}}_{n}

$\bar{x}_n^T C \bar{x}_n$

δ

$\delta$

{\bar{x}}_{n}^{T} bias (\hat{C}) {\bar{x}}_{n}

$\bar{x}_n^T \text{bias}(\hat{C}) \bar{x}_n$

— AdamO

γ_{n}

$\gamma_n$ ist eine Folge von Konstanten (nicht zufällig). Die Sequenz kann auf alles eingestellt werden, was die Konvergenz zum Funktionieren bringt (falls eine solche Sequenz vorhanden ist). Ich denke, ist wahr. Ich bin nicht gefolgt, warum wir das zuerst brauchen. Aber lassen Sie mich darüber nachdenken und den Rest mehr. :)

{\bar{x}}_{n}^{⊤} I {\bar{x}}_{n} \overset{p}{\to} 0

$\bar{x}_n^\top I \bar{x}_n \stackrel{p}{\to} 0$

— wij

Ich habe nicht erwähnt: Ihr Zögern, die Methode direkt anzuwenden und als erledigt zu bezeichnen, ist berechtigt. Ich denke, Sie können dies sorgfältig aufschreiben. Nützliche Theoreme für diese Art von Beweisen sind Slutskys, das Mann-Wald Continuous Mapping Theorem und das Cramer-Wold Theorem.

δ

$\delta$

— AdamO

Ich bin damit einverstanden, dass die von Ihnen genannten Ergebnisse nützlich sein könnten. Ich sehe aber immer noch nicht wie. Eigentlich denke ich auch, dass die asymptotische Verteilung möglicherweise keine Normalverteilung ist.

— wij

Es scheint, dass dies komplizierter ist, als es scheint. Das arXiv-Papier beschreibt hier , was in hohen Dimensionen passiert. Ich kann kein Analogon mit fester Dimension finden, aber sie haben ein endlichdimensionales Argument in Abschnitt 3.

— Greenparker

Bei der Verwendung der Delta-Methode treten einige Schwierigkeiten auf. Es ist bequemer, es von Hand abzuleiten.

Mit dem Gesetz der großen Zahl, . Daher . Wenden Sie den Satz von Slutsky an, wir haben Nach dem kontinuierlichen Mapping-Theorem haben wir Daher Nach dem Satz von Slutsky haben wir Die Kombination der beiden oben genannten Gleichheitsausbeuten $\hat{C}\xrightarrow{P} C$ $\hat{C} +\gamma_n I\xrightarrow{P} C$

\sqrt{n} (\hat{C} + γ_{n} I)^{- 1 / 2} (\bar{X} - μ) \overset{d}{\to} N (0, C^{- 1}) .

$\sqrt{n}(\hat{C} +\gamma_n I)^{-1/2}(\bar{X}-\mu)\xrightarrow{d}\mathcal{N} (0,C^{-1}).$

n (\bar{X} - μ)^{T} (\hat{C} + γ_{n} I)^{- 1} (\bar{X} - μ) \overset{d}{\to} \sum_{i = 1}^{p} λ_{i}^{- 1} (C) χ_{1}^{2} .

${n}(\bar{X}-\mu)^T (\hat{C} +\gamma_n I)^{-1}(\bar{X}-\mu)\xrightarrow{d}\sum_{i=1}^p \lambda_i^{-1}(C)\chi^2_1.$

\sqrt{n} (\bar{X} - μ)^{T} (\hat{C} + γ_{n} I)^{- 1} (\bar{X} - μ) \overset{P}{\to} 0.

$\sqrt{n}(\bar{X}-\mu)^T (\hat{C} +\gamma_n I)^{-1}(\bar{X}-\mu)\xrightarrow{P}0.$

\sqrt{n} μ^{T} (\hat{C} + γ_{n} I)^{- 1} (\bar{X} - μ) \overset{d}{\to} N (0, μ^{T} C^{- 2} μ) .

$\sqrt{n}\mu^T(\hat{C} +\gamma_n I)^{-1}(\bar{X}-\mu)\xrightarrow{d}\mathcal{N} (0,\mu^T C^{-2}\mu).$

\begin{aligned} \sqrt{n} ({\bar{X}}^{T} (\hat{C} + γ_{n} I)^{- 1} \bar{X} - μ^{T} (\hat{C} + γ_{n} I)^{- 1} μ) \\ = & \sqrt{n} ((\bar{X} - μ)^{T} (\hat{C} + γ_{n} I)^{- 1} (\bar{X} - μ) - 2 μ^{T} (\hat{C} + γ_{n} I)^{- 1} (\bar{X} - μ)) \\ = & - 2 \sqrt{n} μ^{T} (\hat{C} + γ_{n} I)^{- 1} (\bar{X} - μ) + o_{P} (1) \\ \overset{d}{\to} & N (0, 4 μ^{T} C^{- 2} μ) . \end{aligned}

$\begin{align} &\sqrt{n}\big(\bar{X}^T (\hat{C} +\gamma_n I)^{-1}\bar{X}-\mu^T (\hat{C} +\gamma_n I)^{-1}\mu\big) \\ = &\sqrt{n}\Big((\bar{X}-\mu)^T (\hat{C} +\gamma_n I)^{-1}(\bar{X}-\mu)-2\mu^T(\hat{C} +\gamma_n I)^{-1}(\bar{X}-\mu)\Big) \\ =&-2\sqrt{n}\mu^T(\hat{C} +\gamma_n I)^{-1}(\bar{X}-\mu)+o_P(1) \\ \xrightarrow{d}&\mathcal{N} (0,4\mu^T C^{-2}\mu). \end{align}$ Die verbleibende Aufgabe besteht darin, sich mit zu befassen. Leider konvergiert diese Termdosis NICHT gegen . Das Verhalten wird kompliziert und hängt vom dritten und vierten Moment ab.

\sqrt{n} (μ^{T} (\hat{C} + γ_{n} I)^{- 1} μ - μ^{T} (C)^{- 1} μ) .

$\sqrt{n} \Big( \mu^T (\hat{C} +\gamma_n I)^{-1}\mu-\mu^T (C)^{-1}\mu \Big).$

0

$0$

Um einfach zu sein, nehmen wir unten an, dass normalverteilt sind und . Es ist ein Standardergebnis, dass wobei eine symmetrische Zufallsmatrix mit diagonalen Elementen als ist und nicht diagonale Elemente als . Somit ist durch Matrix-Taylor-Erweiterung haben wir $X_i$ $\gamma_n=o(n^{-1/2})$

\sqrt{n} (\hat{C} - C) \overset{d}{\to} C^{1 / 2} W C^{1 / 2},

$\sqrt{n}(\hat{C}-C)\xrightarrow{d}C^{1/2} W C^{1/2},$

W

$W$

N (0, 2)

$\mathcal{N}(0,2)$

N (0, 1)

$\mathcal{N}(0,1)$

\sqrt{n} (\hat{C} + γ_{n} I - C) \overset{d}{\to} C^{1 / 2} W C^{1 / 2},

$\sqrt{n}(\hat{C}+\gamma_n I-C)\xrightarrow{d}C^{1/2} W C^{1/2},$

(I + A)^{- 1} \sim I - A + A^{2}

$(I+A)^{-1}\sim I-A+A^2$

\begin{aligned} \sqrt{n} ((\hat{C} + γ_{n} I)^{- 1} - C^{- 1}) = \sqrt{n} C^{- 1 / 2} ((C^{- 1 / 2} (\hat{C} + γ_{n} I) C^{- 1 / 2})^{- 1} - I) C^{- 1 / 2} \\ = & \sqrt{n} C^{- 1} (\hat{C} + γ_{n} I - C) C^{- 1} + O_{P} (n^{- 1 / 2}) \overset{d}{\to} C^{- 1 / 2} W C^{- 1 / 2} . \end{aligned}

$\begin{align} &\sqrt{n}\Big((\hat{C} +\gamma_n I)^{-1}- C^{-1}\Big)= \sqrt{n}C^{-1/2}\Big(\big(C^{-1/2}(\hat{C} +\gamma_n I)C^{-1/2}\big)^{-1}-I\Big)C^{-1/2}\\ =&\sqrt{n}C^{-1}\Big(\hat{C} +\gamma_n I-C\Big)C^{-1}+O_P(n^{-1/2}) \xrightarrow{d}C^{-1/2} W C^{-1/2}. \end{align}$ Also

\sqrt{n} (μ^{T} (\hat{C} + γ_{n} I)^{- 1} μ - μ^{T} (C)^{- 1} μ) \overset{d}{\to} μ^{T} C^{- 1 / 2} W C^{- 1 / 2} μ \sim N (0, (μ^{T} C^{- 1} μ)^{2}) .

$\sqrt{n} \Big( \mu^T (\hat{C} +\gamma_n I)^{-1}\mu-\mu^T (C)^{-1}\mu \Big)\xrightarrow{d}\mu^T C^{-1/2} W C^{-1/2}\mu \sim N(0,(\mu^T C^{-1}\mu)^2).$

Also

\begin{aligned} \sqrt{n} ({\bar{X}}^{T} (\hat{C} + γ_{n} I)^{- 1} \bar{X} - μ^{T} C^{- 1} μ) \overset{d}{\to} N (0, 4 μ^{T} C^{- 2} μ + (μ^{T} C^{- 1} μ)^{2}) . \end{aligned}

$\begin{align} \sqrt{n}\big(\bar{X}^T (\hat{C} +\gamma_n I)^{-1}\bar{X}-\mu^T C^{-1}\mu\big) \xrightarrow{d}\mathcal{N} (0,4\mu^T C^{-2}\mu+(\mu^T C^{-1}\mu)^2). \end{align}$

— kfeng123
quelle

Danke für deine Antwort. Es ist genau dieser Begriff, der nicht gegen 0 konvergiert, der das Ganze schwierig macht. Leider kann ich nicht davon ausgehen, dass normal verteilt ist. Aber ich schätze die Antwort immer noch. Wenn Sie kommentieren könnten, wie es vom dritten und vierten Moment abhängt (vielleicht mit Referenzen), wäre das hilfreich. Auch kann ich im Moment nicht erklären. Aber ich habe das Gefühl, dass es langsamer als zerfallen muss . Ich muss mir den Grund genauer überlegen.

X_{i}

$X_i$

g a m m a_{n}

$gamma_n$

o (n^{- 1 / 2})

$o(n^{-1/2})$

— wij

Ich habe vergessen hinzuzufügen, dass in meinem Fall davon ausgegangen werden kann , dass in einem kompakten Satz lebt (falls erforderlich). Dies könnte bei den momentanen Bedingungen hilfreich sein.

X_{i}

$X_i$

— wij