Warum beschäftigen wir uns mit den Eigenvektoren der Autokorrelation anstelle der Daten selbst?

8

Wie intuitiv zu verstehen, warum Eigenvektoren der Autokorrelationsmatrix verwendet werden, aber Eigenvektoren der aus zeitlichen Stichproben aufgebauten Matrix keinen Sinn haben und nicht verwendet werden? Zum Beispiel bei der Erkennung eines harmonischen Signals in additivem Rauschen.

autocorrelation matrix

— Timur
quelle

5

Einige Gründe, warum es besser ist, mit der Autokorrelationsmatrix zu arbeiten, als mit einer Matrix mit Ihren Beobachtungen:

Wenn Sie alle Ihre Beobachtungen berücksichtigen möchten und viele Daten haben, werden Sie am Ende ziemlich große Matrizen manipulieren (invertieren, multiplizieren). Wenn Sie mit der Autokorrelationsmatrix arbeiten, "fassen" Sie Ihre Daten einmal zusammen (in einem ziemlich effizienten Schritt, der nur eine FFT und eine inverse FFT erfordert), und von da an manipulieren Sie einfach Ihre Autokorrelationsmatrix der Größe wobei Ihre ist Modellreihenfolge (zum Beispiel für AR-Modellierung oder sinusförmige Modellierung). $P \times P$ $P$
Bei einigen Daten funktioniert es einfach nicht, die Rohbeobachtungen numerisch zu verwenden, da Sie auf Situationen stoßen, in denen Sie mit Matrizen umgehen müssen, von denen nicht garantiert wird, dass sie positiv definit sind.

Betrachten wir zum Beispiel zwei Ansätze zur AR-Modellanpassung.

Direkte Nutzung der Datenmatrix

Der empirische quadratische Rekonstruktionsfehler Ihrer Daten ist:

ϵ = x^{T.} x + x^{T.} Γ ein + {ein}^{T.} Γ^{T.} x + {ein}^{T.} Γ^{T.} Γ ein

$\epsilon = \mathbf{x}^T\mathbf{x} + \mathbf{x}^T\Gamma \mathbf{a} + \mathbf{a}^T\Gamma^T\mathbf{x} + \mathbf{a}^T\Gamma^T \Gamma \mathbf{a}$

$\mathbf{a}$ $\mathbf{x}$ $\Gamma$ $\mathbf{a}$

ein = - - (Γ^{T.} Γ)^{- - 1} Γ^{T.} x

$\mathbf{a} = - (\Gamma^T \Gamma)^{-1} \Gamma^T \mathbf{x}$

$\Gamma^T \Gamma$

Zufällige Prozessansicht

Wenn Sie einen "zufälligen Prozess" -Winkel an das Problem anpassen, müssen Sie die Menge minimieren (den erwarteten Wert des Fehlers):

ϵ = r_{x} (0) + 2 r ein + {ein}^{T.} R. ein

$\epsilon = r_x(0) + 2 \mathbf{r} \mathbf{a} + \mathbf{a}^T \mathbf{R} \mathbf{a}$

Und am Ende haben Sie die schmackhaftere Lösung:

ein = - - {R.}^{- - 1} r

$\mathbf{a} = - \mathbf{R}^{-1} \mathbf{r}$

$\mathbf{R}$

Es sieht so aus, als ob Ihr Problem das der sinusförmigen Modellierung ist (und nicht der AR-Modellierung). Hier wird viel von Hand gewinkt, aber was ich über die AR-Modellierung und die Hürden bei der Verwendung der Rohdatenmatrix gesagt habe; gilt auch für die sinusförmige Modellierung - wobei die Eigenwertzerlegung die problematische Operation anstelle der Matrixinversion ist.

— Pichenettes
quelle

2

Zunächst werden Eigenvektoren und Eigenwerte für Operatoren definiert. Korrelation ist eine Operation.

Zweitens sind die Eigenvektoren der Autokorrelation besonders interessant, weil sie die Varianz des Signals in einer linearen Regression am effizientesten erklären. Mit anderen Worten, für eine feste Anzahl von Vektoren minimiert die Auswahl der Eigenvektoren den mittleren quadratischen Fehler, bei dem das Signal als lineare Summe der Vektoren modelliert wird. Diese Technik wird als Hauptkomponentenanalyse bezeichnet .

Wenn Sie Ihre Vorstellung von einem "harmonischen" Signal erweitern können, kann ich vielleicht weiter darauf eingehen.

— Emre
quelle

Ja, und darf ich hinzufügen, man kann auch mit der Datenmatrix in der Hauptkomponentenanalyse arbeiten. Dies beinhaltet jedoch stattdessen eine Singularwertzerlegung.

— Bryan