Ich versuche zu verstehen, ob die diskrete Fourier-Transformation die gleiche Darstellung einer Kurve wie eine Regression auf Fourier-Basis liefert. Beispielsweise,

library(fda)
Y=daily$tempav[,1] ## my data
length(Y) ## =365

## create Fourier basis and estimate the coefficients
mybasis=create.fourier.basis(c(0,365),365)  
basisMat=eval.basis(1:365,mybasis)
regcoef=coef(lm(Y~basisMat-1))

## using Fourier transform
fftcoef=fft(Y)

## compare
head(fftcoef)
head(regcoef)

FFT gibt eine komplexe Zahl an, während Regression eine reelle Zahl ergibt.

Vermitteln sie die gleichen Informationen? Gibt es eine Eins-zu-Eins-Zuordnung zwischen den beiden Zahlengruppen?

(Ich würde es begrüßen, wenn die Antwort aus Sicht des Statistikers statt aus Sicht des Ingenieurs geschrieben würde. Viele Online-Materialien, die ich finden kann, enthalten überall Fachjargon, was sie für mich weniger schmackhaft macht.)

Sie sind die gleichen. Hier ist wie...

Eine Regression durchführen

Angenommen, Sie passen das Modell mit t = 1 , … , N und n = Boden ( N / 2 ) an . Dies ist jedoch nicht für die lineare Regression geeignet. Verwenden Sie stattdessen eine Trigonometrie ( cos ( a + b ) =

$$y_t = \sum_{j=1}^n A_j \cos(2 \pi t [j/N] + \phi_j)$$ $t=1,\ldots,N$$n = \text{floor}(N/2)$ ) und paßt das äquivalente Modell: y t = n Σ j = 1 β 1 , j cos ( 2 π t [ j / N ] ) + β 2 , j sin ( 2 & pgr; t [ j / N ] ) $\cos(a + b) = \cos(a)\cos(b) - \sin(a)\sin(b)$ $$y_t = \sum_{j=1}^n \beta_{1,j} \cos(2 \pi t [j/N]) + \beta_{2,j}\sin(2 \pi t [j/N]).$$ Laufende lineare Regression auf alle der Fourier - Frequenzen gibt Ihnen ein Bündel ( 2 n ) von Betas: { β i , j } , i = 1 , 2 . Für jedes j können Sie Folgendes verwenden , wenn Sie das Paar von Hand berechnen möchten:$\{j/N : j = 1, \ldots, n \}$$2n$$\{\hat{\beta}_{i,j}\}$$i=1,2$$j$

$$\hat{\beta}_{1,j} = \frac{\sum_{t=1}^N y_t \cos(2 \pi t [j/N])}{\sum_{t=1}^N \cos^2(2 \pi t [j/N])}$$ $$\hat{\beta}_{2,j} = \frac{\sum_{t=1}^N y_t \sin(2 \pi t [j/N])}{\sum_{t=1}^N \sin^2(2 \pi t [j/N])}.$$

Eine diskrete Fourier-Transformation durchführen

$j=1, \ldots, n$

$$\begin{align*} d(j/N) &= N^{-1/2}\sum_{t=1}^N y_t \exp[- 2 \pi i t [j/N]] \\ &= N^{-1/2}\left(\sum_{t=1}^N y_t\cos(2 \pi t [j/N]) - i \sum_{t=1}^N y_t\sin(2 \pi t [j/N])\right) . \end{align*}$$

This is a complex number (notice the $i$). To see why that equality holds, keep in mind that $e^{ix} = \cos(x) + i\sin(x)$, $\cos(-x) = \cos(x)$ and $\sin(-x) = -\sin(x)$.

For each $j$, taking the square of the complex conjugate gives you the "periodogram:"

$$|d(j/N)|^2 = N^{-1}\left(\sum_{t=1}^N y_t\cos(2 \pi t [j/N])\right)^2 + N^{-1}\left(\sum_{t=1}^N y_t\sin(2 \pi t [j/N])\right)^2.$$ In R, calculating this vector would be I <- abs(fft(Y))^2/length(Y), which is sort of weird, because you have to scale it.

Also you can define the "scaled periodogram"

$$P(j/N) = \left(\frac{2}{N}\sum_{t=1}^N y_t \cos(2 \pi t [j/N]) \right)^2 + \left(\frac{2}{N}\sum_{t=1}^N y_t \sin(2 \pi t [j/N]) \right)^2.$$ Clearly $P(j/N) = \frac{4}{N}|d(j/N)|^2$. In R this would be P <- (4/length(Y))*I[(1:floor(length(Y)/2))].

The Connection Between the Two

It turns out the connection between the regression and the two periodograms is:

$$P(j/N) = \hat{\beta}_{1,j}^2 + \hat{\beta}_{2,j}^2.$$ Why? Because the basis you chose is orthogonal/orthonormal. You can show for each $j$ that $\sum_{t=1}^N \cos^2(2 \pi t [j/N]) = \sum_{t=1}^N \sin^2(2 \pi t [j/N]) = N/2$. Plug that in to the denominators of your formulas for the regression coefficients and voila.

Source: https://www.amazon.com/Time-Analysis-Its-Applications-Statistics/dp/144197864X

Sie sind eng miteinander verwandt. Ihr Beispiel ist nicht reproduzierbar, weil Sie Ihre Daten nicht angegeben haben. Daher erstelle ich eine neue. Zunächst erstellen wir eine periodische Funktion:

T <- 10
omega <- 2*pi/T
N <- 21
x <- seq(0, T, len = N)
sum_sines_cosines <- function(x, omega){
    sin(omega*x)+2*cos(2*omega*x)+3*sin(4*omega*x)+4*cos(4*omega*x)
}
Yper <- sum_sines_cosines(x, omega)
Yper[N]-Yper[1] # numerically 0

x2 <- seq(0, T, len = 1000)
Yper2 <- sum_sines_cosines(x2, omega)
plot(x2, Yper2, col = "red", type = "l", xlab = "x", ylab = "Y")
points(x, Yper)

Erstellen wir nun eine Fourier-Basis für die Regression. Beachten Sie, dass mit$N = 2k+1$Es macht eigentlich keinen Sinn, mehr zu schaffen als $N-2$ Basisfunktionen, dh $N-3=2(k-1)$Nicht konstante Sinus- und Cosinus-Werte, da in einem solchen Gitter höherfrequente Komponenten aliasiert sind. Zum Beispiel ein Sinus der Frequenz$k\omega$ ist nicht von einem Costant (Sinus) zu unterscheiden: Betrachten Sie den Fall von $N=3$dh $k=1$. Wie auch immer, wenn Sie überprüfen möchten, ändern , nur N-2um Nim Snippet unten und Blick auf den letzten zwei Spalten: Sie werden sehen , dass sie eigentlich nutzlos sind (und sie schaffen Probleme für die Passform, denn die Design - Matrix nun singulär ).

# Fourier Regression with fda
library(fda)
mybasis <- create.fourier.basis(c(0,T),N-2)
basisMat <- eval.basis(x, mybasis)
FDA_regression <- lm(Yper ~ basisMat-1)
FDA_coef <-coef(FDA_regression)
barplot(FDA_coef)

Beachten Sie, dass die Frequenzen genau die richtigen sind, die Amplituden von Nicht-Null-Komponenten jedoch nicht (1,2,3,4). Der Grund ist, dass die fdaFourier-Basisfunktionen auf seltsame Weise skaliert sind: Ihr Maximalwert ist nicht 1, wie dies für die übliche Fourier-Basis der Fall wäre${1,\sin{ \omega x},\cos{ \omega x},\dots}$. Es ist nicht$\frac{1}{\sqrt \pi}$ entweder, wie es für die orthonormale Fourier-Basis gewesen wäre, ${\frac{1}{\sqrt {2\pi}},\frac{\sin{ \omega x}}{\sqrt \pi},\frac{\cos{ \omega x}}{\sqrt \pi},\dots}$.

# FDA basis has a weird scaling
max(abs(basisMat))
plot(mybasis)

Sie sehen deutlich, dass:

1. Der Maximalwert ist kleiner als $\frac{1}{\sqrt \pi}$
2. die Fourier - Basis (auf die erste abgeschnitten) $N-2$ Ausdrücke) enthält eine konstante Funktion (die schwarze Linie), Sinus mit zunehmender Frequenz (die Kurven, die an den Domänengrenzen gleich 0 sind) und Cosinus mit zunehmender Frequenz (die Kurven, die an den Domänengrenzen gleich 1 sind) sollte sein

Das einfache Skalieren der durch gegebenen Fourier-Basis fda, so dass die übliche Fourier-Basis erhalten wird, führt zu Regressionskoeffizienten mit den erwarteten Werten:

basisMat <- basisMat/max(abs(basisMat))
FDA_regression <- lm(Yper ~ basisMat-1)
FDA_coef <-coef(FDA_regression)
barplot(FDA_coef, names.arg = colnames(basisMat), main = "rescaled FDA coefficients")

Versuchen wir es fftjetzt: Beachten Sie, dass Yperder letzte Punkt keine Informationen hinzufügt , da es sich um eine periodische Sequenz handelt (die DFT einer Sequenz ist immer periodisch). Somit können wir den letzten Punkt bei der Berechnung der FFT verwerfen. Außerdem ist die FFT nur ein schneller numerischer Algorithmus zur Berechnung der DFT, und die DFT einer Folge von reellen oder komplexen Zahlen ist komplex . Wir wollen also unbedingt die Module der FFT-Koeffizienten:

# FFT
fft_coef <- Mod(fft(Yper[1:(N-1)]))*2/(N-1)

Wir multiplizieren mit $\frac{2}{N-1}$ um die gleiche Skalierung wie bei der Fourier-Basis zu haben ${1,\sin{ \omega x},\cos{ \omega x},\dots}$. Wenn wir nicht skalieren würden, würden wir immer noch die richtigen Frequenzen wiederherstellen, aber die Amplituden würden alle um den gleichen Faktor in Bezug auf das skaliert, was wir zuvor gefunden haben. Zeichnen wir nun die fft-Koeffizienten:

fft_coef <- fft_coef[1:((N-1)/2)]
terms <- paste0("exp",seq(0,(N-1)/2-1))
barplot(fft_coef, names.arg = terms, main = "FFT coefficients")

Ok: Die Frequenzen sind korrekt, aber beachten Sie, dass die Basisfunktionen jetzt keine Sinus- und Cosinusfunktionen mehr sind (sie sind komplexe Exponentiale) $\exp{ni\omega x}$wo mit $i$Ich bezeichne die imaginäre Einheit. Beachten Sie auch, dass wir anstelle einer Reihe von Frequenzen ungleich Null (1,2,3,4) wie zuvor eine Reihe (1,2,5) erhalten haben. Der Grund ist, dass ein Begriff$x_n\exp{ni\omega x}$ in dieser komplexen Koeffizientenexpansion (also $x_n$ ist komplex) entspricht zwei reellen Begriffen $a_n sin(n\omega x)+b_n cos(n\omega x)$ in der trigonometrischen Basiserweiterung aufgrund der Euler-Formel $\exp{ix}=\cos{x}+i\sin{x}$. Der Modul des komplexen Koeffizienten ist gleich der Quadratursumme der beiden reellen Koeffizienten, dh$|x_n|=\sqrt{a_n^2+b_n^2}$. In der Tat,$5=\sqrt{3^3+4^2}$.