Wenn Sie es nicht orthogonal machen können, machen Sie es roh (Polynomregression)

Bei der Durchführung einer Polynomregression für $Y$ auf $X$ Menschen manchmal rohe Polynome, manchmal orthogonale Polynome. Aber wenn sie verwenden, was völlig willkürlich erscheint.

Hier und hier werden rohe Polynome verwendet. Aber hier und hier scheinen orthogonale Polynome die richtigen Ergebnisse zu liefern. Was, wie, warum?!

Im Gegensatz dazu, wenn man aus einem Lehrbuch etwas über die Polynomregression lernt (z ISLR ) nicht einmal rohe oder orthogonale Polynome erwähnt - es wird nur das anzupassende Modell angegeben.

Wann müssen wir also was verwenden?
Und warum sind die einzelnen p-Werte für , X $X$$X^2$ usw. stark zwischen diesen beiden Werten?

Die Variablen und X 2 sind nicht linear unabhängig. Selbst wenn es keinen quadratischen Effekt gibt, ändert das Hinzufügen von X 2 zum Modell den geschätzten Effekt von $X$$X^2$$X^2$$X$ .

Lassen Sie uns einen Blick mit einer sehr einfachen Simulation werfen.

> x <- runif(1e3)
> y <- x + rnorm(length(x))
> summary(lm(y~x))

Coefficients:
            Estimate Std. Error t value Pr(>|t|)    
(Intercept) -0.03486    0.06233  -0.559    0.576    
x            1.05843    0.10755   9.841   <2e-16 ***

Jetzt mit einem quadratischen Term im Modell passen.

> summary(lm(y~x+I(x^2)))

Coefficients:
            Estimate Std. Error t value Pr(>|t|)
(Intercept)  0.03275    0.09528   0.344    0.731
x            0.65742    0.44068   1.492    0.136
I(x^2)       0.39914    0.42537   0.938    0.348

Natürlich ist der Omnibus-Test immer noch von Bedeutung, aber ich denke, das Ergebnis, das wir suchen, ist nicht dieses. Die Lösung besteht darin, orthogonale Polynome zu verwenden.

 > summary(lm(y~poly(x,2)))

 Coefficients:
            Estimate Std. Error t value Pr(>|t|)    
(Intercept)  0.49744    0.03098  16.059   <2e-16 ***
poly(x, 2)1  9.63943    0.97954   9.841   <2e-16 ***
poly(x, 2)2  0.91916    0.97954   0.938    0.348    

Beachten Sie, dass die Koeffizienten von xim ersten Modell und von poly(x,2)1im zweiten Modell nicht gleich sind und sogar die Abschnitte unterschiedlich sind. Dies liegt daran, dass polyorthonormale Vektoren geliefert werden, die auch orthogonal zum Vektor sind rep(1, length(x)). Also poly(x,2)1nicht x, sondern (x -mean(x))/sqrt(sum((x-mean(x))**2))...

Ein wichtiger Punkt ist, dass die Wald-Tests in diesem letzten Modell unabhängig sind. Sie können orthogonale Polynome verwenden, um zu entscheiden, bis zu welchem ​​Grad Sie gehen möchten, indem Sie sich den Wald-Test ansehen: Hier entscheiden Sie sich, aber nicht X 2 $X$$X^2$ . Natürlich würden Sie das gleiche Modell finden, wenn Sie die ersten beiden Modelle vergleichen, aber auf diese Weise ist es einfacher - wenn Sie überlegen, in höhere Grade aufzusteigen, ist es wirklich viel einfacher.

Sobald Sie entschieden haben, welche Begriffe beibehalten werden sollen, möchten Sie möglicherweise zur Interpretierbarkeit oder zur Vorhersage zu den Rohpolynomen und X 2 zurückkehren .$X$$X^2$

Um eine naive Einschätzung der Situation zu geben:

allgemein: Angenommen, Sie haben zwei verschiedene Basisfunktionssysteme sowie { ˜ p } ∞ n = 1 für einen Funktions- (Hilbert-) Raum, übliches L 2 ( [ a , b ] ) dh der Raum aller quadratisch integrierbaren Funktionen.$\{p_n\}_{n=1}^\infty$$\{\tilde{p}\}_{n=1}^\infty$$L_2([a,b])$

Dies bedeutet, dass jede der beiden Basen verwendet werden kann, um jedes Element von zu erklären , dh für y ∈ L 2 ( [ a , b ] ) haben Sie für einige Koeffizienten θ n und ˜ θ n ∈ R , n = 1 , 2 , ... (in der L 2 -SENSE): ∞ & Sigma; n = 1 ~ θ$L_2([a,b])$$y \in L_2([a,b])$$\theta_n$$\tilde{\theta}_n \in \mathbb{R}$$n=1,2,\dots$$L_2$

$k<\infty$

$\{\tilde{p}\}_{n=1}^\infty$, is just an orthogonalization of the other basis, $\{p_n\}_{n=1}^\infty$, the overall prediction of $y$ will be the same for each truncated model ($\{p\}_{n=1}^k$ and their orthogonalized counterpart will describe the same $k$-dimensional subspace of $L_2([a,b])$).

But each individual basis function from the two "different" bases will yield a different contribution to this predcition (obviously as the functions/predictors are different!) resulting in different $p$-values and coefficients.

Hence, in terms of prediction there is (in this case) no difference.

From a computational point of view a model matrix consisting of orthogonal basis functions have nice numerical/computational properties for the least squares estimator. While at the same time from the statistical point of view, the orthogonalization results in uncorrelated estimates, since $var(\hat{\tilde{\theta}}) = I \sigma²$ under the standard assumptions.

The natural question arises if there is a best truncated basis system. However the answer to the question is neither simple nor unique and depends for example on the definition of the word "best", i.e. what you are trying to archive.