In Ihrer Notation ist die Projektion und der Spaltenraum von , dh der Unterraum aller Regressoren. Daher ist die Projektion auf alles orthogonal zum Unterraum, der von allen Regressoren überspannt wird.HXM:=In−H
Wenn , dann ist singulär normalverteilt und die Elemente sind korreliert, wie Sie angeben.X∈Rn×ke^∈Rn
Die Fehler sind nicht beobachtbar und im Allgemeinen nicht orthogonal zu dem von überspannten Unterraum . Nehmen Sie aus Gründen der Argumentation an, dass der Fehler . Wenn dies wahr wäre, hätten wir mit . Da , könnten wir zerlegen und das wahre .εXε⊥span(X)y=Xβ+ε=y~+εy~⊥εy~=Xβ∈span(X)yε
Angenommen, wir haben eine Basis von , wobei der erste Basisvektor den Unterraum überspannt und die verbleibenden span . Im Allgemeinen hat der Fehler Komponenten ungleich Null für . Diese Nicht-Null-Komponenten werden mit und können daher nicht durch Projektion auf wiederhergestellt werden .b1,…,bnRnb1,…,bkspan(X)bk+1,…,bnspan(X)⊥ε=α1b1+…+αnbnαii∈{1,…,k}Xβspan(X)
Da wir niemals hoffen können, die wahren Fehler wiederherzustellen, sind und korrelierte singuläre dimensionale Normalen, könnten wir transformieren . Dort können wir haben, dass
dh ist nicht singulär unkorreliert und homoskedastisch normalverteilt. Die Residuen heißen Theils BLUS-Residuen .εe^ne^∈Rn↦e∗∈Rn−k
e∗∼Nn−k(0,σ2In−k),
e∗e∗
In der Kurzarbeit Über das Testen von Regressionsstörungen auf Normalität finden Sie einen Vergleich von OLS- und BLUS-Residuen. In der getesteten Monte-Carlo-Einstellung sind die OLS-Residuen den BLUS-Residuen überlegen. Dies sollte Ihnen jedoch einen Ausgangspunkt geben.