11

Ich habe keine formale Definition der Skalenäquivarianz, aber hier ist die Einführung in das statistische Lernen dazu. 217:

Die Standardkoeffizienten der kleinsten Quadrate ... sind skalierungsäquivariante : Das Multiplizieren von $X_j$ mit einer Konstanten $c$ führt einfach zu einer Skalierung der Koeffizientenschätzungen der kleinsten Quadrate um einen Faktor von $1/c$ .

Nehmen wir der Einfachheit halber das allgemeine lineare Modell , wobei , ist eine Matrix (wobei ) mit allen Einträgen in $\mathbf{y} = \mathbf{X}\boldsymbol\beta + \boldsymbol\epsilon$ $\mathbf{y} \in \mathbb{R}^N$ $\mathbf{X}$ $N \times (p+1)$ $p+1 < N$ $\mathbb{R}$ , $\boldsymbol\beta \in \mathbb{R}^{p+1}$ , und $\boldsymbol\epsilon$ ist ein $N$ - dimensionaler Vektor von reellwertigen Zufallsvariablen mit $\mathbb{E}[\boldsymbol\epsilon] = \mathbf{0}_{N \times 1}$ .

Von OLS - Schätzung wissen wir , dass , wenn $\mathbf{X}$ hat die volle (Spalte)

{\hat{β}}_{X} = (X^{T} X)^{- 1} X^{T} y .

$\hat{\boldsymbol\beta}_{\mathbf{X}} = (\mathbf{X}^{T}\mathbf{X})^{-1}\mathbf{X}^{T}\mathbf{y}\text{.}$ Angenommen, wir multiplizieren eine Spalte von

X

$\mathbf{X}$ , sagen wir

x_{k}

$\mathbf{x}_k$ für einige

k \in {1, 2, \dots, p + 1}

$k \in \{1, 2, \dots, p+1\}$ , mit einer Konstanten

c \neq 0

$c \neq 0$ . Dies wäre äquivalent zur Matrix

X \underset{S}{\underset{⏟}{[\begin{matrix} 1 \\ 1 \\ ⋱ \\ 1 \\ c \\ 1 \\ ⋱ \\ 1 \end{matrix}]}} = [\begin{matrix} x_{1} & x_{2} & \dots & c x_{k} & \dots & x_{p + 1} \end{matrix}] \equiv \tilde{X}

$\begin{equation} \mathbf{X}\underbrace{\begin{bmatrix} 1 & \\ & 1 \\ & & \ddots \\ & & & 1 \\ & & & & c\\ & & & & & 1 \\ & & & & & &\ddots \\ & & & & & & & 1 \end{bmatrix}}_{\mathbf{S}} = \begin{bmatrix} \mathbf{x}_1 & \mathbf{x}_2 & \cdots & c\mathbf{x}_{k} & \cdots & \mathbf{x}_{p+1}\end{bmatrix} \equiv \tilde{\mathbf{X}} \end{equation}$ wobei alle anderen Einträge derobigenMatrix

sind und

im

ten Eintrag der Diagonale von

. Dann

hatvollen (Spalte) Rang als gut, und die resultierenden OLS Schätzer

als neue Designmatrix ist

S

$\mathbf{S}$

0

$0$

c

$c$

k

$k$

S

$\mathbf{S}$

\tilde{X}

$\tilde{\mathbf X}$

\tilde{X}

$\tilde{\mathbf X}$

Nach einiger Arbeit kann man zeigen, dass

{\hat{β}}_{\tilde{X}} = {({\tilde{X}}^{T} \tilde{X})}^{- 1} {\tilde{X}}^{T} y .

$\hat{\boldsymbol\beta}_{\tilde{\mathbf{X}}} = \left(\tilde{\mathbf{X}}^{T}\tilde{\mathbf{X}}\right)^{-1}\tilde{\mathbf{X}}^{T}\mathbf{y}\text{.}$

und

{\tilde{X.}}^{T.} \tilde{X.} = [\begin{matrix} x_{1}^{T.} x_{1} & x_{1}^{T.} x_{2} & \dots & c x_{1}^{T.} x_{k} & \dots & x_{1}^{T.} x_{p + 1} \\ x_{2}^{T.} x_{1} & x_{2}^{T.} x_{2} & \dots & c x_{2}^{T.} x_{k} & \dots & x_{2}^{T.} x_{p + 1} \\ ⋮ & ⋮ & ⋱ & ⋮ & \dots & ⋮ \\ c x_{k}^{T.} x_{1} & c x_{k}^{T.} x_{2} & \dots & c^{2} x_{k}^{T.} x_{k} & \dots & c x_{k}^{T.} x_{p + 1} \\ ⋮ & ⋮ & ⋮ & ⋮ & \dots & ⋮ \\ x_{p + 1}^{T.} x_{1} & x_{p + 1}^{T.} x_{2} & \dots & c x_{p + 1}^{T.} x_{p + 1} & \dots & x_{p + 1}^{T.} x_{p + 1} \end{matrix}]]

$\tilde{\mathbf{X}}^{T}\tilde{\mathbf{X}} = \begin{bmatrix} \mathbf{x}_1^{T}\mathbf{x}_1 & \mathbf{x}_1^{T}\mathbf{x}_2 & \cdots & c\mathbf{x}_1^{T}\mathbf{x}_k & \cdots & \mathbf{x}_1^{T}\mathbf{x}_{p+1} \\ \mathbf{x}_2^{T}\mathbf{x}_1 & \mathbf{x}_2^{T}\mathbf{x}_2 & \cdots & c\mathbf{x}_2^{T}\mathbf{x}_k & \cdots & \mathbf{x}_2^{T}\mathbf{x}_{p+1} \\ \vdots & \vdots & \ddots & \vdots & \cdots & \vdots \\ c\mathbf{x}_k^{T}\mathbf{x}_1 & c\mathbf{x}_k^{T}\mathbf{x}_2 & \cdots & c^2\mathbf{x}_k^{T}\mathbf{x}_k & \cdots & c\mathbf{x}_k^{T}\mathbf{x}_{p+1} \\ \vdots & \vdots & \vdots & \vdots & \cdots & \vdots \\ \mathbf{x}_{p+1}^{T}\mathbf{x}_1 & \mathbf{x}_{p+1}^{T}\mathbf{x}_2 & \cdots & c\mathbf{x}_{p+1}^{T}\mathbf{x}_{p+1} & \cdots & \mathbf{x}_{p+1}^{T}\mathbf{x}_{p+1} \\ \end{bmatrix}$

{\tilde{X.}}^{T.} y = [\begin{matrix} x_{1}^{T.} y \\ x_{2}^{T.} y \\ ⋮ \\ c x_{k}^{T.} y \\ ⋮ \\ x_{p + 1}^{T.} y \end{matrix}]]

$\tilde{\mathbf{X}}^{T}\mathbf{y} = \begin{bmatrix} \mathbf{x}_1^{T}\mathbf{y} \\ \mathbf{x}_2^{T}\mathbf{y} \\ \vdots \\ c\mathbf{x}_k^{T}\mathbf{y} \\ \vdots \\ \mathbf{x}_{p+1}^{T}\mathbf{y} \end{bmatrix}$ Wie gehe ich von hier den Anspruch oben (dh , dass zitierte zeigen

)? Mir ist nicht klar, wie man berechnet

.

{\hat{β}}_{\tilde{X}} = \frac{1}{c} {\hat{β}}_{X}

$\hat{\boldsymbol\beta}_{\tilde{\mathbf{X}}} = \dfrac{1}{c}\hat{\boldsymbol\beta}_{\mathbf{X}}$

({\tilde{X}}^{T} \tilde{X})^{- 1}

$(\tilde{\mathbf{X}}^{T}\tilde{\mathbf{X}})^{-1}$

least-squares linear-model

— Klarinettist
quelle

Ich denke, dein

ist nicht richtig, es fehlt ein

Multiplikator in einer ganzen Reihe.

{\tilde{X}}^{T} \tilde{X}

$\tilde{\mathbf{X}}^{T}\tilde{\mathbf{X}}$

c

$c$

— Firebug

1

Auch bedenken , ist die Behauptung ,

, nicht jeder

.

{\hat{β}}_{k, new} = \frac{1}{c} {\hat{β}}_{k, old}

$\hat{\beta}_{k, \text{new}}={1\over c}\hat{\beta}_{k, \text{old}}$

β

$\beta$

— Firebug

@ Firebug Ja, das habe ich gerade herausgefunden. Ich poste eine Antwort.

— Klarinettist

2

Sie können all diese Algebra durch eine viel einfachere Einheitenanalyse ersetzen , da das Multiplizieren von

mit

lediglich seine Maßeinheit ändert und daher die entsprechende Änderung der mit seinem Koeffizienten

verbundenen Einheiten darin besteht, sie durch

zu teilen . Das beweist nicht ,

X_{j}

$X_j$

c

$c$

β_{j}

$\beta_j$

c

$c$

muss geteilt werden

, leider. Allerdings könnte diese Gedankenkette erinnern uns darandass multiple Regression durch eine Reihe von Regressionen durchgeführt gegen eine Regressor zu einem Zeitpunkt ist, wo klar istdass

durch unterteilt

, und soder Beweis vollständig.

{\hat{β}}_{j}

$\hat \beta_j$

c

$c$

{\hat{β}}_{j}

$\hat\beta_j$

c

$c$

— whuber

@whuber, obwohl die Intuition für das Ergebnis klar ist, scheint es einfach ein bisschen Algebra zu geben, um einen Beweis zu liefern. Schließlich muss der Skalierungsfaktor

invertiert werden.

c

$c$

— user795305

11

Da es sich bei der Behauptung im Zitat um eine Sammlung von Aussagen zur Neuskalierung der Spalten von , können Sie sie auch alle auf einmal beweisen. In der Tat braucht es keine Arbeit mehr, um eine Verallgemeinerung der Behauptung zu beweisen: $X$

Wenn ist rechts multipliziert mit einer invertierbaren Matrix , dann wird die neue Koeffizientenschätzung gleich $X$ $A$ $\hat\beta_A$ durch Links multipliziert. $\hat \beta$ $A^{-1}$

Die einzigen algebraischen Fakten, die Sie benötigen, sind die (leicht zu beweisenden, bekannten), dass für alle Matrizen und für invertierbare Matrizen und . (Eine subtilere Version der letzteren wird benötigt, wenn mit verallgemeinerten Inversen gearbeitet wird: für invertierbares und und jedes , $(AB)^\prime=B^\prime A^\prime$ $AB$ $(AB)^{-1}=B^{-1}A^{-1}$ $A$ $B$ $A$ $B$ $X$ ) $(AXB)^{-} = B^{-1}X^{-}A^{-1}$

Proof algebraisch :

{\hat{β}}_{EIN} = ((X. EIN)^{'} ((X. EIN))^{- -} (X. EIN)^{'} y = {EIN}^{- - 1} ({X.}^{'} X.)^{- -} ({EIN}^{'})^{- - 1} {EIN}^{'} y = {EIN}^{- - 1} \hat{β},

$\hat\beta_A = ((XA)^\prime ((XA))^{-}(XA)^\prime y = A^{-1}(X^\prime X)^{-} (A^\prime)^{-1}A^\prime y = A^{-1}\hat \beta,$

QED. (Damit dieser Beweis vollständig allgemeinen sein, die oberer Index bezieht sich auf eine verallgemeinerte inverse) . $^-$

Beweis durch Geometrie :

Gegeben Basen und von und jeweils für eine lineare Transformation von bis . Die Rechtsmultiplikation von mit kann so betrachtet werden, dass diese Transformation fest bleibt, aber zu (dh zu den Spalten von ) geändert wird . Nach dieser Änderung der Grundlage der Darstellung der jeder Vektor $E_p$ $E_n$ $\mathbb{R}^n$ $\mathbb{R}^p$ $X$ $\mathbb{R}^p$ $\mathbb{R}^n$ $X$ $A$ $E_p$ $AE_p$ $A$ muss sich durch Linksmultiplikation mit ,QEDändern. $\hat\beta\in\mathbb{R}^p$ $A^{-1}$

(Dieser Beweis funktioniert unverändert, auch wenn nicht invertierbar ist.) $X^\prime X$

Das Zitat bezieht sich speziell auf den Fall von Diagonalmatrizen mit für und . $A$ $A_{ii}=1$ $i\ne j$ $A_{jj}=c$

Verbindung mit kleinsten Quadraten

Das Ziel hierbei ist es, erste Prinzipien zu verwenden, um das Ergebnis zu erhalten, wobei das Prinzip das der kleinsten Quadrate ist: Schätzen von Koeffizienten, die die Summe der Quadrate von Residuen minimieren.

Auch hier erweist sich der Nachweis einer (großen) Verallgemeinerung als nicht schwieriger und eher aufschlussreich. Angenommen, ist eine beliebige Abbildung (linear oder nicht) von reellen Vektorräumen, und angenommen, ist eine beliebige reelle Funktion auf . Sei die (möglicherweise leere) Menge von Punkten für die

ϕ :: {V.}^{p} \to {W.}^{n}

$\phi:V^p\to W^n$

Q

$Q$

W^{n}

$W^n$

U \subset V^{p}

$U\subset V^p$

v

$v$

minimiert ist.

Q (ϕ (v))

$Q(\phi(v))$

Ergebnis: , das ausschließlich durch und , hängt nicht von einer Wahl der Basis ab $U$ $Q$ $\phi$ die zur Darstellung von Vektoren in . $E_p$ $V^p$

Beweis: QED.

Es gibt nichts zu beweisen!

Anwendung des Ergebnisses: Sei eine positive semidefinite quadratische Form auf , sei und sei eine lineare Karte, die durch wenn Basen von und gewählt werden. Definiere . Wählen Sie eine Basis von ist die Darstellung einiger $F$ $\mathbb{R}^n$ $y\in\mathbb{R}^n$ $\phi$ $X$ $V^p=\mathbb{R}^p$ $W^n=\mathbb{R}^n$ $Q(x)=F(y,x)$ $\mathbb{R}^p$ und nehmen wir an $\hat\beta$ $v\in U$ auf dieser Basis. Dies ist der kleinsten Quadrate : minimiert den quadrierten Abstand . Da eine lineare Abbildung, die Basis des Ändern entsprechen rechte Multiplikation durch eine invertierbare Matrix . Das wird linksmehrfach von , QED . $x=X\hat\beta$ $F(y,x)$ $X$ $\mathbb{R}^p$ $X$ $A$ $\hat\beta$ $A^{-1}$

— whuber
quelle

6

Definieren des kleinsten Quadrate - Schätzer , wobei die Designmatrix ist voller Rang. Angenommen, die Skalierungsmatrix $\hat\beta = \arg\min_{\beta\in\mathbb{R}^p} \|y - X \beta\|_2^2$ $X \in \mathbb{R}^{n \times p}$ ist invertierbar. $S \in \mathbb{R}^{p \times p}$

Definieren Sie diesen neuen skalierten Schätzer . Dies bedeutet, dass für alle . Definieren von $\tilde\alpha = \arg\min_{\alpha\in\mathbb{R}^p} \|y - X S \alpha\|_2^2$

‖ y - - X. S. \tilde{α} ‖_{2}^{2} < ‖ y - - X. S. α ‖_{2}^{2}

$\|y - X S \tilde\alpha\|_2^2 < \|y - X S \alpha\|_2^2$

α \neq \tilde{α}

$\alpha\ne \tilde\alpha$

\tilde{β} = S \tilde{α}

$\tilde\beta = S \tilde\alpha$ wir , können wir diese angezeigte Ungleichung wie folgt umschreiben

für alle

. Daher

, und es folgtdass die LeastSquaresSchätz

‖ y - - X. \tilde{β} ‖_{2}^{2} < ‖ y - - X. β ‖_{2}^{2}

$\|y - X \tilde\beta \|_2^2 < \|y - X \beta \|_2^2$

β \neq \tilde{β}

$\beta \ne \tilde\beta$

\tilde{β} = \arg min_{β \in R^{p}} ‖ y - X β ‖_{2}^{2}

$\tilde\beta = \arg\min_{\beta \in \mathbb{R}^p} \|y - X \beta\|_2^2$

Aufgrund der Invertierbarkeit der Skalierungsmatrix

\begin{aligned} \hat{β} = \tilde{β} = S. \tilde{α} . \end{aligned}

$\begin{align*} \hat\beta = \tilde\beta = S \tilde\alpha. \end{align*}$

S

$S$

\tilde{α} = S^{- 1} \hat{β}

$\tilde\alpha = S^{-1} \hat\beta$

\hat{β}

$\hat\beta$

k^{t h}

$k^\mathrm{th}$

\frac{1}{c}

$\frac{1}{c}$

— user795305
quelle

1

arg min

$\text{arg min}$

Ich habe es etwas anders geschrieben, was die Schritte klarer machen sollte.

— user795305

Das ist wirklich klug. (+1)

— Klarinettist

4

Ich habe das herausgefunden, nachdem ich die Frage gestellt hatte. Wenn meine Arbeit jedoch korrekt ist, habe ich die Behauptung falsch interpretiert. Das $\dfrac{1}{c}$ Die Skalierung erfolgt nur für die eine Komponente von $\boldsymbol\beta$ entsprechend der Spalte von $\mathbf{X}$ multipliziert mit $c$ .

Beachte das $\mathbf{S}$ ist in der obigen Notation diagonal und symmetrisch $(p+1) \times (p+1)$ Matrix und hat inverse (weil es diagonal ist)

{S.}^{- - 1} = [\begin{matrix} 1 \\ 1 \\ ⋱ \\ 1 \\ \frac{1}{c} \\ 1 \\ ⋱ \\ 1 \end{matrix}]] .

$\mathbf{S}^{-1} = \begin{bmatrix} 1 & \\ & 1 \\ & & \ddots \\ & & & 1 \\ & & & & \frac{1}{c}\\ & & & & & 1 \\ & & & & & &\ddots \\ & & & & & & & 1 \end{bmatrix}\text{.}$ Beachten Sie, dass

({\tilde{X}}^{T} \tilde{X})^{- 1}

$(\tilde{\mathbf{X}}^{T}\tilde{\mathbf{X}})^{-1}$ ist ein

(p + 1) \times (p + 1)

$(p+1)\times(p+1)$ Matrix. Nehmen wir das an

({X.}^{T.} X.)^{- - 1} = [\begin{matrix} z_{1} & z_{2} & \dots & z_{k} & \dots & z_{p + 1} \end{matrix}]] .

$(\mathbf{X}^{T}\mathbf{X})^{-1} = \begin{bmatrix} \mathbf{z}_1 & \mathbf{z}_2 & \cdots & \mathbf{z}_k & \cdots & \mathbf{z}_{p+1} \end{bmatrix}\text{.}$ Dann folgt daraus

({\tilde{X.}}^{T.} \tilde{X.})^{- - 1} = [(X. S.)^{T.} X. S. {]]}^{- - 1} = ({S.}^{T.} {X.}^{T.} X. S.)^{- - 1} = (S. {X.}^{T.} X. S.)^{- - 1} = {S.}^{- - 1} ({X.}^{T.} X.)^{- - 1} {S.}^{- - 1} .

$(\tilde{\mathbf{X}}^{T}\tilde{\mathbf{X}})^{-1} = [(\mathbf{X}\mathbf{S})^{T}\mathbf{X}\mathbf{S}]^{-1} = (\mathbf{S}^{T}\mathbf{X}^{T}\mathbf{X}\mathbf{S})^{-1} = (\mathbf{S}\mathbf{X}^{T}\mathbf{X}\mathbf{S})^{-1}=\mathbf{S}^{-1}(\mathbf{X}^{T}\mathbf{X})^{-1}\mathbf{S}^{-1}\text{.}$ Daher,

{S.}^{- - 1} ({X.}^{T.} X.)^{- - 1} = [\begin{matrix} z_{1} \\ z_{2} \\ ⋱ \\ \frac{1}{c} z_{k} \\ ⋱ \\ z_{p + 1} \end{matrix}]]

$\mathbf{S}^{-1}(\mathbf{X}^{T}\mathbf{X})^{-1} = \begin{bmatrix} \mathbf{z}_1 \\ & \mathbf{z}_2 \\ & & \ddots \\ & & & \frac{1}{c}\mathbf{z}_k \\ & & & & \ddots \\ & & & & & \mathbf{z}_{p+1} \end{bmatrix}$ und multiplizieren Sie dies mit

S^{- 1}

$\mathbf{S}^{-1}$ hat einen ähnlichen Effekt wie das Multiplizieren

X

$\mathbf{X}$ durch

S

$\mathbf{S}$ tat - es bleibt das gleiche, außer

\frac{1}{c} z_{k}

$\frac{1}{c}\mathbf{z}_k$ wird multipliziert mit

\frac{1}{c}

$\frac{1}{c}$ ::

{S.}^{- - 1} ({X.}^{T.} X.)^{- - 1} {S.}^{- - 1} = [\begin{matrix} z_{1} \\ z_{2} \\ ⋱ \\ \frac{1}{c^{2}} z_{k} \\ ⋱ \\ z_{p + 1} \end{matrix}]] .

$\mathbf{S}^{-1}(\mathbf{X}^{T}\mathbf{X})^{-1}\mathbf{S}^{-1} = \begin{bmatrix} \mathbf{z}_1 \\ & \mathbf{z}_2 \\ & & \ddots \\ & & & \frac{1}{c^2}\mathbf{z}_k \\ & & & & \ddots \\ & & & & & \mathbf{z}_{p+1} \end{bmatrix}\text{.}$ Deshalb,

\begin{aligned} {\hat{β}}_{\tilde{X.}} & = {S.}^{- - 1} ({X.}^{T.} X.)^{- - 1} {S.}^{- - 1} (X. S.)^{T.} y \\ = [\begin{matrix} z_{1} \\ z_{2} \\ ⋱ \\ \frac{1}{c^{2}} z_{k} \\ ⋱ \\ z_{p + 1} \end{matrix}]] [\begin{matrix} x_{1}^{T.} y \\ x_{2}^{T.} y \\ ⋮ \\ c x_{k}^{T.} y \\ ⋮ \\ x_{p + 1}^{T.} y \end{matrix}]] \\ = [\begin{matrix} z_{1} x_{1}^{T.} y \\ z_{2} x_{2}^{T.} y \\ ⋮ \\ \frac{1}{c} z_{k} x_{k}^{T.} y \\ ⋮ \\ z_{p + 1} x_{p + 1}^{T.} y \end{matrix}]] \end{aligned}

$\begin{align} \hat{\boldsymbol\beta}_{\tilde{\mathbf{X}}}&=\mathbf{S}^{-1}(\mathbf{X}^{T}\mathbf{X})^{-1}\mathbf{S}^{-1}(\mathbf{X}\mathbf{S})^{T}\mathbf{y} \\ &= \begin{bmatrix} \mathbf{z}_1 \\ & \mathbf{z}_2 \\ & & \ddots \\ & & & \frac{1}{c^2}\mathbf{z}_k \\ & & & & \ddots \\ & & & & & \mathbf{z}_{p+1} \end{bmatrix}\begin{bmatrix} \mathbf{x}_1^{T}\mathbf{y} \\ \mathbf{x}_2^{T}\mathbf{y} \\ \vdots \\ c\mathbf{x}_k^{T}\mathbf{y} \\ \vdots \\ \mathbf{x}_{p+1}^{T}\mathbf{y} \end{bmatrix} \\ &= \begin{bmatrix} \mathbf{z}_1\mathbf{x}_1^{T}\mathbf{y} \\ \mathbf{z}_2\mathbf{x}_2^{T}\mathbf{y} \\ \vdots \\ \frac{1}{c}\mathbf{z}_k\mathbf{x}_k^{T}\mathbf{y} \\ \vdots \\ \mathbf{z}_{p+1}\mathbf{x}_{p+1}^{T}\mathbf{y} \end{bmatrix} \end{align}$ wie gewünscht.

— Klarinettist
quelle

Es gibt einen Tippfehler

S^{- 1} (X^{T} X)^{- 1} S^{- 1} (X S) y

$\mathbf{S}^{-1}( \mathbf{X}^{T}\mathbf{X})^{-1} \mathbf{S}^{-1}(\mathbf{X} \mathbf{S}) \mathbf{y}$ . Sie müssen transponieren

(X S)

$(\mathbf{X}\mathbf{S})$ .

— JohnK

3

Der trivialste Beweis aller Zeiten

Sie beginnen mit Ihrer linearen Gleichung:

Y. = X. β + ε

$Y=X\beta+\varepsilon$ Jetzt möchten Sie die Skalierung Ihrer Regressoren ändern, möglicherweise vom metrischen System in imperial konvertieren, Kilogramm in Pfund, Meter in Yards usw. kennen. Sie haben also die Konvertierungsmatrix erstellt

S = d i a g (s_{1}, s_{1}, \dots, s_{n})

$S=diag(s_1,s_1,\dots,s_n)$ wo jeder

s_{i}

$s_i$ ist der Umrechnungskoeffizient für Variable (Spalte)

i

$i$ in der Entwurfsmatrix

X

$X$ .

Schreiben wir die Gleichung neu:

Y. = (X. S.) ({S.}^{- - 1} β) + ε

$Y=(XS)(S^{-1}\beta)+\varepsilon$

Jetzt ist völlig klar, dass die Skalierung die Eigenschaft der Linearität Ihrer Gleichung ist, nicht die OLS-Methode zur Schätzung von Koeffizienten. Unabhängig von der Schätzmethode mit linearer Gleichung haben Sie es, wenn die Regressoren skaliert werden als $XS$ Ihre neuen Koeffizienten sollten wie folgt skaliert werden $S^{-1}\beta$

Beweis durch Algebra nur für OLS

Die Skalierung ist folgende:

Z. = X. * d ich ein G (s_{1}, s_{2}, . . ., s_{n})

$Z=X*diag(s_1,s_2,...,s_n)$ wo

s_{i}

$s_i$ Skalierungsfaktor jeder Variablen (Spalte) und

Z

$Z$ eine skalierte Version von

X

$X$ . Nennen wir die diagonale Skalenmatrix

S \equiv d i a g (s_{1}, s_{2}, . . ., s_{n})

$S\equiv diag(s_1,s_2,...,s_n)$ . Ihr OLS-Schätzer ist

\hat{β} = ({X.}^{T.} X.)^{- - 1} {X.}^{T.} Y.

$\hat\beta=(X^TX)^{-1}X^TY$ Lassen Sie uns die skalierte Matrix einstecken

Z

$Z$ Anstatt von

X

$X$ und verwenden Sie eine Matrixalgebra :

({Z.}^{T.} Z.)^{- - 1} {Z.}^{T.} Y. = ({S.}^{T.} {X.}^{T.} X. S.)^{- - 1} {S.}^{T.} {X.}^{T.} Y. = {S.}^{- - 1} ({X.}^{T.} X.)^{- - 1} {S.}^{- - 1} S. {X.}^{T.} Y. = {S.}^{- - 1} ({X.}^{T.} X.)^{- - 1} {X.}^{T.} Y. = {S.}^{- - 1} \hat{β}

$(Z^TZ)^{-1}Z^TY=(S^TX^TXS)^{-1}S^TX^TY=S^{-1}(X^TX)^{-1}S^{-1}SX^TY\\ =S^{-1}(X^TX)^{-1}X^TY=S^{-1}\hat\beta$ Sie sehen also, wie der neue Koeffizient wie erwartet einfach der alte Koeffizient ist.

— Aksakal
quelle

2

Ich mag Ihre Ansätze, bin aber nicht überzeugt von "dem trivialsten Beweis aller Zeiten". Sie haben implizit angenommen und müssen noch zeigen, dass das umgeschriebene Modell dieselbe Anpassung wie das Original haben muss. Um es genauer auszudrücken: Wenn wir ein Anpassungsverfahren als Funktion betrachten

δ : M \to R^{p}

$\delta:M\to\mathbb{R}^p$ , wo

M

$M$ ist die Menge aller möglichen Daten (die wir als geordnetes Paar schreiben könnten

(X, Y)

$(X,Y)$ ) und

R^{p}

$\mathbb{R}^p$ Ist die Menge aller möglichen Koeffizientenschätzungen, müssen Sie dies nachweisen

δ (X, Y) = S^{- 1} δ (X S, Y)

$\delta(X,Y)=S^{-1}\delta(XS,Y)$ für alle invertierbar

S

$S$ , alle

X

$X$ , und alles

Y

$Y$ . (Das ist nicht immer wahr!)

— whuber

@whuber, eigentlich ist es umgekehrt: Das angemessene Anpassungsverfahren sollte diese Bedingung erfüllen, andernfalls führt eine einfache Änderung der Maßeinheit zu einer anderen Prognose / Schätzung. Ich werde meine Antwort aktualisieren und ein wenig darüber nachdenken

— Aksakal

Ich stimme zu - aber ich kann mir Ausnahmen in den Fällen vorstellen, in denen

X

$X$ ist nicht von vollem Rang. Das hat mir nahegelegt, dass die Situation nicht ganz so trivial ist, wie es scheint.

— whuber

3

kaiserlicher Gefährte, nicht königlich ...: D (Schöne Antwort, +1)

— usεr11852 sagt Reinstate Monic

@ usεr11852, ich habe heute etwas gelernt :)

— Aksakal

2

Eine einfache Möglichkeit, dieses Ergebnis zu erzielen, besteht darin, sich daran zu erinnern $\hat{y}$ ist die Projektion von $y$ auf dem Spaltenraum von $X.$ $\hat{\beta}$ ist der Vektor der Koeffizienten, wenn $\hat{y}$ wird als lineare Kombination der Spalten von ausgedrückt $X$ . Wenn eine Spalte um einen Faktor skaliert ist $c$ ist klar, dass der entsprechende Koeffizient in der Linearkombination um skaliert werden muss $1/c$ .

Lassen $b_i$ seien die Werte von $\hat{\beta}$ und $a_i$ sind die Werte der OLS-Lösung, wenn eine Spalte mit skaliert wird $c.$

b_{1} x_{1} + . . . + b_{ich} x_{ich} + . . . + b_{m} x_{m} = {ein}_{1} x_{1} + . . . {ein}_{ich} (c x_{ich}) + . . . + {ein}_{n} x_{n}

$b_1x_1 + ... + b_ix_i + ...+ b_mx_m = a_1x_1 + ... a_i(cx_i) + ... +a_nx_n$

impliziert, dass $b_j = a_j$ wo $j \neq i$ und $b_i = a_ic$ unter der Annahme, dass die Spalten von $X$ sind linear unabhängig.

— Jonny Lomond
quelle

Zeigen, dass der OLS-Schätzer skalierungsäquivariante ist?

Verbindung mit kleinsten Quadraten

Der trivialste Beweis aller Zeiten

Beweis durch Algebra nur für OLS