Die kleinste Winkelregression hält die Korrelationen monoton abnehmend und gebunden?

Ich versuche, ein Problem für die kleinste Winkelregression (LAR) zu lösen. Dies ist ein Problem 3.23 auf Seite 97 von Hastie et al., Elements of Statistical Learning, 2nd. ed. (5. Druck) .

Betrachten Sie ein Regressionsproblem mit allen Variablen und Antworten mit dem Mittelwert Null und der Standardabweichung Eins. Angenommen, jede Variable hat eine identische absolute Korrelation mit der Antwort:

$\frac{1}{N} | \left \langle \bf{x}_j, \bf{y} \right \rangle | = \lambda, j = 1, ..., p$

Sei der Koeffizient der kleinsten Quadrate von auf und sei für . $\hat{\beta}$ $\mathbf{y}$ $\mathbf{X}$ $\mathbf{u}(\alpha)=\alpha \bf{X} \hat{\beta}$ $\alpha\in[0,1]$

Ich werde gebeten zu zeigen, dass und ich habe Probleme damit. Beachten Sie, dass dies im Grunde genommen bedeuten kann, dass die Korrelationen jedes mit den Residuen gleich groß bleiben, wenn wir in Richtung voranschreiten .

\frac{1}{N} | ⟨ x_{j}, y - u (α) ⟩ | = (1 - α) λ, j = 1, . . ., p

$\frac{1}{N} | \left \langle \bf{x}_j, \bf{y}-u(\alpha) \right \rangle | = (1 - \alpha) \lambda, j = 1, ..., p$

x_{j}

$x_j$

u

$u$

Ich weiß auch nicht, wie ich zeigen soll, dass die Korrelationen gleich sind:

$\lambda(\alpha) = \frac{(1-\alpha)}{\sqrt{(1-\alpha)^2 + \frac{\alpha (2-\alpha)}{N} \cdot RSS}} \cdot \lambda$

Alle Hinweise wäre sehr dankbar!

— Belmont
quelle

@Belmont, was ist ? Könnten Sie mehr Kontext zu Ihrem Problem bereitstellen? Ein Link zu einem Artikel mit Standardeigenschaften von LAR zum Beispiel würde viel helfen.

u (α)

$u(\alpha)$

— mpiktas

@Belmont, Dies scheint ein Problem von Hastie et al., Elements of Statistical Learning , 2nd zu sein. ed. Ist das Hausaufgaben? In diesem Fall können Sie dieses Tag hinzufügen.

— Kardinal

@Belmont, nachdem @cardinal eine vollständige Antwort gegeben hat, können Sie angeben, was LAR wirklich ist, um später darauf zurückgreifen zu können? Nach der Antwort zu urteilen, ist dies eine Standardmanipulation von Produkten mit Regressionen der kleinsten Quadrate unter Berücksichtigung einiger anfänglicher Einschränkungen. Es sollte keinen besonderen Namen dafür ohne ernsthaften Grund geben.

— mpiktas

@mpiktas, es handelt sich um einen stufenweisen Algorithmus. Jedes Mal, wenn eine Variable auf dem Regularisierungspfad in das Modell eintritt oder dieses verlässt, wächst oder schrumpft die Größe (dh Kardinalität / Dimension) von und es wird eine "neue" LS-Schätzung verwendet die aktuell "aktiven" Variablen. Im Fall des Lassos, bei dem es sich um ein konvexes Optimierungsproblem handelt, wird im Wesentlichen eine spezielle Struktur unter den KKT-Bedingungen ausgenutzt, um eine sehr effiziente Lösung zu erhalten. Es gibt auch Verallgemeinerungen, z. B. logistische Regression basierend auf IRLS und Heine-Borel (um die Konvergenz in endlicher Anzahl von Schritten zu beweisen)

β

$\beta$

— Kardinal

@Belmont -1, als ich kürzlich das Buch Hastie gekauft habe, kann ich bestätigen, dass dies eine Übung daraus ist. Ich gebe Ihnen also eine große -1, da Sie nicht einmal alle Definitionen angeben können. Ich spreche nicht einmal davon, die Referenz anzugeben.

— mpiktas

Dies ist Problem 3.23 auf Seite 97 von Hastie et al., Elements of Statistical Learning , 2nd. ed. (5. Druck) .

Der Schlüssel zu diesem Problem ist ein gutes Verständnis der gewöhnlichen kleinsten Quadrate (dh der linearen Regression), insbesondere der Orthogonalität der angepassten Werte und der Residuen.

Orthogonalitäts-Lemma : Sei die Entwurfsmatrix, der Antwortvektor und die (wahren) Parameter. Unter der Annahme , ist Voll Rang (die wir im ganzen Gebäude ), die OLS - Schätzungen von sind . Die angepaßten Werte sind . dann $X$ $n \times p$ $y$ $\beta$ $X$ $\beta$ $\hat{\beta} = (X^T X)^{-1} X^T y$ $\hat{y} = X (X^T X)^{-1} X^T y$ . Das heißt, die angepassten Werte sindorthogonalzu den Residuen. Dies folgtda $\langle \hat{y}, y-\hat{y} \rangle = \hat{y}^T (y - \hat{y}) = 0$ . $X^T (y - \hat{y}) = X^T y - X^T X (X^T X)^{-1} X^T y = X^T y - X^T y = 0$

Nun sei ein Spaltenvektor, so dass die te Spalte von . Die angenommenen Bedingungen sind: $x_j$ $x_j$ $j$ $X$

für jedes, $\frac{1}{N} \langle x_j, x_j \rangle = 1$ $j$ , $\frac{1}{N} \langle y, y \rangle = 1$
woein Vektor von Einsen der Länge bezeichnet, und $\frac{1}{N} \langle x_j, 1_p \rangle = \frac{1}{N} \langle y, 1_p \rangle = 0$ $1_p$ $p$
für alle. $\frac{1}{N} | \langle x_j, y \rangle | = \lambda$ $j$

Beachten Sie, dass insbesondere die letzte Anweisung des Orthogonalität Lemma identisch mit für alle . $\langle x_j, y - \hat{y} \rangle = 0$ $j$

Die Korrelationen sind gebunden

Nun . So, $u(\alpha) = \alpha X \hat{\beta} = \alpha \hat{y}$ und der zweite Term auf der rechten Seite gleich Null von derOrthogonalität Lemmas, so

⟨ x_{j}, y - u (a) ⟩ = ⟨ x_{j}, (1 - α) y + α y - α \hat{y} ⟩ = (1 - α) ⟨ x_{j}, y ⟩ + α ⟨ x_{j}, y - \hat{y} ⟩,

$\langle x_j, y - u(a) \rangle = \langle x_j, (1-\alpha) y + \alpha y - \alpha \hat{y} \rangle = (1-\alpha) \langle x_j, y \rangle + \alpha \langle x_j, y - \hat{y} \rangle ,$

wie gewünscht. Der absolute Wert der Korrelationen sind nur

\frac{1}{N} | ⟨ x_{j}, y - u (α) ⟩ | = (1 - α) λ,

$\frac{1}{N} | \langle x_j, y - u(\alpha) \rangle | = (1-\alpha) \lambda ,$

{\hat{ρ}}_{j} (α) = \frac{\frac{1}{N} | ⟨ x_{j}, y - u (α) ⟩ |}{\sqrt{\frac{1}{N} ⟨ x_{j}, x_{j} ⟩} \sqrt{\frac{1}{N} ⟨ y - u (α), y - u (α) ⟩}} = \frac{(1 - α) λ}{\sqrt{\frac{1}{N} ⟨ y - u (α), y - u (α) ⟩}}

$\hat{\rho}_j(\alpha) = \frac{\frac{1}{N} | \langle x_j, y - u(\alpha) \rangle |}{\sqrt{\frac{1}{N} \langle x_j, x_j \rangle }\sqrt{\frac{1}{N} \langle y - u(\alpha), y - u(\alpha) \rangle }} = \frac{(1-\alpha)\lambda}{\sqrt{\frac{1}{N} \langle y - u(\alpha), y - u(\alpha) \rangle }}$

$j$ $x_j$ $y$

$\alpha$ $p$

Explizite Form der (absoluten) Korrelation

⟨ y - u (α), y - u (α) ⟩ = ⟨ (1 - α) y + α y - u (α), (1 - α) y + α y - u (α) ⟩ .

$\langle y - u(\alpha), y - u(\alpha) \rangle = \langle (1-\alpha) y + \alpha y - u(\alpha), (1-\alpha) y + \alpha y - u(\alpha) \rangle .$

$u(\alpha) = \alpha \hat{y}$

⟨ y - u (α), y - u (α) ⟩ = (1 - α)^{2} ⟨ y, y ⟩ + 2 α (1 - α) ⟨ y, y - \hat{y} ⟩ + α^{2} ⟨ y - \hat{y}, y - \hat{y} ⟩ .

$\langle y - u(\alpha), y - u(\alpha) \rangle = (1-\alpha)^2 \langle y, y \rangle + 2\alpha(1-\alpha) \langle y, y - \hat{y} \rangle + \alpha^2 \langle y-\hat{y}, y-\hat{y} \rangle .$

Beachten Sie das

$\langle y, y \rangle = N$
$\langle y, y - \hat{y} \rangle = \langle y - \hat{y}, y - \hat{y} \rangle + \langle \hat{y}, y - \hat{y} \rangle = \langle y - \hat{y}, y - \hat{y}\rangle$
$\langle y - \hat{y}, y - \hat{y} \rangle = \mathrm{RSS}$

Wenn Sie das alles zusammenfügen, werden Sie feststellen, dass wir bekommen

{\hat{ρ}}_{j} (α) = \frac{(1 - α) λ}{\sqrt{(1 - α)^{2} + \frac{α (2 - α)}{N} R S S}} = \frac{(1 - α) λ}{\sqrt{(1 - α)^{2} (1 - \frac{R S S}{N}) + \frac{1}{N} R S S}}

$\hat{\rho}_j(\alpha) = \frac{(1-\alpha) \lambda}{\sqrt{ (1-\alpha)^2 + \frac{\alpha(2-\alpha)}{N} \mathrm{RSS}}} = \frac{(1-\alpha) \lambda}{\sqrt{ (1-\alpha)^2 (1 - \frac{\mathrm{RSS}}{N}) + \frac{1}{N} \mathrm{RSS}}}$

$1 - \frac{\mathrm{RSS}}{N} = \frac{1}{N} (\langle y, y, \rangle - \langle y - \hat{y}, y - \hat{y} \rangle ) \geq 0$ $\hat{\rho}_j(\alpha)$ $\alpha$ $\hat{\rho}_j(\alpha) \downarrow 0$ $\alpha \uparrow 1$

Epilog : Konzentrieren Sie sich hier auf die Ideen. Es gibt wirklich nur einen. Das Orthogonalitäts-Lemma erledigt fast die gesamte Arbeit für uns. Der Rest ist nur Algebra, Notation und die Fähigkeit, die letzten beiden zum Laufen zu bringen.

— Kardinal
quelle

@ Kardinal, +1. Die Antwort ist um Größenordnungen besser als die Frage.

— mpiktas

@cardinal, vielleicht möchten Sie den Link zu Amazon oder einer anderen Site ändern. Ich denke, dass das Verknüpfen mit dem vollständigen Buch einige urheberrechtliche Probleme aufwerfen kann.

— mpiktas

@mpiktas, nein. Keine urheberrechtlichen Probleme. Das ist die offizielle Website für das Buch. Die Autoren erhielten von Springer die Erlaubnis, das PDF online frei verfügbar zu machen. (Siehe den entsprechenden Hinweis auf der Website.) Ich denke, sie haben die Idee von Stephen Boyd und seinem Text zur konvexen Optimierung erhalten . Hoffentlich wird ein solcher Trend in den nächsten Jahren an Fahrt gewinnen. Genießen!

— Kardinal

@ Cardinal, ooh massiver Dank! Das ist mächtig großzügig von den Autoren.

— mpiktas

@mpiktas, es ist mit Abstand das beliebteste Buch in der Springer-Reihe in Statistik. Auf einem iPad sieht es gut aus. Was mich erinnert --- Ich sollte auch Boyds Text darauf herunterladen. Prost.

— Kardinal