Was ist der Zusammenhang zwischen partiellen kleinsten Quadraten, reduzierter Rangregression und Hauptkomponentenregression?

Sind reduzierte Rangregression und Hauptkomponentenregression nur Sonderfälle von partiellen kleinsten Quadraten?

In diesem Lernprogramm (Seite 6, "Objektivvergleich") wird angegeben, dass bei Teilquadraten ohne X- oder Y-Projektion (dh "nicht partiell") die Rang- oder Hauptkomponentenregression entsprechend verringert wird.

Eine ähnliche Erklärung finden Sie auf dieser SAS-Dokumentationsseite in den Abschnitten "Reduzierte Rangregression" und "Beziehungen zwischen Methoden".

Eine grundlegendere Folgefrage ist, ob ihnen ähnliche Wahrscheinlichkeitsmodelle zugrunde liegen.

— Minkov
quelle

Das ist wirklich ein wichtiges Problem.

— Steve

@Steve. Vielen Dank. Siehe meine Kommentare oben für eine detailliertere Einführung.

— Minkov

Hierbei handelt es sich um drei verschiedene Methoden, von denen keine als Sonderfall einer anderen angesehen werden kann.

Formal, wenn und zentrierte Prädiktordatensätze ( ) und Antwortdatensätze ( ) sind und wenn wir nach dem ersten Achsenpaar suchen, gilt für $\mathbf X$ $\mathbf Y$ $n \times p$ $n\times q$ $\mathbf w \in \mathbb R^p$ $\mathbf X$ und für , dann diese Methoden Maximieren Sie die folgenden Mengen: $\mathbf v \in \mathbb R^q$ $\mathbf Y$

\begin{aligned} P C A : & Var (X w) \\ R R R : & {Corr}^{2} (X w, Y v) \cdot Var (Y v) \\ P L S : & Var (X w) \cdot {Corr}^{2} (X w, Y v) \cdot Var (Y v) = {Cov}^{2} (X w, Y v) \\ C C A : & {Corr}^{2} (X w, Y v) \end{aligned}

$\begin{align} \mathrm{PCA:}&\quad \operatorname{Var}(\mathbf{Xw}) \\ \mathrm{RRR:}&\quad \phantom{\operatorname{Var}(\mathbf {Xw})\cdot{}}\operatorname{Corr}^2(\mathbf{Xw},\mathbf {Yv})\cdot\operatorname{Var}(\mathbf{Yv}) \\ \mathrm{PLS:}&\quad \operatorname{Var}(\mathbf{Xw})\cdot\operatorname{Corr}^2(\mathbf{Xw},\mathbf {Yv})\cdot\operatorname{Var}(\mathbf {Yv}) = \operatorname{Cov}^2(\mathbf{Xw},\mathbf {Yv})\\ \mathrm{CCA:}&\quad \phantom{\operatorname{Var}(\mathbf {Xw})\cdot {}}\operatorname{Corr}^2(\mathbf {Xw},\mathbf {Yv}) \end{align}$

(Ich habe dieser Liste die kanonische Korrelationsanalyse (CCA) hinzugefügt.)

Ich vermute, dass die Verwirrung daran liegen könnte, dass in SAS alle drei Methoden über dieselbe Funktion PROC PLSmit unterschiedlichen Parametern implementiert zu sein scheinen . Es scheint also, dass alle drei Methoden Sonderfälle von PLS sind, denn so wird die SAS-Funktion benannt. Dies ist jedoch nur eine unglückliche Benennung. In Wirklichkeit sind PLS, RRR und PCR drei verschiedene Methoden, die zufällig in SAS in einer Funktion implementiert werden, die aus irgendeinem Grund aufgerufen wird PLS.

In beiden Tutorials, mit denen Sie verlinkt haben, ist das tatsächlich sehr klar. Seite 6 des Tutorials nennt die Ziele aller drei Methoden und sagt nicht, dass PLS zu RRR oder PCR wird, im Gegensatz zu dem, was Sie in Ihrer Frage behauptet haben. In ähnlicher Weise wird in der SAS-Dokumentation erläutert, dass drei Methoden unterschiedlich sind und Formeln und Intuition angeben:

[P] Die Regression der Hauptkomponenten wählt Faktoren aus, die so viele Prädiktorvariationen wie möglich erklären, die Regression des reduzierten Rangs wählt Faktoren aus, die so viele Antwortvariationen wie möglich erklären, und das partielle kleinste Quadrat gleicht die beiden Ziele aus, wobei nach Faktoren gesucht wird, die sowohl die Antwort- als auch die Prädiktorvariation erklären .

Es gibt sogar eine Abbildung in der SAS-Dokumentation, die ein schönes Spielzeugbeispiel zeigt, in dem drei Methoden unterschiedliche Lösungen ergeben. In diesem Spielzeugbeispiel gibt es zwei Prädiktoren und und eine Antwortvariable . Die Richtung in $x_1$ $x_2$ $y$ $X$ , die am meisten mit korrelierten geschieht auf die Richtung der maximalen Varianz der orthogonal zu . Daher ist PC1 orthogonal zur ersten RRR-Achse und die PLS-Achse liegt irgendwo dazwischen. $y$ $X$

Man kann der RRR-Verlustfunktion eine Kammstrafe hinzufügen, um eine kammreduzierte Rangregression oder RRRR zu erhalten. Dadurch wird die Regressionsachse in Richtung PC1 gezogen, ähnlich wie PLS. Die Kostenfunktion für RRRR kann jedoch nicht in einer PLS-Form geschrieben werden, sodass sie unterschiedlich bleiben.

$y$

— Amöbe sagt Reinstate Monica
quelle

Der Tisch am Ende ist sehr hilfreich. Basierend auf dieser Tabelle kann man PCA, RRR und CCA als "Sonderfälle" von PLS betrachten, wenn man auch denkt, dass Fahrräder und Einräder Sonderfälle eines Dreirads sind. Ich neige nicht dazu, so zu denken.

— EdM

@EdM, ich denke man kann sagen, dass all diese Methoden Spezialfälle einer Unifying-Methode sind, die eigentlich keinen Namen hat (aber man kann sie erfinden!). Der Name "PLS" hat jedoch bereits eine festgelegte Bedeutung, und diese Bedeutung schließt keine dieser anderen Techniken ein.

— Amöbe sagt Reinstate Monica

Und danke! Ich habe mich jetzt entschieden, den Tisch an den Anfang der Antwort zu verschieben :)

— Amöbe sagt Reinstate Monica

X

$X$

Y

$Y$

V a r (X w)^{α} \cdot C o r r (X w, Y v)^{β} \cdot V a r (Y v)^{γ}

$\mathrm{Var}(Xw)^\alpha\cdot \mathrm{Corr}(Xw,Yv)^\beta\cdot \mathrm{Var}(Yv)^\gamma$

— Amöbe sagt Reinstate Monica

@Moskowitz: Wenn von Methode A als "Spezialfall" von Methode B gesprochen wird, bedeutet dies, dass B allgemeiner ist und A B mit einigen spezifischen Parametern entspricht. Sie bedeuten nicht , dass A unter bestimmten Bedingungen im Datensatz die gleichen Ergebnisse liefert wie B. Daher meine Antwort auf Ihre Frage.

— Amöbe sagt Reinstate Monica