Warum repräsentiert zwischen zwei Variablen den Anteil der gemeinsamen Varianz?

Erstens schätze ich, dass Diskussionen über Allgemeinen Erklärungen zu (dh dem Bestimmungskoeffizienten in der Regression) hervorrufen . Das Problem, das ich beantworten möchte, besteht darin, dies auf alle Fälle der Korrelation zwischen zwei Variablen zu verallgemeinern. $r^2$ $R^2$

Ich bin also schon eine ganze Weile verwirrt über die gemeinsame Varianz. Ich habe einige Erklärungen erhalten, aber alle scheinen problematisch zu sein:

Es ist nur ein anderer Begriff für Kovarianz. Dies kann nicht der Fall sein, wie Faktorenanalyse Literatur unterscheidet zwischen PCA und EFA mit der Feststellung , dass die letztgenannten Konten für gemeinsame Varianz und die ehemaligen nicht (PCA offensichtlich ist für Kovarianz Bilanzierung, dass es eine Kovarianzmatrix Betrieb über, so geteilt Varianz muss ein eigenständiges Konzept sein).
Es ist der quadratische Korrelationskoeffizient ( ). Sehen: $r^2$
- http://www.philender.com/courses/linearmodels/notes1/var1.html oder
- http://www.strath.ac.uk/aer/materials/4dataanalysisineducationalresearch/unit6/correlationcoefficient/

Das macht etwas mehr Sinn. Das Problem hierbei ist die Interpretation, wie dies impliziert, dass es sich um eine gemeinsame Varianz handelt. Zum Beispiel ist eine Interpretation von 'Sharing Varianz' . reduziert sich nicht darauf oder auf ein leicht intuitives Konzept [ ;; Das ist ein 4-dimensionales Objekt. ${\rm cov}(A,B)/[{\rm var}(A)+{\rm var}(B)]$ $r^2$ ${\rm cov}(A,B)^2/({\rm var}(A)\times{\rm var}(B))$

Die obigen Links versuchen beide, es anhand eines Ballentine-Diagramms zu erklären. Sie helfen nicht. Erstens sind die Kreise gleich groß (was aus irgendeinem Grund für die Abbildung wichtig zu sein scheint), was ungleiche Abweichungen nicht berücksichtigt. Man könnte annehmen, dass es sich um die Ballentine-Diagramme für die standardisierten Variablen handelt, also um die gleiche Varianz. In diesem Fall würde das überlappende Segment die Kovarianz zwischen zwei standardisierten Variablen (die Korrelation) erklären. Also , nicht . $r$ $r^2$

TL; DR: Erklärungen zur gemeinsamen Varianz sagen dies:

Durch Quadrieren des Koeffizienten wissen Sie, wie viel Varianz die beiden Variablen prozentual gemeinsam haben.

Warum sollte das so sein?

— Sue Doh Nimh
quelle

Beide Punkte ("Kovarianz" und "r-Quadrat") sind korrekte Interpretationen. Ich empfehle Ihnen dies meine Antwort: ist das Produkt zweier relativer Größen der Kovarianz und ist quasi gemeinsame Wahrscheinlichkeit.

r^{2}

$r^2$

— ttnphns

Innerhalb der EFA sagen sie normalerweise "gemeinsame Varianz", nicht "gemeinsame Varianz". Gemeinsame Varianz ist der Bereich der totalen Kollinearität. Andererseits ist der Begriff "geteilte Varianz" nicht ganz definiert (Ihre Frage betrifft die Definition).

— ttnphns

Venn (Ballentine) -Diagramme können das Konzept von nicht richtig in Beziehung setzen, da die Kovarianzgröße nicht die Schnittfläche der beiden Kreise (Varianzen) ist. Die Kovarianz hängt von beiden Varianzen ab. Die Größe der Kovarianz kann größer sein als die Größe der kleineren Varianz (die auf Venn durch Schnittmenge sicherlich nicht zu zeigen ist).

r^{2}

$r^2$

— ttnphns

Das bringt uns zurück zur regressiven Definition von als . Also, wenn die Situation

r^{2}

$r^2$

1 - S S r e s i d / S S t o t

$1-SSresid/SStot$

— homoskedastisch

Kovarianz ist "geteilte Varianz", rohe Größe von if. Auf eine relative Größe normalisiert, kann es zwei Versionen geben, r und r-sq. r-sq kann als% der gemeinsamen Varianz in der kombinierten Varianz interpretiert werden.

— ttnphns

Man kann nur raten, was ein bestimmter Autor unter "gemeinsamer Varianz" verstehen könnte. Wir könnten hoffen, die Möglichkeiten zu umschreiben, indem wir überlegen, welche Eigenschaften dieses Konzept (intuitiv) haben sollte. Wir wissen, dass "Varianzen addieren": Die Varianz einer Summe ist die Summe der Varianzen von und wenn und keine Kovarianz haben. Es ist natürlich, die "gemeinsame Varianz" von zu definieren, wobei die Summe der Bruchteil der Varianz der Summe ist, die durch die Varianz von . Dies reicht aus, um die gemeinsamen Varianzen von zwei beliebigen Zufallsvariablen zu implizieren $X+\varepsilon$ $X$ $\varepsilon$ $X$ $\varepsilon$ $X$ $X$ $X$ und muss das Quadrat ihres Korrelationskoeffizienten sein. $Y$

Dieses Ergebnis gibt der Interpretation eines quadratischen Korrelationskoeffizienten als "gemeinsame Varianz" eine Bedeutung: In einem geeigneten Sinne ist es tatsächlich ein Bruchteil einer Gesamtvarianz, die einer Variablen in der Summe zugeordnet werden kann.

Die Details folgen.

Prinzipien und ihre Auswirkungen

Wenn , sollte ihre "gemeinsame Varianz" (von nun an "SV") 100% betragen. Aber was ist, wenn und nur skalierte oder verschobene Versionen voneinander sind? Was ist zum Beispiel, wenn die Temperatur einer Stadt in Grad F und die Temperatur in Grad C darstellt? Ich möchte vorschlagen, dass in solchen Fällen und immer noch 100% SV haben sollten, damit dieses Konzept unabhängig davon, wie und gemessen werden könnten, aussagekräftig bleibt : $Y=X$ $Y$ $X$ $Y$ $X$ $X$ $Y$ $X$ $Y$

\begin{matrix} (1) & SV (α + β X, γ + δ Y) = SV (X, Y) \end{matrix}

$\operatorname{SV}(\alpha + \beta X, \gamma + \delta Y) = \operatorname{SV}(X,Y)\tag{1}$

für beliebige Zahlen und Zahlen ungleich Null . $\alpha, \gamma$ $\beta, \delta$

Ein anderes Prinzip könnte sein, dass wenn eine von unabhängige Zufallsvariable ist , die Varianz von eindeutig in zwei nicht negative Teile zerlegt werden kann. $\varepsilon$ $X$ $X+\varepsilon$

Var (X + ε) = Var (X) + Var (ε),

$\operatorname{Var}(X+\varepsilon) = \operatorname{Var}(X) + \operatorname{Var}(\varepsilon),$

Wir schlagen vor, SV in diesem speziellen Fall als zu definieren

\begin{matrix} (2) & SV (X, X + ε) = \frac{Var (X)}{Var (X) + Var (ϵ)} . \end{matrix}

$\operatorname{SV}(X, X+\varepsilon) = \frac{\operatorname{Var}(X)}{\operatorname{Var}(X) + \operatorname{Var}(\epsilon)}.\tag{2}$

Da alle diese Kriterien nur bis zur zweiten Ordnung sind - sie werden nur die ersten und zweiten Momente der Variablen in den Formen der Erwartungen beinhalten und Varianzen - lassen Sie uns entspannen die Forderung , dass und sein unabhängig und nur verlangen , dass sie sein unkorreliert . Dadurch wird die Analyse viel allgemeiner als sonst. $X$ $\varepsilon$

Die Ergebnisse

Diese Prinzipien führen - wenn Sie sie akzeptieren - zu einem einzigartigen, vertrauten und interpretierbaren Konzept. Der Trick wird darin bestehen, den allgemeinen Fall auf den Sonderfall einer Summe zu reduzieren, in der wir die Definition anwenden können . $(2)$

Wenn , versuchen wir einfach, in eine skalierte, verschobene Version von plus eine Variable zu zerlegen , die nicht mit korreliert ist. Das heißt, wir finden (wenn es möglich ist) die Konstanten und und eine Zufallsvariable für welche $(X,Y)$ $Y$ $X$ $X$ $\alpha$ $\beta$ $\epsilon$

\begin{matrix} (3) & Y = α + β X + ε \end{matrix}

$Y = \alpha + \beta X + \varepsilon\tag{3}$

mit . Damit die Zersetzung eine Chance hat, einzigartig zu sein, sollten wir dies fordern $\operatorname{Cov}(X, \varepsilon)=0$

E [ε] = 0

$\mathbb{E}[\varepsilon]=0$

Sobald gefunden ist, wird durch bestimmt $\beta$ $\alpha$

α = E [Y] - β E [X] .

$\alpha = \mathbb{E}[Y] - \beta\, \mathbb{E}[X].$

Dies sieht sehr nach linearer Regression aus und ist es auch. Das erste Prinzip besagt, dass wir und skalieren können, um eine Einheitsvarianz zu erhalten (vorausgesetzt, sie haben jeweils eine Varianz ungleich Null), und dass Standardregressionsergebnisse den Wert von in als Korrelation von und : $X$ $Y$ $\beta$ $(3)$ $X$ $Y$

\begin{matrix} (4) & β = ρ (X, Y) . \end{matrix}

$\beta = \rho(X,Y)\tag{4}.$

Darüber hinaus ergibt sich aus den Varianzen von $(1)$

1 = Var (Y) = β^{2} Var (X) + Var (ε) = β^{2} + Var (ε),

$1 = \operatorname{Var}(Y) = \beta^2 \operatorname{Var}(X) + \operatorname{Var}(\varepsilon) = \beta^2 + \operatorname{Var}(\varepsilon),$

impliziert

\begin{matrix} (5) & Var (ε) = 1 - β^{2} = 1 - ρ^{2} . \end{matrix}

$\operatorname{Var}(\varepsilon) = 1-\beta^2 = 1-\rho^2.\tag{5}$

Folglich

\begin{aligned} SV (X, Y) & = SV (X, α + β X + ε) & (Model 3) \\ = SV (β X, β X + ε) & (Property 1) \\ = \frac{Var (β X)}{Var (β X) + Var (ϵ)} & (Definition 2) \\ = \frac{β^{2}}{β^{2} + (1 - β^{2})} = β^{2} & (Result 5) \\ = ρ^{2} & (Relation 4) . \end{aligned}

$\eqalign{ \operatorname{SV}(X,Y) &= \operatorname{SV}(X, \alpha+\beta X + \varepsilon) &\text{(Model 3)}\\ &= \operatorname{SV}(\beta X, \beta X + \varepsilon) &\text{(Property 1)}\\ &= \frac{\operatorname{Var}(\beta X)}{\operatorname{Var}(\beta X) + \operatorname{Var}(\epsilon)} & \text{(Definition 2)}\\ &= \frac{\beta^2}{\beta^2 + (1-\beta^2)} = \beta^2 &\text{(Result 5)}\\ & = \rho^2 &\text{(Relation 4)}. }$

Beachten Sie, dass die "gemeinsame Varianz" selbst symmetrisch ist , da der Regressionskoeffizient für (wenn auf Einheitsvarianz standardisiert) ist, was eine Terminologie rechtfertigt, die die Reihenfolge von vorschlägt und spielt keine Rolle: $Y$ $\rho(Y,X)=\rho(X,Y)$ $X$ $Y$

SV (X, Y) = ρ (X, Y)^{2} = ρ (Y, X)^{2} = SV (Y, X) .

$\operatorname{SV}(X,Y) = \rho(X,Y)^2 = \rho(Y,X)^2 = \operatorname{SV}(Y,X).$

— whuber
quelle