Zeichen der Kovarianz und von Spearmans Rho

Hat jemand einen Beweis dafür, dass die Kovarianz zwischen zwei Variablen immer das gleiche Vorzeichen wie Spearmans Rho hat, vorausgesetzt, dass beide nicht Null sind , oder eine Erklärung / ein Gegenbeispiel, um zu zeigen, warum dies nicht der Fall ist?

Ich spreche von den "theoretischen" Größen der "Bevölkerung", nicht von ihren Stichprobengegenstücken. Für zwei Zufallsvariablen mit Verteilungsfunktionen und mit allen benötigten Momenten, Co-Momenten usw. vorhanden, $X, Y$ $F_X, F_Y$

Cov (X, Y) = E (X Y) - E (X) E (Y)

$\text{Cov}(X,Y) = E(XY) - E(X)E(Y)$ während

ρ_{s} (X, Y) = Cov [F_{X} (X), F_{Y} (Y)]

$\rho_s(X,Y) = \text{Cov}[F_X(X),F_Y(Y)]$

Ich weiß, dass wenn positiv oder negativ ( ) sind, dies tatsächlich gilt, $X,Y$ $QD$

(X, Y) = Q D ⟹ sign {Cov (X, Y)} = sign {ρ_{s} (X, Y)}

$(X,Y) = QD \implies \text{sign}\left\{\text{Cov}(X,Y)\right\} = \text{sign}\left\{\rho_s(X,Y)\right\}$

... wieder, wenn beide nicht Null sind. Aber was ist, wenn nicht hergestellt werden kann oder nicht gilt? $QD$

Was ich schließlich suche, ist ein Beweis dafür, dass wenn eine zunehmende monotone Transformation von , dann . Ich weiß, dass dies sehr intuitiv und sogar "selbstverständlich" erscheint, aber ich konnte nirgendwo einen solchen Beweis finden, und ich habe es auch nicht geschafft, ihn selbst zu beweisen. Genauer gesagt möchte ich zeigen, dass beide , wenn sie nicht Null sind, keine entgegengesetzten Vorzeichen haben können. $h(Y)$ $Y$ $\text{sign}\left\{\text{Cov}(X,Y)\right\} = \text{sign}\left\{\text{Cov}(X,h(Y))\right\}$

Da Spearmans Rho für monotone Transformationen unveränderlich ist, haben wir , so dass ein Weg, das Ergebnis des "gleichen Zeichens" für die Kovarianzen zu beweisen, darin besteht, beweisen, dass die Kovarianz immer das gleiche Zeichen hat wie Spearmans Rho, daher diese Frage. $\rho_s(X,Y) = \rho_s(X,h(Y))$

Ich habe einen alten schönen Ausdruck für die Kovarianz aufgrund von W. Hoeffding gefunden, der die Definitionen und "sehr nahe" bringt , aber ich konnte die allgemeine Aussage nicht beweisen, ohne Quadrantenabhängigkeit anzunehmen. $\text{Cov}$ $\rho_s$

Wenn jemand etwas direkt auf dem "gewünschten Vorzeichen" (gewünschtes) Ergebnis für die Kovarianzen hat, wäre dies natürlich ebenso hilfreich.

UPDATE
Ich habe diese Frage gefunden , die verwandt, aber nicht identisch ist. Wie bereits erwähnt, ändert es meine Frage wie folgt: "Angenommen, beide Maße sind nicht Null. Können sie entgegengesetzte Vorzeichen haben?"

covariance non-independent spearman-rho

— Alecos Papadopoulos
quelle

Jede Stichprobe bestimmt eine Verteilung: ihre empirische Verteilung. Daher muss Ihr Versuch, Stichproben von der Betrachtung auszuschließen, so interpretiert werden, dass diskrete Verteilungen oder möglicherweise sogar alle nicht kontinuierlichen Verteilungen ausgeschlossen werden. Jeder diskreten Verteilung entspricht jedoch eine Folge eng anliegender kontinuierlicher Verteilungen, deren Kovarianzen und Spearman-Rho-Eigenschaften mit denen der diskreten Verteilung konvergieren. Es ist daher sinnlos, auf diesen Ausschlüssen zu bestehen - und wenn man sie zulässt, erhält man den Einblick, um unzählige Gegenbeispiele zu erstellen.

— whuber

@whuber Ich sehe nicht, wie "nicht an Ergebnissen aus Stichproben von Verteilungen interessiert", "als" Ausschluss diskreter Verteilungen "interpretiert werden muss. Wirklich, das verstehe ich nicht. Ich bitte nur, mir eine bivariate CDF und zwei Ränder mit korrelierten Elementen zu geben, die so beschaffen sind, dass die beiden als erwartete Werte ausgedrückten Ausdrücke zumindest für einige Werte der Verteilungsparameter entgegengesetzte Vorzeichen haben können. Oder kann nicht haben.

— Alecos Papadopoulos

Sie haben eine solche bivariate CDF: eine gleichmäßige Verteilung auf die Punkte, die meine Simulation ergibt.

— Dave

Antworten:

Es gibt viele Gegenbeispiele. Aber lassen Sie uns die zugrunde liegende Frage ansprechen:

Was ich schließlich suche, ist ein Beweis dafür, dass, wenn eine zunehmende monotone Transformation ist, . $h$ $\operatorname{Sign}\{\operatorname{Cov}(X,Y)\}=\operatorname{Sign}\{\operatorname{Cov}(X,h(Y))\}$

Das ist falsch.

Das erste Gegenbeispiel ist die diskrete Gleichverteilung auf den Punkten hier dargestellt durch Zeichnen dieser sieben Punkte als rote Kreise im linken Feld: $F$ $(x_i,y_i)$ $(1,8.1), (2,9.1), (3,10.1), (4,11.1), (5,12.1), (6,13.1), (7,0.1),$

Betrachten Sie die Familie der Box-Cox-Transformationen

h_{p} (y) = \frac{y^{p} - 1}{p C} + 1

$h_p(y) = \frac{y^p - 1}{p\, C} + 1$

wobei die Konstante gewählt wird , die Werte von machen vergleichbar mit denen von (beispielsweise durch Setzen zu sein , die Leistung des geometrischen Mittels des ) und wird machen die Identität. Diese sind alle monoton; Ein Beispiel ist für $C$ $h_p(y_i)$ $y$ $C$ $p-1$ $y_i$ $1$ $h_1$ $p=2$ im rechten Bereich. Ihre Auswirkungen auf die Kovarianz sind im mittleren Feld dargestellt. Es zeigt eine Änderung von negativer Kovarianz (aufgrund des äußeren Punktes unten links) zu positiver Kovarianz (weil die Transformation den Punkt nur ein wenig weniger äußerlich macht und seinen negativen Effekt auf die ansonsten starke positive Kovarianz aller anderen Daten verringert). .

Um genau zu sein, können Sie dies insbesondere berechnen

h (y_{i}, 2) = (7.0, 8.6, 10.4, 12.4, 14.5, 16.8, 0.908),

$h(y_i,2) = (7.0, 8.6, 10.4, 12.4, 14.5, 16.8, 0.908),$

Geben von und Die Punkte sind in der linken Tafel als hohle blaue Dreiecke dargestellt. $\operatorname{Cov}(x_i,y_i) = -7/3 \lt 0$ $\operatorname{Cov}(x_i, h(y_i,2))=0.39217 \gt 0.$ $(x_i, h(y_i,2))$

Das zweite Gegenbeispiel ist eine fortlaufende Version des ersten. Es sei eine kontinuierliche Verteilung, die aufFür jede reelle Zahl definieren $(U,V)$ $[-1,1]\times[-1,1].$ $\epsilon$

(X_{ϵ}, Y_{ϵ}) = (X, Y) + ϵ (U, V) .

$(X_\epsilon, Y_\epsilon) = (X,Y) + \epsilon(U,V).$

Vorausgesetzt, hat eine kontinuierliche Verteilung (siehe Ist die Summe einer kontinuierlichen Zufallsvariablen und einer gemischten Zufallsvariablen kontinuierlich? ). Vorausgesetzt die Unterstützung von im ersten Quadranten (in beiden Variablen streng positiv), was bedeutet, dass die Box-Cox-Transformationen auf angewendet werden können Sie können die Berechnungen durchführen, um zu bestätigen, dass die Kovarianz von eine kontinuierliche Funktion vonErgo zeigt das erste Gegenbeispiel für ausreichend kleines die Kovarianz von $\epsilon\ne 0,$ $(X_\epsilon, Y_\epsilon)$ $|\epsilon| \lt 1/10,$ $(X_\epsilon, Y_\epsilon)$ $Y_\epsilon.$ $(X_\epsilon,Y_\epsilon)$ $\epsilon.$ $\epsilon,$ $(X_\epsilon,Y_\epsilon)$ ist negativ, während das von positiv ist, QED. $(X_\epsilon, h_2(Y_\epsilon))$

— whuber
quelle

Ich sage, sie können entgegengesetzte Vorzeichen haben.

Schauen wir uns die folgende Simulation an.

# Set a random seed so that everyone can get the same results
#     
set.seed(1)

# Import the library that simulates correlated bivariate data
#  
library(MASS) 

# Simulate bivariate normal data with standard normal 
# marginals and 0.9 Pearson correlation. To those 99 
# observations, add a gigantic outlier completely out 
# of the mainstream of the other 99 points. This is why 
# we end up with negative covariance.
#  
X <- rbind(mvrnorm(99,c(0,0),matrix(c(1,0.9,0.9,1),2,2)),c(-10000,10000)) 

# Plot the data
#  
plot(X[,1],X[,2]) 

# Calculate the covariance of the sample. When we regard 
# the simulated data as a discrete population, this is 
# the population covariance.
#  
cov(X[,1],X[,2]) # comes out negative, as the plot suggests

# Calculate the sample Spearman correlation, which is 
# positive, since 99% of the data follow an upward trend.
#  
cor(X[,1],X[,2],method='spearman') # comes out positive

Wir können die simulierten Daten jedoch als diskrete Population betrachten.

# Apply the empirical CDF function to perform the probability
# integral transform. If we regard the sampled data as a
# discrete population, we have tricked R into calculating the
# population Spearman correlation.
#  
cov(ecdf(X[,1])(X[,1]),ecdf(X[,2])(X[,2])) # Positive, same value as before

Das "ecdf" (empirische CDF) bringt R dazu, die Populations-CDF dieser diskreten Variablen zu erstellen. Ich denke, wir arbeiten auf Bevölkerungsebene und dies ist ein Gegenbeispiel.

— Dave
quelle

Vielen Dank für Ihre Antwort. Können Sie bitte den Code entschlüsseln, was den Datengenerierungsmechanismus hier betrifft?

— Alecos Papadopoulos

Ich habe meinem Code Kommentare hinzugefügt. Hoffentlich hilft das.

— Dave

Vielen Dank. In der Tat helfen sie, weil sie klarstellen, dass das, was Sie finden, nur ein Beispielproblem ist, da zwei Zufallsvariablen, die bivariate Normal korrelieren, immer Quadrantenabhängig sind. Für diese Bevölkerung hat die Bevölkerungskovarianz immer das gleiche Vorzeichen wie die Spearman-Rho der Bevölkerung.

— Alecos Papadopoulos

Wenn wir die Bevölkerung als diskrete gleichmäßige Verteilung auf diese 99 Punkte betrachten, wie unterscheidet sich dies nicht als Beispiel für die unterschiedlichen Bevölkerungszeichen?

— Dave

Wenn ich richtig verstanden habe, ist der Datengenerierungsmechanismus Bivariate Normal, stimmt das?

— Alecos Papadopoulos

Um den Wert dieses Threads zu erhöhen, werde ich darlegen, warum Quadrantenabhängigkeit impliziert, dass
a) Kovarianz das gleiche Vorzeichen wie Spearmans Rho hat, wenn beide nicht Null sind.
B) Das Vorzeichen der Kovarianz wird nicht durch streng zunehmende monotone Transformationen beeinflusst, wenn es bestehen bleibt ungleich Null.

Ich werde es für kontinuierliche Verteilungen mit Dichten zeigen, aber dies ist keine kritische Bedingung.

Sei , zwei Zufallsvariablen mit gemeinsamer Verteilungsfunktion , Randverteilungsfunktionen und Randdichte- / Wahrscheinlichkeitsmassenfunktionen . Dann haben wir $X$ $Y$ $F_{XY}(x,y)$ $F_X(x), F_Y(y)$ $f_X(x), f_Y(y)$

{\begin{cases} Positive Quadrant Dependence iff F_{X Y} (x, y) - F_{X} (x) F_{Y} (y) \geq 0 \forall (x, y) \\ Negative Quadrant Dependence iff F_{X Y} (x, y) - F_{X} (x) F_{Y} (y) \leq 0 \forall (x, y) \end{cases}

$\begin{cases} \text{Positive Quadrant Dependence iff} \;\;\; F_{XY}(x,y) - F_X(x)F_Y(y) \geq 0\;\;\; \forall (x,y)\\ \text{Negative Quadrant Dependence iff}\;\;\ F_{XY}(x,y) - F_X(x)F_Y(y) \leq 0\;\;\; \forall (x,y) \end{cases}$

Beachten Sie, dass die entscheidende Bedingung das Qualifikationsmerkmal "für alle " ist. $(x,y)$

Nun lautet die "schöne Kovarianzformel von Hoeffding"

Cov (X, Y) = \int \int_{S_{X Y}} [F_{X Y} (x, y) - F_{X} (x) F_{Y} (y)] d x d y

$\text{Cov}(X,Y) = \int\int_{S_{XY}}[F_{XY}(x,y) - F_X(x)F_Y(y)] dx dy$

wobei die gemeinsame Unterstützung ist. Auf der anderen Seite kann Spearmans Rho ausgedrückt werden als $S_{XY}$

ρ_{S} (X, Y) = 12 \cdot \int \int_{S_{X Y}} f_{x} (x) f_{y} (y) [F_{X Y} (x, y) - F_{X} (x) F_{Y} (y)] d x d y

$\rho_S(X,Y) = 12\cdot \int\int_{S_{XY}}f_x(x)f_y(y)[F_{XY}(x,y) - F_X(x)F_Y(y)] dx dy$

Diejenigen, die sich daran erinnern, dass verstehen, warum die Existenz von Dichten nicht kritisch ist. Aber es ist klarstellend: Verdichten von wir $dF(x) = f(x)dx$ $[F_{XY}(x,y) - F_X(x)F_Y(y)] \equiv QD(x,y)$

Cov (X, Y) = \int \int_{S_{X Y}} Q D (x, y) d x d y

$\text{Cov}(X,Y) = \int\int_{S_{XY}}QD(x,y) dx dy$

ρ_{S} (X, Y) = 12 \cdot \int \int_{S_{X Y}} f_{x} (x) f_{y} (y) Q D (x, y) d x d y

$\rho_S(X,Y) = 12\cdot \int\int_{S_{XY}}f_x(x)f_y(y)QD(x,y) dx dy$

Wir sehen, dass die Kovarianz die Größen über der Gelenkstütze "ungewichtet" "summiert", während Spearmans Rho sie summiert, gewichtet mit dem Produkt der Dichten, (was immer nicht ist) -Negativ). Wenn die Quadrantenabhängigkeit gilt, "summieren" wir in beiden Maßen entweder nur nicht negative Dinge oder nur nicht positive Dinge. $QD(x,y)$ $f_x(x)f_y(y)$

Damit

a) Unter hat Covarianz das gleiche Vorzeichen wie Spearmans Rho, wenn beide nicht Null sind: $QD$

sign {Cov (X, Y)} = sign {ρ_{s} (X, Y)}

$\text{sign}\left\{\text{Cov}(X,Y)\right\} = \text{sign}\left\{\rho_s(X,Y)\right\}$

Betrachten Sie außerdem eine streng zunehmende monotone Transformation von , . Spearmans 'Rho ist unter einer solchen Transformation also unveränderlich $Y$ $h(Y)$

ρ_{S} (X, Y) = ρ_{S} (X, h (Y))

$\rho_S(X,Y) = \rho_S(X,h(Y))$

Unter Quadrantenabhängigkeit haben wir wieder, wenn beide Maße nicht Null sind,

sign {Cov (X, h (Y))} = sign {ρ_{s} (X, h (Y))}

$\text{sign}\left\{\text{Cov}(X,h(Y))\right\} = \text{sign}\left\{\rho_s(X,h(Y))\right\}$

Verknüpfungszeichengleichungen erhalten wir dann

sign {Cov (X, Y)} = sign {Cov (X, h (Y))}

$\text{sign}\left\{\text{Cov}(X,Y)\right\} = \text{sign}\left\{\text{Cov}(X,h(Y))\right\}$

Wie in den anderen Antworten impliziert, ist das kontraintuitive Ergebnis hier, dass die Quadrantenabhängigkeit nicht fallengelassen werden kann: Wenn dies nicht zutrifft, können wir nicht garantieren, dass eine streng zunehmende Transformation einer Variablen das Vorzeichen der Kovarianz bewahrt. Daher sind "ziemlich logische" informelle Argumente wie "da, wenn dazu neigt, ebenso wie zuzunehmen , folgt, dass wenn positiv mit kovariiert, es auch mit positiv koväriert " falsch ist - "es folgt "nur wenn gilt. $Y$ $h(Y)$ $X$ $Y$ $h(Y)$ $QD$

Formal kann man dies sehen, indem man und dies beobachtet $Z= h(Y), h'(y) >0$

F_{Z} (z) = F_{Y} (h^{- 1} (z)), F_{X Z} (x, z) = F_{X Y} (x, h^{- 1} (z)), d z = h^{'} (y) d y

$F_Z(z) = F_Y(h^{-1}(z)),\;\;\;F_{XZ}(x,z) = F_{XY}(x,h^{-1}(z)), dz = h'(y)dy$ . Dann haben wir

Cov (X, Z) = \int \int_{S_{X Z}} [F_{X Z} (x, z) - F_{X} (x) F_{Z} (z)] d x d z

$\text{Cov}(X,Z) = \int\int_{S_{XZ}}[F_{XZ}(x,z) - F_X(x)F_Z(z)] dx dz$

= \int \int_{S_{X Z}} [F_{X Y} (x, h^{- 1} (z)) - F_{X} (x) F_{Y} (h^{- 1} (z))] d x d z

$= \int\int_{S_{XZ}}[F_{XY}(x,h^{-1}(z)) - F_X(x)F_Y(h^{-1}(z))] dx dz$ und Nehmen Sie dann eine Änderung der Variablen von nach , um zu erhalten

Z

$Z$

Y

$Y$

Cov (X, Z) = \int \int_{S_{X, Y}} h^{'} (y) \cdot Q D (x, y) d x d y

$\text{Cov}(X,Z) = \int\int_{S_{X,Y}}h'(y)\cdot QD(x,y)dx dy$

Wenn nicht gilt, bedeutet dies, dass einige positiv und andere negativ sind. Dann kann die Tatsache, dass beispielsweise allein ist, nicht garantieren, dass auch ist, da wir hier den vorherigen Integranden mit , das zwar streng positiv ist, aber keine Konstante ist, und es daher vorkommen kann, dass die negativen überproportional gewichtet werden als die positiven, was insgesamt zu einem negativen Wert führt. Zumindest von diesem Weg aus ist die Eigenschaft der Quadrantenabhängigkeit wesentlich. $QD$ $QD(x,y)$ $\text{Cov}(X,Y) >0$ $\text{Cov}(X,Z) >0$ $h'(y)$ $QD(x,y)$

— Alecos Papadopoulos
quelle