Warum ist eine Pearson-Rangkorrelation trotz Normalitätsannahme gültig?


9

Ich lese gerade über Annahmen für Pearson-Korrelationen. Eine wichtige Annahme für den folgenden t-Test scheint zu sein, dass beide Variablen aus Normalverteilungen stammen; Wenn dies nicht der Fall ist, wird die Verwendung alternativer Maßnahmen wie des Spearman Rho empfohlen. Die Spearman-Korrelation wird wie die Pearson-Korrelation berechnet, wobei nur die Ränge von X und Y anstelle von X und Y selbst verwendet werden. Richtig?

Meine Frage ist: Wenn die Eingabevariablen in eine Pearson-Korrelation normal verteilt werden müssen, warum ist die Berechnung einer Spearman-Korrelation gültig, obwohl die Eingabevariablen Ränge sind? Meine Reihen stammen sicherlich nicht aus Normalverteilungen ...

Die einzige Erklärung, die ich bisher gefunden habe, ist, dass die Bedeutung von Rho möglicherweise anders getestet wird als die des Pearson-Korrelations-T-Tests (auf eine Weise, die keine Normalität erfordert), aber bisher habe ich keine Formel gefunden. Wenn ich jedoch einige Beispiele anführte, stimmten die p-Werte für rho und für den t-Test der Pearson-Korrelation der Ränge bis auf die letzten Ziffern immer überein. Für mich sieht das nicht nach einem bahnbrechend anderen Verfahren aus.

Alle Erklärungen und Ideen, die Sie haben könnten, würden geschätzt!

Antworten:


7

Zur Berechnung einer Pearson-Korrelation ist keine Normalität erforderlich. Es ist nur so, dass einige Formen der Inferenz über die entsprechende Populationsmenge auf den normalen Annahmen basieren (CIs und Hypothesentests).

Wenn Sie keine Normalität haben, gelten die impliziten Eigenschaften dieser bestimmten Inferenzform nicht.

Im Fall der Spearman-Korrelation haben Sie keine Normalität, aber das ist in Ordnung, da die Inferenzberechnungen für die Spearman-Korrelation (wie der Hypothesentest) nicht auf einer Normalitätsannahme basieren.

Sie werden basierend auf einer Reihe gepaarter Ränge aus einer kontinuierlichen bivariaten Verteilung abgeleitet. In diesem Fall verwendet der Hypothesentest die Permutationsverteilung der Teststatistik basierend auf den Rängen.

Wenn die üblichen Annahmen für die Inferenz mit der Pearson-Korrelation gelten (bivariate Normalität), ist die Spearman-Korrelation normalerweise sehr eng (wenn auch im Durchschnitt etwas näher an 0).

(Wenn Sie also den Pearson verwenden könnten, ist der Spearman oft recht gut. Wenn Sie abgesehen von einer Kontamination mit einem anderen Prozess (der Ausreißer verursachte) nahezu bivariate normale Daten hätten, wäre der Spearman eine robustere Methode, um die Korrelation in abzuschätzen die nicht kontaminierte Verteilung.)


Vielen Dank, der Verweis auf die Permutationsverteilung ist hilfreich!
GST95

"Der Spearman wäre ein robusterer Weg, um die Korrelation zu schätzen." Um nicht zu picken, würde Spearman die Assoziation schätzen , NICHT die lineare Korrelation.
Landroni

1
@landroni Wenn ich allgemein über den Spearman gesprochen habe, charakterisieren Sie richtig, was der Spearman tut - aber in diesem Satz spreche ich explizit über den Vergleich zweier Schätzungen der Populationskorrelation unter Kontamination, und ich meine, was ich dort ganz wörtlich sage. Stellen Sie sich eine bivariate Normalität mit Korrelation und fügen Sie dann einen wirklich extremen Ausreißer hinzu. Wenn ich in dieser Situation schätzen möchte , ist der Spearman ein robusterer Schätzer für als die Pearson-Korrelation. ρ ρρρρ
Glen_b -State Monica

1
@landroni ... Eine solche Situation kann auftreten, wenn Sie den Hauptprozess haben, der sich gut verhält, und einen Kontaminationsprozess, der sehr extrem sein kann, aber nur gelegentlich auftritt. Wenn Sie daran interessiert sind, die Korrelation des nicht kontaminierten Prozesses abzuschätzen, ist die Pearson-Korrelation sehr viel anfälliger für die Kontamination als der Spearman.
Glen_b -State Monica

2

Wenn ich ein paar Beispiele anführte, stimmten die p-Werte für rho und für den t-Test der Pearson-Korrelation der Ränge bis auf die letzten Ziffern immer überein

Nun, Sie haben damals die falschen Beispiele angeführt!

a = c(1,2,3,4,5,6,7,8,9)
b = c(1,2,3,4,5,6,7,8,90)
cor.test(a,b,method='pearson')

    Pearson's product-moment correlation

data:  a and b
t = 2.0528, df = 7, p-value = 0.0792
alternative hypothesis: true correlation is not equal to 0
95 percent confidence interval:
 -0.08621009  0.90762506
sample estimates:
      cor 
0.6130088 

cor.test(a,b,method='spearman')

    Spearman's rank correlation rho

data:  a and b
S = 0, p-value = 5.511e-06
alternative hypothesis: true rho is not equal to 0
sample estimates:
rho 
  1 

Vektoren aund bhaben eine gute, aber alles andere als perfekte lineare (Pearson) Korrelation. Sie haben jedoch eine perfekte Rangkorrelation. Siehe - für Spearman's ist es in diesem Fall nicht wichtig, ob die letzte Ziffer 8,1, 9, 90 oder 9000 ist (probieren Sie es aus!), Sondern nur, wenn sie größer als 8 ist . Das ist es, was einen Unterschied zwischen korrelierenden Rängen ausmacht. ρb

Im Gegensatz dazu , während aund bperfekte Rangkorrelation hat, ist ihre Pearson Korrelationskoeffizient kleiner als 1. Dies zeigt , dass die Pearson - Korrelation nicht Ränge reflektiert wird.
Eine Pearson-Korrelation spiegelt eine lineare Funktion wider, eine Rangkorrelation einfach eine monotone Funktion. Bei normalen Daten ähneln sich die beiden stark, und ich vermute, dass Ihre Daten aus diesem Grund keine großen Unterschiede zwischen Spearman und Pearson aufweisen.

Betrachten Sie als praktisches Beispiel Folgendes: Sie möchten sehen, ob größere Menschen mehr wiegen. Ja, es ist eine dumme Frage ... aber nehmen Sie einfach an, das ist es, was Sie interessiert. Jetzt skaliert die Masse nicht linear mit dem Gewicht, da große Menschen auch breiter sind als kleine Menschen. Das Gewicht ist also keine lineare Funktion der Größe. Jemand, der 10% größer ist als Sie, ist (im Durchschnitt) mehr als 10% schwerer. Aus diesem Grund verwendet der Body / Mass-Index den Würfel im Nenner.
Folglich würden Sie eine lineare Korrelation annehmen, um die Beziehung zwischen Größe und Gewicht ungenau wiederzugeben. Im Gegensatz dazu ist die Rangkorrelation in diesem Fall unempfindlich gegenüber den lästigen Gesetzen der Physik und Biologie; Es spiegelt nicht wider, ob Menschen mit zunehmender Körpergröße linear schwerer werden, sondern nur, ob größere Menschen (auf einer Skala höher im Rang) schwerer sind (auf der anderen Skala höher im Rang).

Ein typischeres Beispiel könnte das Likert-ähnliche Fragebogen-Ranking sein, beispielsweise Personen, die etwas als "perfekt / gut / anständig / mittelmäßig / schlecht / schrecklich" bewerten. "perfekt" ist so weit entfernt von "anständig" wie "anständig" von "schlecht" auf der Skala , aber können wir wirklich sagen, dass der Abstand zwischen den beiden gleich ist? Eine lineare Korrelation ist nicht unbedingt angemessen. Die Rangkorrelation ist natürlicher.

Um Ihre Frage direkter zu beantworten: Nein, p- Werte für Pearson- und Spearman-Korrelationen dürfen nicht unterschiedlich berechnet werden . Vieles unterscheidet sich sowohl konzeptionell als auch numerisch, aber wenn die Teststatistik äquivalent ist, ist der p- Wert äquivalent.

Zur Frage der Normalitätsannahme in der Pearson-Korrelation siehe dies .
Im Allgemeinen haben andere Leute das Thema parametrische und nichtparametrische Korrelationen (siehe auch hier ) und was dies in Bezug auf Verteilungsannahmen bedeutet, viel besser als ich ausgearbeitet .


Vielen Dank! Das nächste Mal werde ich sicher mehr mit den Beispielen experimentieren. :)
GST95

1
Nein, warte, eigentlich war das nicht meine Frage. Ich habe die method = "pearson" -Version nicht mit der method = "spearman" -Version von x und y verglichen. Ich habe verglichen cor.test(x, y, method = "spearman")mit cor.test(rank(x), rank(y), method = "pearson"). Diese Schätzungen sind unabhängig von den ausgewählten Daten identisch. Trotzdem danke! :)
GST95

Bei GST95 ist die Spearman-Korrelation genau die Pearson-Korrelation, die für rangtransformierte Daten durchgeführt wird. Ihre beiden "Methoden" sind wirklich genau die gleiche Methode.
Dennis

@Dennis, genau, ich habe nicht die (identischen) Rho-Koeffizienten verglichen, sondern die p-Werte, um zu sehen, ob beide mit einem t-Test erhalten wurden.
GST95
Durch die Nutzung unserer Website bestätigen Sie, dass Sie unsere Cookie-Richtlinie und Datenschutzrichtlinie gelesen und verstanden haben.
Licensed under cc by-sa 3.0 with attribution required.