Signifikanztest für die Differenz des Spearman-Korrelationskoeffizienten

(Vielen Dank für die schnellen Antworten! Ich habe die Frage schlecht gestellt, also lass es mich noch einmal versuchen.)

Ich weiß nicht, wie ich herausfinden soll, ob der Unterschied zwischen zwei Spearman-Korrelationen statistisch signifikant ist oder nicht. Ich würde gerne wissen, wie ich es herausfinden kann.

Der Grund, den ich herausfinden wollte, ist, dass in der folgenden Arbeit: Wikipedia-basierte semantische Interpretation für die Verarbeitung natürlicher Sprache , von Gabrilovich und Markovitch ( Journal of Artificial Intelligence Research 34 (2009) 443-498).

In Tabelle 2 (S. 457) zeigen die Autoren, dass ihre Methode (ESA-Wikipedia) eine höhere und statistisch signifikante Spearman-Korrelation aufweist als andere Methoden, und ich möchte dasselbe tun, um zu zeigen, dass meine Methode besser ist als die vorherige Methoden für ein Problem.

Ich weiß nicht, wie sie die statistische Signifikanz berechnet haben, und ich würde es gerne wissen. Der Autor der Veröffentlichung gab an, dass die Rangkorrelation von Spearman als Pearson-Korrelation behandelt wurde. Ich bin mir nicht sicher, ob das der richtige Weg ist. Ich habe zwei Spearman-Korrelationen und möchte wissen, ob der Unterschied zwischen ihnen statistisch signifikant ist oder nicht.

Mir ist bekannt, dass Websites wie http://faculty.vassar.edu/lowry/rdiff.html einen Online-Rechner zum Ermitteln der Differenz zwischen zwei Pearson-Korrelationen bereitstellen. Ich kann keinen ähnlichen Online-Rechner für den Unterschied zwischen zwei Spearman-Korrelationen finden.

Eine Lösung aus dem Link von Peter Flom

HINWEIS: Die Verfahren unterstützen nur die Spearman-Korrelationen, die unter 0,6 liegen.

Lassen = der Fisher der beobachteten Korrelation der Satz Transformations , = Transformations Fisher der beobachteten Korrelation von Satz . $z_A$ $A$ $z_B$ $B$
Für sei , wobei die Fisher-Transformation von Menge der durch erhaltenen Ein-Auslass-Korrelation ist Löschen , Neuordnen und Neuberechnen der Korrelation. (Jedes basiert auf $i = 1,\dots,n$ $y_{A_i} = nz_A- (n - 1)z_{A'i}$ $z_{A'i}$ $A$ $(x_i,y_i)$ $z_{A'i}$ Paar; jede Deletion ist vorübergehend, für die ich nur, nicht dauerhaft.) Wiederholen für Satz . $n-1$ $B$
ist die jackknifed Fisher-Transformation. Wiederholenfür Satz. $\bar y_A = \sum y_{A_i}/n$ $B$
die Varianz der . Wiederholenfür Satz . $v_{\bar y_A} = \sum (y_{A_i}-\bar y_A)^2 /(n(n-1))$ $\bar y_A$ $B$
Verwenden Sie einen heteroskedastischen (Welch-Satterthwaite) Test, um die beiden Schätzungen zu vergleichen: $t$

wobeiunddie Anzahl der Abtastwerte von Satzbzw.sind.

t = \frac{{\bar{y}}_{A} - {\bar{y}}_{B}}{\sqrt{v_{{\bar{y}}_{A}} + v_{{\bar{y}}_{B}}}}, df = \frac{(v_{{\bar{y}}_{A}} + v_{{\bar{y}}_{B}})^{2}}{\frac{v_{{\bar{y}}_{A}}^{2}}{n_{A} - 1} + \frac{v_{{\bar{y}}_{B}}^{2}}{n_{B} - 1}}

$t = \frac{\bar y_A - \bar y_B}{\sqrt{v_{\bar y_A} + v_{\bar y_B}}},\quad \text{df}=\frac{(v_{\bar y_A} + v_{\bar y_B})^2}{\frac{v_{\bar y_A}^2}{n_A-1}+\frac{v_{\bar y_B}^2}{n_B-1}}$

n_{A}

$n_A$

n_{B}

$n_B$

A

$A$

B

$B$

Vor der ersten Bearbeitung

Ich habe eine Rangfolge von Menschen (HUMAN-RANKING), eine Rangfolge, die mit der derzeit verwendeten, populären Methode (PRESENT-RANKING) erstellt wurde, und schließlich eine Rangfolge, die mit meiner beabsichtigten Methode (MY-RANKING) erstellt wurde. .

Ich berechnete die Spearman-Korrelation zwischen MENSCHENRANGLISTE und PRÄSENTIERENRANGLISTE. Nennen wir das: MENSCHLICHER-PRÄSENTIERER-SPEERMAN.

Ich fand dann die Korrelation des Spearman zwischen MENSCHLICHEM RANG und MEINEM RANG heraus. Nennen wir das: MENSCH-MEIN-SPEERMAN.

Wie kann ich herausfinden, ob der Unterschied zwischen HUMAN-MY-SPEARMAN und HUMAN-PRESENT-SPEARMAN statistisch signifikant ist?

hypothesis-testing statistical-significance spearman-rho

— Patrick Chan
quelle

Willkommen Patrick. Ich habe mit dem gleichen Problem zu kämpfen, aber mit Pearson r. Wenn Sie meine Eingaben überprüfen, bekommen Sie ein Gefühl dafür, was Sie tun können.

— Adhesh Josh

Obwohl Sie möglicherweise Schwierigkeiten haben, diese Frage statistisch zu formulieren, wäre es hilfreich, wenn wir wüssten, woran Sie genau interessiert sind. Sind Sie an der Enge der Korrelation (wie genau die Punktzahlen einander vorhersagen) oder an der Existenz einer Beziehung interessiert? mehr als der Zufall. Angesichts der Tatsache, dass Sie anscheinend Daten mit Rangfolgen versehen haben, kann es hilfreich sein, die Korrelationskoeffizienten innerhalb einer Klasse zu lesen. Ich hoffe, ich habe das Recht, die Frage ist nicht ganz klar.

— Rosser

Danke Adhesh und rosser. Es tut mir leid für meine schlechte Beschreibung meiner Frage. Ich habe es umgeschrieben. Hoffe, es ist eine verständliche Frage geworden.

— Patrick Chan

Hallo! Ich kämpfe derzeit mit dem gleichen Problem. Haben Sie zufällig einen Code parat, der Ihren Vorschlag umsetzt? Warum funktioniert es auch nur bei Korrelationswerten unter 0,6?

— Fsociety

In dem von Ihnen zitierten Artikel wird die Methode folgendermaßen erläutert:

[...] Wir zeigen die statistische Signifikanz des Unterschieds zwischen der Leistung der ESA-Wikipedia-Version (26. März 2006) und der anderer Algorithmen unter Verwendung der Fisher-Z-Transformation (Press, Teukolsky, Vetterling, & Flannery, Numerical) Rezepte in C: Die Kunst des wissenschaftlichen Rechnens (Cambridge University Press, 1997, Abschnitt 14.5).

Ich schlage vor, Sie folgen dieser Referenz oder werfen einen Blick auf die Wikipedia-Seite über den Spearman-Koeffizienten für Details.

— Guillermo G.
quelle

Danke Guillermo. Ich hatte den Verdacht, dass sie die Rangkorrelation des Spearman als Pearson-Korrelation behandelten und die Differenz zweier Pearson-Korrelationen berechneten. Es scheint mir jedoch, dass dies nicht der richtige Weg ist, und deshalb schreibe ich hier einen Beitrag.

— Patrick Chan

Kennen Sie vielleicht eine funktionierende Implementierung (vorzugsweise online), weil dies das Ziel des OP ist?

— chl