Kolmogorov-Smirnov-Test vs. t-Test

Ich habe einige Schwierigkeiten, die Interpretation des 2-Stichproben-KS-Tests zu verstehen und festzustellen, wie sich dieser von einem regulären t-Test zwischen 2 Gruppen unterscheidet.

Nehmen wir an, ich habe Männer und Frauen, die eine Aufgabe erledigen, und ich sammle einige Punkte von dieser Aufgabe. Mein letztendliches Ziel ist es festzustellen, ob Männer und Frauen bei dieser Aufgabe unterschiedliche Leistungen erbringen

Ich könnte also einen Test zwischen den beiden Gruppen absolvieren. Eine andere Sache, die ich tun könnte, ist, das ECDF für Männer und Frauen zu berechnen, sie aufzuzeichnen und den KS-Test mit 2 Stichproben durchzuführen. Ich würde so etwas bekommen:

KS-Test

Die Nullhypothese für den KS-Test lautet, dass die 2 Sätze kontinuierlicher Punkteverteilungen aus derselben Grundgesamtheit stammen

Bei der Durchführung des KS-Tests erhalte ich: D = 0,18888, p-Wert = 0,04742

Zunächst möchte ich überprüfen, ob meine Interpretation der Ergebnisse korrekt ist. Hier würde ich die Nullhypothese ablehnen und sagen, dass männliche und weibliche Punkteverteilungen aus unterschiedlichen Populationen stammen. Mit anderen Worten, die Verteilung der männlichen und weiblichen Bewertungen unterscheidet sich voneinander.

Insbesondere neigen Männer dazu, eine höhere Wahrscheinlichkeit zu haben, bei dieser Aufgabe niedrigere Punktzahlen zu erzielen, und das ist der Unterschied zwischen den beiden Geschlechtern, wie ich aus der Handlung interpretiere

T-Test

Jetzt wird beim Test der Unterschied zwischen männlichen und weiblichen Mitteln auf der Bewertungsvariablen getestet.

Stellen wir uns den Fall vor, in dem männliche Leistungen bei dieser Aufgabe schlechter sind als weibliche. In diesem Fall konzentriert sich die Verteilung der männlichen Punkte auf einen niedrigen Mittelwert, während sich die Verteilung der weiblichen Punkte auf einen hohen Mittelwert konzentriert. Dieses Szenario würde der obigen Darstellung entsprechen, da Männer mit höherer Wahrscheinlichkeit niedrigere Punktzahlen erzielen

Wenn der t-Test signifikant ausfällt, würde ich den Schluss ziehen, dass Frauen im Durchschnitt signifikant mehr Punkte erzielen als Männer. In Bezug auf die Bevölkerung werden die Punktzahlen der Frauen aus einer Bevölkerung gezogen, deren Mittelwert höher ist als der der Männer, was der Schlussfolgerung der KS, dass sie aus verschiedenen Bevölkerungsgruppen stammen, sehr ähnlich klingt.

Was ist der Unterschied?

Die Schlussfolgerung, die ich in den KS- und t-Testfällen ziehen würde, ist also die gleiche. Männer schneiden im Vergleich zu Frauen schlecht ab. Was bringt es also, wenn ein Test dem anderen vorgezogen wird? Gibt es neue Erkenntnisse, die Sie mit dem KS-Test gewinnen können?

Die Art und Weise, wie ich es sehe, Männer mit einer Verteilung um einen niedrigen Mittelwert und Frauen um einen hohen Mittelwert, ist der Grund für den signifikanten t-Test. Aufgrund der gleichen Tatsache haben Männer eine höhere Wahrscheinlichkeit, niedrigere Werte zu erzielen, was dazu führen würde, dass der Plot wie oben aussieht und einen signifikanten KS-Test ergibt. Die Ergebnisse beider Tests haben also die gleiche Ursache, aber vielleicht könnte man argumentieren, dass ein KS-Test mehr als nur die Mittelwerte der Verteilungen berücksichtigt und auch die Form der Verteilung berücksichtigt, aber es ist möglich, die Ursache herauszusuchen des signifikanten KS-Tests nur aus den Testergebnissen?

Welchen Wert hat es also, einen KS-Test bei Test zu wiederholen? Und lassen Sie uns annehmen, dass ich die Annahmen des t-Tests für diese Frage erfüllen kann

— Simon
quelle

T-Test von großen nachsteht zu Bayesian Datenanalyse Besuche John Kruschke des „Bayesian Schätzung ersetzt die t - Test“ indiana.edu/~kruschke/BEST/BEST.pdf

— Vladislavs Dovgalecs

Ich bin nicht sicher, wie sich der KS-Test auf Bayes'sche Methoden bezieht ...?

— Simon

Stoppen Sie einfach mit KS und T-Test

— Vladislavs Dovgalecs

@xeon Wenn du so starke Aussagen machen willst, solltest du sie besser unterstützen. Ihr Rat wäre nutzlos, wenn Sie den Unterschied in dem Beispiel in meiner Antwort aufgreifen würden. Warum sollte man einen Ansatz aufgeben, der diesen Verteilungsunterschied eindeutig zu Gunsten eines anderen Ansatzes identifiziert?

— Glen_b -Reinstate Monica

@ Glen_b Deshalb schrieb a einen Kommentar, keine Antwort. Vielleicht hat OP die Zeitung nicht gelesen, was übrigens großartig ist. Ich wollte es nur vorschlagen. Aber ich stimme zu, dass ich ein zu starkes Statement abgegeben und mich ein bisschen snobiert habe. Ich entschuldige mich für etwas unhöflich. Wird nicht mehr passieren.

— Vladislavs Dovgalecs

Als Beispiel, warum Sie den Kolmogorov-Smirnov-Test mit zwei Stichproben verwenden möchten:

Stellen Sie sich vor, dass die Populationsmittelwerte ähnlich, die Abweichungen jedoch sehr unterschiedlich waren. Der Kolmogorov-Smirnov-Test könnte diesen Unterschied ausgleichen, der t-Test jedoch nicht.

Oder stellen Sie sich vor, die Verteilungen haben ähnliche Mittel und SDs, aber die Männchen haben eine bimodale Verteilung (rot), während die Weibchen (blau) dies nicht tun:

Verhalten sich Männchen und Weibchen unterschiedlich? Ja - die Männchen tendieren dazu, entweder zwischen 7,5 und 8 oder zwischen 12,5 und 13 zu punkten, während die Weibchen tendenziell häufiger zur Mitte hin punkten (nahe 10 oder so), sind aber um diesen Wert weniger gruppiert als die beiden Werte Männer neigen dazu, in der Nähe von zu punkten.

Der Kolmogorov-Smirnov kann also viel allgemeinere Unterschiede in der Verteilung feststellen als der T-Test.

— Glen_b - Setzen Sie Monica wieder ein
quelle

Ah, mach Sinn. Könnte ich diese Logik erweitern und sagen, dass wenn ein t-Test signifikant ist, dann wird der KS-Test wahrscheinlich ebenfalls signifikant sein, es könnte sich jedoch um einen mittleren Unterschied und / oder einen anderen Unterschied in der Verteilung handeln, wodurch eine Interpretation des KS erfolgt Test schwierig? Ist ein KS-Test also nur dann wirklich sinnvoll, wenn zwischen 2 Gruppen kein mittlerer Unterschied besteht?

— Simon

Der t-Test reagiert empfindlicher auf Unterschiede im Mittelwert (insbesondere, wenn die Populationsverteilungen mit ähnlicher Standardabweichung nahezu normal sind). Der KS-Test kann schwieriger zu interpretieren sein, aber ich würde Ihrem letzten Satz nicht zustimmen. Sie könnten einen kleinen Unterschied in den Mitteln haben, der von anderen Unterschieden begleitet wird; Der T-Test hat nur den Unterschied in den Mitteln, um ihn zu informieren, während der KS-Test durch die anderen Arten von Unterschieden informiert werden kann. Stellen Sie sich das obige Beispiel vor, aber wo gibt es auch eine kleine Verschiebung der Mittel; Der T-Test kann den Unterschied möglicherweise nicht so leicht erfassen wie der KS-Test.

— Glen_b -Reinstate Monica

@ Glen_b: Ist es dann richtig zu sagen, dass KS prüft, ob die Verteilungen gleich sind, während der t-Test prüft, ob die Verteilungen den gleichen Mittelwert haben?

@fcop Ja und nein; Unter den gegebenen Annahmen und unter der Null testet der gewöhnliche t-Test mit gleicher Varianz tatsächlich auch die Identität von Verteilungen - es ist die Allgemeingültigkeit der Alternative (kombiniert mit den Annahmen), die sie wirklich unterschiedlich macht. Natürlich können wir die Tests (und im Allgemeinen auch) verwenden, wenn ihre Annahmen nicht ganz zutreffen und wir uns dann mehr mit ihrem Verhalten unter dem Nullpunkt und der Alternative befassen. Der t-Test reagiert tendenziell empfindlich auf eine Veränderung des Mittelwerts unter der Alternative, während der KS etwas empfindlich auf eine sehr breite Klasse von Alternativen reagiert.

— Glen_b -Reinstate Monica