Ich habe gerade in einem angesehenen (populären) Wissenschaftsmagazin (PM, 02/2013, S.36) über ein interessantes Experiment gelesen (leider ohne Quelle). Es erregte meine Aufmerksamkeit, weil ich intuitiv die Bedeutung des Ergebnisses bezweifelte, aber die bereitgestellten Informationen für die Reproduktion der statistischen Tests ausreichten.
Die Forscher fragten sich, ob Erkältung bei kaltem Wetter die Wahrscheinlichkeit einer Erkältung erhöht. So teilten sie eine Gruppe von 180 Schülern nach dem Zufallsprinzip in zwei Gruppen auf. Eine Gruppe musste ihre Füße 20 Minuten lang in kaltes Wasser halten. Die anderen zogen ihre Schuhe an. Eine Art lustige Manipulation, denke ich, aber andererseits bin ich kein Arzt und Ärzte denken vielleicht lustig. Abgesehen von ethischen Fragen.
Nach 5 Tagen hatten 13 der Studenten in der Behandlungsgruppe eine Erkältung, aber nur 5 in der Gruppe, die ihre Schuhe anhatten. Die Odds Ratio dieses Experiments beträgt somit 2,87.
Angesichts der relativ geringen Stichprobengröße fragte ich mich, ob dieser Unterschied signifikant sein könnte. Also habe ich zwei Tests durchgeführt.
Zuerst ein einfacher Test der Proportionengleichheit unter Verwendung der normalen Näherung. Dieser Test hat mit p = 0,0468 . Ich vermute, dass dies das ist, was die Forscher getestet haben. Dies ist wirklich nur von Bedeutung. Dieser Z-Test ist jedoch nur in großen Stichproben gültig, wenn ich mich aufgrund der normalen Näherung nicht irre. Darüber hinaus sind die Prävalenzraten eher gering, und ich frage mich, ob dies nicht die Abdeckungsrate des Konfidenzintervalls des Effekts beeinflusst.
Mein zweiter Versuch war also ein Chi-Quadrat-Test der Unabhängigkeit, sowohl mit Monte-Carlo-Simulation als auch mit dem Standard-Pearson-Chi-Quadrat. Hier finde ich p-Werte beide über .
Nun, das ist alles nicht so beruhigend in Bezug auf die Ergebnisse. Ich habe mich gefragt, ob es mehr Optionen zum Testen dieser Daten gibt und wie Sie zu den beiden Tests stehen (insbesondere zu den Annahmen des ersten, signifikanten Tests).