Hintergrund:
Ich musste eine Datenanalyse für einen Mandanten (eine Art Anwalt) durchführen, der ein absoluter Anfänger in der Statistik war. Er fragte mich, was der Begriff "statistische Signifikanz" bedeutet und ich versuchte wirklich, ihn zu erklären ... aber da ich nicht gut darin bin, Dinge zu erklären, habe ich versagt;)
Antworten:
Unterschiede entstehen durch Zufall.
Wenn wir glauben, dass etwas statistisch signifikant ist, glauben wir, dass der Unterschied größer ist, als dies vernünftigerweise als zufälliges Ereignis erklärt werden kann.
HINWEIS: Was ich in dieser Antwort hervorheben möchte, ist, dass statistische Signifikanz ein nützliches Werkzeug ist, sich aber auch von der Wahrheit unterscheidet.
Nimm eine Packung mit 52 Karten. Wenn mein Klient unschuldig ist, ist es ein normales Kartenspiel, 13 Herzen. Wenn mein Klient lügt, ist es eine feste Packung und alle 52 Karten sind Herzen.
Ich ziehe die erste Karte und es ist ein Herz. Aha, schuldig! Nun, offensichtlich sagt uns der gesunde Menschenverstand, dass dies nicht der Fall ist: Es gab eine von vier Chancen, dass dies passieren würde, selbst wenn er unschuldig wäre. Wir haben keine statistische Signifikanz nur eine Karte betrachten.
Also ziehen wir eine zweite Karte. Ein anderes Herz. Hhhmmm ... dann definitiv schuldig! Nun, es waren noch 12 Herzen in diesen verbleibenden 51 Karten, also nicht unmöglich. Die Mathematik (13/52 * 12/51 = 0.0588) sagt uns, dass dies in etwa 6% der Fälle geschieht, selbst wenn es unschuldig ist. Für die meisten Wissenschaftler würde dies immer noch nicht zählen.
Ziehe eine dritte Karte, ein anderes Herz! Drei in einer Reihe. Die Wahrscheinlichkeit, dass dies geschieht, ist (13/52 * 12/51 * 11/50 = 0,01294), so dass dies in etwas mehr als 1% der Fälle zufällig geschehen kann.
In weiten Teilen der Wissenschaft werden 5% als Grenzwert verwendet. Wenn Sie also keine anderen Beweise als diese drei Karten haben, haben Sie ein statistisch signifikantes Ergebnis, dass er schuldig ist.
Der wichtige Punkt ist, dass je mehr Karten Sie betrachten dürfen, desto besser ist Ihr Vertrauen in seine Schuld. Dies ist eine andere Art zu sagen, je höher die statistische Bedeutung wird.
HINWEIS: Sie haben nie einen Beweis seiner Schuld , wenn Sie auf 14 Karten schauen dürfen. Mit einem normalen Kartenspiel ist es theoretisch möglich, 13 Herzen hintereinander zu ziehen, aber 14 sind unmöglich. [Abgesehen von Pedanten: Nehmen wir an, die Zahlen auf den Karten sind nicht sichtbar. Alle Karten sind eine von vier möglichen Farben, und das ist es.]
HINWEIS: Sie haben einen Beweis für seine Unschuld, sobald Sie eine andere Karte als ein Herz ziehen. Dies liegt daran, dass es nur zwei mögliche Packungen gab: normale oder alle Herzen. Das wirkliche Leben ist komplizierter und die Mathematik wird auch komplizierter.
Übrigens, wenn Ihr Kunde kein Kartenspieler ist, versuchen Sie es mit Monopoly: Jeder würfelt manchmal eine Doppel-Sechs; aber wenn jemand jedes Mal Double-Six würfelt, wenn Sie misstrauisch werden. Mit Statistiken können wir nur genau angeben, wie misstrauisch wir sein sollten.
Mein eigener Rat ist, nicht über folgende Dinge zu sprechen:
Seien Sie nicht zu hart mit sich selbst über den Anwalt. Dies ist eine gebildete Person, die mindestens ein Semester in einer Statistikklasse der Universität verbracht hat und nicht ein bisschen davon bei ihm hängen geblieben ist. Es ist die gleiche Geschichte für praktisch jeden anderen Nichtwissenschaftler, mit dem ich gearbeitet habe - die statistische Signifikanz bleibt nicht erhalten . Es ist einfach ein zu unnatürliches Konzept.
Ich ermutige Sie, die statistische Signifikanz anhand von Beweisen zu erklären . Klassische Statistiker haben Beweise auf einer Skala von 0 bis 1 codiert, wobei kleinere Werte mehr Beweise darstellen und bei 0,05 die Linie konventionell gezogen wird.
"Statistisch signifikant" bedeutet, dass etwas zufällig passiert sein könnte, aber es ist unwahrscheinlich. Stattdessen ist es viel wahrscheinlicher, dass es irgendeine Ursache gibt. Sie sollten dies anhand eines für Ihren Kunden relevanten Beispiels konkreter machen, da diese Erklärung so abstrakt ist.
Wenn zum Beispiel die Anwältin Anne im Durchschnitt viel mehr Fälle als Bill gewonnen hat, könnte dies nur zufällig geschehen sein. Wenn Anne jedoch statistisch signifikant mehr Fälle gewonnen hat, ist es viel wahrscheinlicher, dass es etwas gibt, das erklären könnte, warum Anne mehr Fälle als Bill gewonnen hat. Wir kennen die Ursache nicht. Vielleicht ist Anne eine bessere Anwältin oder Bill wählt absichtlich Fälle aus, die schwieriger sind.
Halten Sie es einfach und prägnant!
Ein p-Wert ist definiert als die Wahrscheinlichkeit, Ergebnisse zu erhalten, die so oder so extrem sind wie die, die wir unter der Annahme beobachtet haben, dass die Null wahr ist. Wenn der p-Wert klein genug ist, ist die Null wahrscheinlich nicht wahr. Wir wählen willkürlich einen Grenzwert für das, was wir als "klein genug" (Alpha) betrachten, und für alle p-Werte, die unter Alpha fallen, lehnen wir die Null ab.
So erkläre ich es meiner Intro-Statistik-Klasse.
Ich werde es versuchen.
Zuerst berechnen Sie einen p-Wert basierend auf den Durchschnittsdaten und der Variabilität der Daten. Je variabler, desto weniger wahrscheinlich ist es, einen kleinen p-Wert zu erhalten. Wenn Sie beispielsweise zwei Gruppen vergleichen, ist der p-Wert umso kleiner, je größer die Differenz zwischen den Durchschnittswerten ist.
Auch die Variabilität der Daten kann durch mehr Daten etwas aufgehoben werden. Abbildung von zwei Datensätzen mit demselben Unterschied zwischen zwei Durchschnittswerten und derselben Variabilität. In diesem Fall hat der Satz mit größerer Stichprobengröße einen kleineren p-Wert.
Der Testteil sieht nur, ob der p-Wert niedriger als eine Zahl ist. Normalerweise verwenden die Leute .05, aber dies ist eine willkürliche soziale Gewohnheit. Viele Leute denken, dass es keinen Sinn macht, eine beliebige Zahl zu verwenden, aber es ist aus historischen Gründen sehr verbreitet.
Denken Sie auch daran, dass nur weil Ihr Signifikanztest besagt, dass es einen Unterschied zwischen zwei Gruppen gibt, Sie nicht wissen, warum es diesen Unterschied gibt. Wenn der Test jedoch besagt, dass es keinen signifikanten Unterschied gibt, kann dies nur daran liegen, dass Ihre Variabilität zu groß war und Sie nicht über genügend Daten verfügten, um einen niedrigen p-Wert zu erhalten. Dies bedeutet nicht, dass es keinen tatsächlichen Unterschied gibt.
Bearbeiten:
Zusammenfassend bedeutet ein niedrigerer p-Wert mehr Beweise gegen die Vorhersage:
Unterschied zum vorhergesagten Ergebnis -> Down p-Wert
Weitere Daten -> Down p-Wert
Mehr Variabilität -> Up p-Wert
Ein niedrigerer p-Wert bedeutet mehr Beweise dafür, dass die Vorhersage falsch ist. Jede Vorhersage in der Geschichte wurde bis zu einer Dezimalstelle als falsch angezeigt.
Die statistische Signifikanz ist ein Konzept, das verwendet wird, um die Annahme oder Ablehnung einer bestimmten Hypothese zu rechtfertigen. Anhand eines Datensatzes kann ein Analyst Statistiken berechnen und die Größe verschiedener Beziehungen zwischen verschiedenen Variablen bestimmen.
Die Aufgabe der Statistik besteht darin, festzustellen, ob die Daten genügend Beweise enthalten, um zu dem Schluss zu gelangen, dass die berechneten Statistiken oder Beziehungen, die zwischen Variablen beobachtet werden, als wahre Aussagen interpretiert werden können oder ob die in Ihren Beispieldaten beobachteten Ergebnisse einfach zufällig sind. Dies erfolgt durch Bestimmen einer Stichprobenstatistik, die bestimmte Merkmale aufweisen würde, wenn die Nullhypothese wahr ist, nicht jedoch, wenn die Nullhypothese falsch ist. Je mehr die relevante Stichprobenstatistik die unter der Nullhypothese erwarteten Merkmale aufweist, desto stärker ist der statistische Nachweis, dass die Nullhypothese korrekt ist. Je weniger die Stichprobenstatistik die unter der Nullhypothese erwarteten Merkmale aufweist, desto schwächer ist der statistische Nachweis, dass die Nullhypothese korrekt ist.
Der Betrag, in dem die Stichprobenstatistik die unter der Null erwarteten Merkmale aufweist, ist eine Frage des Grades. Um jedoch zu dem Schluss zu kommen, dass die Nullhypothese akzeptiert oder abgelehnt wird, muss ein willkürlicher Grenzwert festgelegt werden. Als solches wird ein Grenzwert gewählt. Wenn die Stichprobenstatistik innerhalb oder auf einer Seite des Grenzwerts liegt, wird gesagt, dass sie mit den unter der Nullhypothese erwarteten Merkmalen übereinstimmt, und daher kann das Ergebnis für den gegebenen Grenzwert als statistisch signifikant angesehen werden (z. B. bei 5% Alpha) Niveau). Wenn die relevante Stichprobenstatistik auf die andere Seite des Grenzwerts fällt, wird gesagt, dass sie nicht mit den unter der Nullhypothese erwarteten Merkmalen übereinstimmt, und daher wird das Ergebnis für den gegebenen Grenzwert nicht als statistisch signifikant angesehen.