Ist die Bayes'sche Statistik eine echte Verbesserung gegenüber der traditionellen (frequentistischen) Statistik für die Verhaltensforschung?

Während der Teilnahme an Konferenzen gab es einen gewissen Schub von Befürwortern der Bayes'schen Statistik, um die Ergebnisse von Experimenten zu bewerten. Es gilt als sensibler, angemessener und selektiver in Bezug auf echte Befunde (weniger falsch-positive Befunde) als frequentistische Statistiken.

Ich habe mich etwas mit dem Thema befasst und bin bisher nicht davon überzeugt, welche Vorteile die Verwendung von Bayes-Statistiken bietet. Bayesianische Analysen wurden verwendet, um die forschungsunterstützende Präkognition von Daryl Bem zu widerlegen. Daher bin ich weiterhin vorsichtig, ob Bayesianische Analysen auch für meine eigene Forschung von Nutzen sein könnten.

Deshalb bin ich neugierig auf Folgendes:

Macht in einer Bayesianischen Analyse gegen eine frequentistische Analyse
Anfälligkeit für Fehler vom Typ 1 bei jedem Analysetyp
Der Kompromiss zwischen der Komplexität der Analyse (Bayesian scheint komplizierter zu sein) und den erzielten Vorteilen. Herkömmliche statistische Analysen sind unkompliziert und enthalten gut etablierte Richtlinien, um Schlussfolgerungen zu ziehen. Die Einfachheit könnte als Vorteil angesehen werden. Lohnt es sich aufzugeben?

Vielen Dank für jeden Einblick!

bayesian power frequentist

— ein Stop
quelle

Bayesianische Statistik ist traditionelle Statistik - können Sie ein konkretes Beispiel für das geben, was Sie unter traditioneller Statistik verstehen?

@OphirYoktan: Er spricht über Frequenzwahrscheinlichkeit versus Bayes'sche Wahrscheinlichkeit. Es wird sogar im Titel der Frage erwähnt.

Ich denke, diese Frage sollte hier verschoben werden: stats.stackexchange.com

— Mark Lapierre

Ich habe auf meta eine Frage gestellt, ob dies zum Thema gehören soll.

Ich denke, diese Frage kann möglicherweise eine "gute" oder "richtige" Antwort haben. Wenn zum Beispiel jemand sagen könnte: "Für jeden Frequentistentest mit Typ 1-Fehler und Typ 2-Fehler gibt es einen Bayes-Test mit Typ 1-Fehler und Typ 2-Fehler ", wäre dies eine gute Antwort . Oder so etwas wie "Jeder Frequentist Test ist gleichbedeutend mit einem Bayesian Test mit nicht informativem Prior". Das heißt, dies muss kein religiöser Krieg zwischen Frequentisten und Bayesianern sein. Ich argumentiere nur, weil ich nicht verstehe, wie sich die Antworten auf die spezifischen Fragen im OP beziehen.

α

$\alpha$

β

$\beta$

α

$\alpha$

β - x

$\beta - x$

— SheldonCooper

Antworten:

Eine schnelle Antwort auf den Aufzählungsinhalt:

1) Potenz- / Typ-1-Fehler in einer Bayes-Analyse im Vergleich zu einer Frequentist-Analyse

Fragen zu Typ 1 und Potenz (dh eine minus der Wahrscheinlichkeit eines Fehlers vom Typ 2) implizieren, dass Sie Ihr Inferenzproblem in ein Rahmenwerk für wiederholte Stichproben einfügen können. Können Sie? Wenn Sie nicht können, bleibt Ihnen nicht viel anderes übrig, als sich von den häufig verwendeten Inferenzwerkzeugen zu entfernen. Wenn Sie dies können und wenn das Verhalten Ihres Schätzers in Bezug auf viele solcher Stichproben von Bedeutung ist und wenn Sie nicht besonders daran interessiert sind, Wahrscheinlichkeitsaussagen zu bestimmten Ereignissen zu treffen, gibt es keinen triftigen Grund, umzusteigen.

Das Argument hier ist nicht, dass solche Situationen niemals auftreten - sicherlich nicht -, sondern dass sie typischerweise nicht in den Bereichen auftreten, in denen die Methoden angewendet werden.

2) Der Kompromiss zwischen der Komplexität der Analyse (Bayesian scheint komplizierter zu sein) und den erzielten Vorteilen.

Es ist wichtig zu fragen, wohin die Komplexität geht. Bei häufig durchgeführten Verfahren kann die Implementierung sehr einfach sein, z. B. die Summe der Quadrate minimieren. Die Prinzipien können jedoch beliebig komplex sein und sich in der Regel darauf konzentrieren, welche Schätzer zu wählen sind, wie die richtigen Tests zu finden sind und was wann zu denken ist Sie sind anderer Meinung. Zum Beispiel. Sehen Sie die noch lebhafte Diskussion, die in diesem Forum aufgegriffen wurde, über verschiedene Konfidenzintervalle für einen Teil!

In Bayes'schen Prozeduren kann die Implementierung beliebig komplex sein, selbst in Modellen, die so aussehen, als müssten sie einfach sein, normalerweise aufgrund schwieriger Integrale, aber die Prinzipien sind extrem einfach. Es kommt eher darauf an, wo die Unordnung sein soll.

3) Traditionelle statistische Analysen sind unkompliziert und enthalten gut etablierte Richtlinien, um Schlussfolgerungen zu ziehen.

Persönlich kann ich mich nicht mehr erinnern, aber sicherlich haben meine Schüler diese Informationen nie ohne Weiteres gefunden, hauptsächlich aufgrund der oben beschriebenen prinzipiellen Verbreitung. Die Frage ist aber nicht wirklich, ob ein Verfahren unkompliziert ist, sondern ob es angesichts der Struktur des Problems näher liegt, richtig zu sein.

Schließlich stimme ich überhaupt nicht zu, dass es in beiden Paradigmen "gut etablierte Richtlinien für Schlussfolgerungen" gibt. Und ich denke das ist eine gute Sache. Sicher, "find p <.05" ist eine klare Richtlinie, aber für welches Modell, mit welchen Korrekturen usw.? Und was mache ich, wenn meine Tests nicht übereinstimmen? Wissenschaftliches oder technisches Urteilsvermögen ist hier wie anderswo gefragt.

— Conjugateprior
quelle

Ich bin mir nicht sicher, ob das Nachfragen nach Fehlern vom Typ 1 / Typ 2 etwas über ein Framework für wiederholte Stichproben impliziert. Selbst wenn meine Nullhypothese nicht wiederholt abgetastet werden kann, ist es dennoch sinnvoll, nach der Wahrscheinlichkeit eines Fehlers vom Typ 1 zu fragen. Die Wahrscheinlichkeit liegt in diesem Fall natürlich nicht bei allen möglichen Hypothesen, sondern bei allen möglichen Stichproben aus meiner Einzelhypothese.

— SheldonCooper

Es scheint mir , dass das allgemeine Argument ist folgendes : obwohl macht ein Typ 1 (oder 2) Fehler können für eine ‚One - Shot‘ Inferenz definiert werden (Typ 1 vs 2 ist nur ein Teil einer Typologie der Fehler , die ich machen kann) , es sei denn mein Diesen Fehler zu machen, ist in wiederholten Versuchen verankert. Keiner der Fehlertypen kann eine häufigere Wahrscheinlichkeit haben.

— Conjugateprior

Was ich sage ist, dass ein Fehler vom Typ 1 (oder 2) immer in wiederholten Versuchen enthalten ist. Bei jedem Versuch wird eine Reihe von Beobachtungen aus der Nullhypothese entnommen. Selbst wenn es schwierig ist, sich vorzustellen, eine andere Hypothese zu prüfen, gibt es immer noch wiederholte Versuche, da es leicht vorstellbar ist, eine andere Reihe von Beobachtungen aus derselben Hypothese zu prüfen.

— SheldonCooper

Rätsel ich das: Wie entscheidet man "was ist zufällig?" Angenommen, Sie haben eine Urne, jemand entnimmt "zufällig" der Urne. Angenommen, es ist auch ein "intelligenter Beobachter" vorhanden, der den genauen Inhalt der Urne kennt. Ist die Stichprobe noch "zufällig", obwohl der "intelligente Beobachter" mit Sicherheit genau vorhersagen kann, was gezogen wird? Hat sich an der Urne etwas geändert, wenn sie nicht mehr vorhanden ist?

— Wahrscheinlichkeitslogik

Das Problem, das ich mit der "wiederholten" Natur von Frequentisten habe, ist, dass die Arbeitsbedingungen gleich bleiben müssen, um zu arbeiten. Wenn die Bedingungen jedoch unverändert bleiben, sollten Sie in der Lage sein, Ihre Datensätze zusammenzufassen und eine bessere Schätzung zu erhalten. Der Frequentist ignoriert die vergangenen Informationen genau dann, wenn es angemessen ist, sie zu berücksichtigen.

— Wahrscheinlichkeitslogik

Die Bayes'schen Statistiken können aus einigen logischen Prinzipien abgeleitet werden. Wenn Sie nach "Wahrscheinlichkeit als erweiterte Logik" suchen, werden Sie eine eingehendere Analyse der Grundlagen finden. Grundsätzlich beruht die Bayes'sche Statistik jedoch auf drei grundlegenden "Desiderata" oder normativen Prinzipien:

Die Plausibilität eines Satzes soll durch eine einzige reelle Zahl dargestellt werden
$p(A|C^{(0)})$ $C^{(0)}\rightarrow C^{(1)}$ $p(A|C^{(1)})>p(A|C^{(0)})$ $p(B|A C^{(0)})=p(B|AC^{(1)})$ $p(AB| C^{(0)})\leq p(AB|C^{(1)})$ $p(\overline{A}|C^{(1)})<p(\overline{A}|C^{(0)})$
Die Plausibilität eines Satzes ist konsequent zu berechnen . Dies bedeutet: a) Wenn eine Plausibilität auf mehr als eine Weise begründet werden kann, müssen alle Antworten gleich sein. b) In zwei Fällen, in denen uns dieselben Informationen präsentiert werden, müssen wir dieselben Plausibilitäten zuweisen. und c) wir müssen alle verfügbaren Informationen berücksichtigen. Wir dürfen keine Informationen hinzufügen, die nicht vorhanden sind, und wir dürfen Informationen, die wir haben, nicht ignorieren.

Diese drei Desiderata bestimmen (zusammen mit den Regeln der Logik und der Mengenlehre) eindeutig die Summen- und Produktregeln der Wahrscheinlichkeitstheorie. Wenn Sie also nach den obigen drei Desideraten argumentieren möchten, müssen Sie einen bayesianischen Ansatz wählen. Sie müssen nicht die "Bayes'sche Philosophie" übernehmen, sondern die numerischen Ergebnisse. Die ersten drei Kapitel dieses Buches beschreiben diese detaillierter und liefern den Beweis.

Und nicht zuletzt ist der "Bayes'sche Maschinenpark" das leistungsstärkste Datenverarbeitungswerkzeug, das Sie haben. Dies liegt hauptsächlich an den Desideraten 3c), die alle Informationen verwenden, die Sie haben (dies erklärt auch, warum Bayes komplizierter sein kann als Nicht-Bayes). Es kann ziemlich schwierig sein, anhand Ihrer Intuition zu entscheiden, was relevant ist. Bayes-Theorem tut dies für Sie (und es tut es, ohne willkürliche Annahmen hinzuzufügen, auch aufgrund von 3c).

$H_0$ $H_1$ $L_1$ $H_0$ $L_2$ $H_0$

$P(H_0|E_1,E_2,\dots)$ $E_i$
$P(H_1|E_1,E_2,\dots)$
$O=\frac{P(H_0|E_1,E_2,\dots)}{P(H_1|E_1,E_2,\dots)}$
$H_0$ $O > \frac{L_2}{L_1}$

$H_0$ $O>>1$ $H_1$ $O<<1$ $O\approx 1$

Wenn die Berechnung nun "zu schwer" wird, müssen Sie entweder die Zahlen approximieren oder einige Informationen ignorieren.

Ein aktuelles Beispiel mit ausgearbeiteten Zahlen finden Sie in meiner Antwort auf diese Frage

— Wahrscheinlichkeitslogik
quelle

Ich bin nicht sicher, wie dies die Frage beantwortet. Frequentisten stimmen natürlich nicht mit Desiderat 1 aus dieser Liste überein, so dass der Rest des Arguments nicht für sie gilt. Es beantwortet auch keine der spezifischen Fragen im OP, wie "Ist die Bayes'sche Analyse leistungsfähiger oder weniger fehleranfällig als eine frequentistische Analyse?".

— SheldonCooper

@sheldoncooper - Wenn ein Frequentist mit Desideratum 1 nicht einverstanden ist, auf welcher Basis können sie dann ein 95% -Konfidenzintervall erstellen? Sie müssen eine zusätzliche Nummer benötigen.

— Wahrscheinlichkeitsrechnung

@sheldoncooper - und außerdem müssten Stichprobenwahrscheinlichkeiten neu definiert werden, da auch sie nur eine Zahl sind. Ein frequentistischen kann nicht ablehnen Desiderat 1 ohne ihre eigene Theorie zurückgewiesen

— probabilityislogic

p (H_{1} | . . .)

$p(H_1|...)$

p (E_{1}, E_{2}, . . . | H_{0})

$p(E_1, E_2, ... | H_0)$

H_{0}

$H_0$

"sie können Desiderat 1 nicht ablehnen, ohne ihre eigene Theorie abzulehnen" - was meinst du damit? Frequentisten haben keine Vorstellung von "Plausibilität". Sie haben den Begriff "Häufigkeit des Auftretens in wiederholten Versuchen". Diese Frequenz erfüllt Bedingungen, die Ihren drei Desideraten ähnlich sind, und folgt daher zufällig ähnlichen Regeln. Somit können Sie für alles, für das der Begriff der Frequenz definiert ist, problemlos Wahrscheinlichkeitsgesetze anwenden.

— SheldonCooper

Ich bin nicht mit der Bayesianischen Statistik vertraut, aber ich weiß, dass der Skeptics Guide to the Universe Episode 294 ein Interview mit Eric-Jan Wagenmakers hat, in dem Bayesianische Statistik besprochen wird. Hier ist ein Link zum Podcast: http://www.theskepticsguide.org/archive/podcastinfo.aspx?mid=1&pid=294