Gibt es mehr als Bayesianismus?

Als Student der Physik habe ich die Vorlesung "Warum ich ein Bayesianer bin" vielleicht ein halbes Dutzend Mal erlebt. Es ist immer dasselbe - der Moderator erklärt selbstgefällig, dass die Bayes'sche Interpretation der von den Massen angeblich verwendeten frequentistischen Interpretation überlegen ist. Sie erwähnen Bayes-Herrschaft, Marginalisierung, Priors und Posteriors.

Was ist die wahre Geschichte?

Gibt es einen legitimen Bereich für die Anwendbarkeit von Frequentist-Statistiken? (Sicherlich muss ein Würfel, der viele Male abgetastet oder gewürfelt wird, zutreffen?)

Gibt es nützliche probabilistische Philosophien jenseits von "Bayesian" und "Frequentist"?

Die Bayes'sche Wahrscheinlichkeitsinterpretation reicht für die Praxis aus. Aber selbst bei einer Bayes'schen Interpretation der Wahrscheinlichkeit ist Statistik mehr als Wahrscheinlichkeit , denn die Grundlage der Statistik ist die Entscheidungstheorie, und die Entscheidungstheorie erfordert nicht nur eine Klasse von Wahrscheinlichkeitsmodellen, sondern auch die Angabe eines Optimalitätskriteriums für eine Entscheidungsregel. Unter Bayes-Kriterien können die optimalen Entscheidungsregeln durch die Bayes-Regel erhalten werden; Viele frequentistische Methoden sind jedoch unter Minimax- und anderen Entscheidungskriterien gerechtfertigt.

"Bayesian" und "frequentist" sind keine "probabilistischen Philosophien". Sie sind Schulen des statistischen Denkens und der statistischen Praxis, die sich hauptsächlich mit der Quantifizierung von Unsicherheiten und dem Treffen von Entscheidungen befassen, obwohl sie häufig mit bestimmten Interpretationen von Wahrscheinlichkeiten verbunden sind. Die wahrscheinlich häufigste, wenn auch unvollständige Wahrnehmung ist die der Wahrscheinlichkeit als subjektive Quantifizierung des Glaubens gegenüber Wahrscheinlichkeiten als langfristige Häufigkeiten. Aber auch diese schließen sich nicht wirklich aus. Und Sie mögen sich dessen nicht bewusst sein, aber es gibt bekannte Bayesianer, die sich in bestimmten philosophischen Fragen über die Wahrscheinlichkeit nicht einig sind.

Bayesianische und frequentistische Statistiken sind ebenfalls nicht orthogonal. Es scheint, als ob "frequentist" "nicht bayesianisch" bedeutet, aber das ist falsch. Zum Beispiel ist es durchaus sinnvoll, Fragen zu den Eigenschaften von Bayes'schen Schätzern und Konfidenzintervallen bei wiederholten Stichproben zu stellen. Es ist eine falsche Dichotomie, die zumindest teilweise durch das Fehlen einer gemeinsamen Definition der Begriffe Bayesian und Frequentist untermauert wird (wir Statistiker haben nur uns selbst dafür verantwortlich zu machen).

Für eine amüsante, gezielte und nachdenkliche Diskussion würde ich Gelmans "Einwände gegen die Bayes'sche Statistik", die Kommentare und die Gegenerwiderung vorschlagen, die hier verfügbar sind:

http://ba.stat.cmu.edu/vol03is03.php

Es gibt sogar einige Diskussionen über Konfidenzintervalle in der Physik IIRC. Für eingehendere Diskussionen können Sie die darin enthaltenen Referenzen durchgehen. Wenn Sie die Prinzipien hinter der Bayes'schen Folgerung verstehen wollen, würde ich das Buch von Bernando & Smith vorschlagen, aber es gibt viele, viele andere gute Referenzen.

Schauen Sie sich diesen Artikel von Cosma Shalizi und Andrew Gelman über Philosophie und Bayesianismus an. Gelman ist ein prominenter Bayesianer und Shalizi ein Frequentist!

Schauen Sie sich auch diese kurze Kritik von Shalizi an, in der er auf die Notwendigkeit der Modellprüfung hinweist und das niederländische Buchargument verspottet, das von einigen Bayesianern verwendet wird.

Und zu guter Letzt denke ich, dass Ihnen als Physiker dieser Text gefallen könnte , in dem der Autor auf die „rechnergestützte Lerntheorie“ (die ich offen gesagt überhaupt nicht kenne) verweist, die eine Alternative zum Bayesianismus sein könnte , soweit ich es verstehen kann (nicht viel).

ps .: Wenn Sie den Links folgen, insbesondere dem letzten, und eine Meinung zum Text haben (und zu den Diskussionen, die auf den Text im Blog des Autors folgten )

ps.2: Meine eigene Meinung dazu: Vergessen Sie das Problem der objektiven vs. subjektiven Wahrscheinlichkeit, das Wahrscheinlichkeitsprinzip und das Argument der Notwendigkeit, kohärent zu sein. Bayesianische Methoden sind gut, wenn sie es Ihnen ermöglichen, Ihr Problem gut zu modellieren (z. B. mit einer unimodalen posterioren Methode, wenn eine bimodale Wahrscheinlichkeit besteht usw.), und dasselbe gilt für frequentistische Methoden. Vergessen Sie auch das Zeug über die Probleme mit p-Wert. Ich meine, p-Wert ist scheiße, aber am Ende sind sie ein Maß für Unsicherheit, ganz im Sinne von Fisher.

Für mich ist das Wichtige am Bayesianismus, dass er die Wahrscheinlichkeit als dieselbe Bedeutung ansieht, die wir im täglichen Leben intuitiv anwenden, nämlich den Grad der Plausibilität der Wahrheit eines Satzes. Nur sehr wenige von uns verwenden die Wahrscheinlichkeit, um eine langfristige Frequenz im täglichen Gebrauch genau zu bezeichnen, schon deshalb, weil wir oft an bestimmten Ereignissen interessiert sind, die keine langfristige Frequenz haben, zum Beispiel, mit welcher Wahrscheinlichkeit fossile Brennstoffe einen signifikanten Klimawandel verursachen ? Aus diesem Grund ist die Bayes'sche Statistik weitaus weniger fehleranfällig als die frequentistische Statistik.

Der Bayesianismus hat auch Marginalisierung, Prioritäten, Maxenzen, Transformationsgruppen usw., die alle ihren Nutzen haben, aber für mich ist der Hauptvorteil, dass die Definition der Wahrscheinlichkeit besser für die Art von Problemen geeignet ist, die ich ansprechen möchte.

Das macht bayesianische Statistiken nicht besser als frequentistische Statistiken. Es scheint mir, dass Frequentist-Statistiken gut für Probleme bei der Qualitätskontrolle geeignet sind (bei denen Sie wiederholt Stichproben aus Populationen entnehmen) oder bei denen Sie Experimente entworfen haben, anstatt vorab gesammelte Daten zu analysieren (obwohl dies eher außerhalb meines Fachwissens liegt) es ist nur eine Intuition).

Als Ingenieur handelt es sich um "Pferde für Kurse", und ich habe beide Werkzeugsätze in meinem Werkzeugkasten und verwende beide regelmäßig.

Es gibt nicht-Bayes'sche Systeme oder Wahrscheinlichkeitsphilosophien - Baconian & Pascalian, zB Wenn Sie sich für Erkenntnistheorie & Wissenschaftsphilosophie interessieren, werden Sie vielleicht die Debatten genießen - andernfalls werden Sie den Kopf schütteln und daraus schließen, dass die Bayes'sche Interpretation tatsächlich ist alles da ist.

Für gute Gespräche

• Cohen, LJ Eine Einführung in die Philosophie von Induktion und Wahrscheinlichkeit (Clarendon Press; Oxford University Press, Oxford New York, 1989)
• Schum, DA Die offensichtlichen Grundlagen des probabilistischen Denkens (Wiley, New York, 1994).