Würde ein Bayesianer zugeben, dass es einen festen Parameterwert gibt?

In der Bayes'schen Datenanalyse werden Parameter als Zufallsvariablen behandelt. Dies ergibt sich aus der Bayes'schen subjektiven Konzeptualisierung der Wahrscheinlichkeit. Aber erkennen Bayesianer theoretisch an, dass es in der "realen Welt" einen echten festen Parameterwert gibt?

Die offensichtliche Antwort scheint "Ja" zu sein, denn dann wäre es fast unsinnig, den Parameter zu schätzen. Ein akademisches Zitat für diese Antwort wäre sehr dankbar.

IMHO "ja"! Hier ist eines meiner Lieblingszitate von Grönland (2006: 767):

Es wird oft (fälschlicherweise) gesagt, dass "Parameter vom Frequentisten als fest, aber vom Bayes'schen als zufällig behandelt werden". Für Frequentisten und Bayesianer kann der Wert eines Parameters von Anfang an festgelegt oder durch einen physikalisch zufälligen Mechanismus erzeugt worden sein. In beiden Fällen nehmen beide an, dass es einen festen Wert angenommen hat, den wir gerne wissen würden. Der Bayesianer verwendet formale Wahrscheinlichkeitsmodelle, um die persönliche Unsicherheit über diesen Wert auszudrücken. Die 'Zufälligkeit' in diesen Modellen repräsentiert die persönliche Unsicherheit über den Wert des Parameters; Es ist keine Eigenschaft des Parameters (obwohl wir hoffen sollten, dass es genau die Eigenschaften der Mechanismen widerspiegelt, die den Parameter erzeugt haben).

Greenland, S. (2006). Bayesianische Perspektiven für die epidemiologische Forschung: I. Grundlagen und grundlegende Methoden. International Journal of Epidemiology , 35 (3), 765–774.

Die Bayes'sche Wahrscheinlichkeitsauffassung ist nicht unbedingt subjektiv (vgl. Jaynes). Der wichtige Unterschied besteht darin, dass der Bayesianer versucht, seinen Kenntnisstand über den Wert des Parameters zu ermitteln, indem er eine vorherige Verteilung auf ihren plausiblen Wert mit der Wahrscheinlichkeit kombiniert, mit der die in einigen Beobachtungen enthaltenen Informationen zusammengefasst werden. Daher würde ich als Bayesianer sagen, dass ich mit der Vorstellung zufrieden bin, dass der Parameter einen wahren Wert hat, der nicht genau bekannt ist, und dass der Zweck einer posterioren Verteilung darin besteht, zusammenzufassen, was ich über seine plausiblen Werte weiß. basierend auf meinen vorherigen Annahmen und den Beobachtungen.

Wenn ich jetzt ein Modell mache, ist das Modell nicht Realität. In einigen Fällen existiert der fragliche Parameter in der Realität (z. B. das Durchschnittsgewicht eines Wombats) und in einigen Fragen nicht (z. B. der wahre Wert eines Regressionsparameters) - das Regressionsmodell ist nur ein Modell des Ergebnisses von die physikalischen Gesetze, die das System steuern und die vom Regressionsmodell möglicherweise nicht vollständig erfasst werden. Zu sagen, dass es in der realen Welt einen echten festen Parameterwert gibt, ist nicht unbedingt wahr.

Auf der anderen Seite würde ich vorschlagen, dass die meisten Frequentisten sagen, dass es einen wahren Wert für die Statistik gibt, aber sie wissen auch nicht, was es ist, aber sie haben Schätzer dafür und Konfidenzintervalle für ihre Schätzungen, die (in gewissem Sinne) ) quantifiziert ihre Unsicherheit in Bezug auf die Plausibilität verschiedener Werte (aber die häufig vorkommende Auffassung einer Wahrscheinlichkeit hindert sie daran, dies als direkt auszudrücken).

Zu Ihrer Hauptsache schreibt Gelman in Bayesian Data Analysis (3rd ed., 93) ebenfalls

Aus der Perspektive der Bayes'schen Datenanalyse können wir klassische Punktschätzungen oft als genaue oder ungefähre hintere Zusammenfassungen interpretieren, die auf einem impliziten Vollwahrscheinlichkeitsmodell basieren. Tatsächlich können wir an der Grenze des großen Stichprobenumfangs eine asymptotische Theorie verwenden, um eine theoretische Bayes'sche Rechtfertigung für die klassische Maximum-Likelihood-Inferenz zu konstruieren.

Vielleicht sollten also nicht die Bayesianer "zugeben", dass es in Wahrheit einzelne reale Parameterwerte gibt, sondern die Frequentisten, die sich an die Bayesianische Statistik wenden sollten, um ihre Schätzverfahren zu rechtfertigen! (Ich sage das mit fester Zunge auf der Wange.)

$\Pr(\theta|y)$

Die Vorstellung, dass es einzelne Parameter in der Natur oder in sozialen Systemen gibt, ist jedoch nur eine vereinfachende Annahme. Es mag einige aufwändige Prozesse geben, die zu beobachtbaren Ergebnissen führen, aber es ist unglaublich kompliziert, dieses System zu entdecken. Angenommen, es gibt einen einzigen festen Parameterwert, vereinfacht das Problem dramatisch. Ich denke, das bringt den Kern Ihrer Frage auf den Punkt: Die Bayesianer sollten nicht mehr zugeben müssen, dass sie diese Vereinfachung vorgenommen haben, als dies die Frequentisten tun sollten.

Glauben Sie, dass es einen einzigen "echten festen Parameter" gibt, der so etwas wie den Beitrag des Milchtrinkens zum Wachstum eines Kindes ausmacht? Oder für die Verringerung der Größe eines Tumors basierend auf der Menge an chemischem X, die Sie in den Körper eines Patienten injizieren? Wählen Sie ein Modell aus, mit dem Sie vertraut sind, und fragen Sie sich, ob Sie tatsächlich glauben, dass es für jeden Parameter einen wahren, universellen, präzisen und festen Wert gibt, auch theoretisch.

Ignorieren Sie Messfehler, schauen Sie sich einfach Ihr Modell an, als ob alle Messungen perfekt genau und unendlich genau wären. Glauben Sie, dass in Anbetracht Ihres Modells jeder Parameter realistisch einen bestimmten Punktwert hat?

Die Tatsache, dass Sie ein Modell haben, zeigt an, dass Sie einige Details auslassen. Ihr Modell weist eine gewisse Ungenauigkeit auf, da Sie den Durchschnitt über die Parameter / Variablen bilden, die Sie ausgelassen haben, um ein Modell zu erstellen - eine vereinfachte Darstellung der Realität. (So ​​wie Sie keine 1: 1-Karte des Planeten mit allen Details erstellen, sondern eine 1: 10000000-Karte oder eine solche Vereinfachung. Die Karte ist ein Modell.)

Da Sie den Durchschnitt über die ausgelassenen Variablen berechnen, handelt es sich bei den Parametern für die Variablen, die Sie in Ihr Modell aufnehmen, um Verteilungen und nicht um Punktwerte.

Das ist nur ein Teil der Bayes'schen Philosophie - ich ignoriere theoretische Unsicherheit, Messunsicherheit, Prioritäten usw. - aber es scheint mir, dass die Vorstellung, dass Ihre Parameter Verteilungen haben, intuitiv sinnvoll ist, genauso wie deskriptive Statistiken eine haben Verteilung.

Aber erkennen Bayesianer theoretisch an, dass es in der "realen Welt" einen echten festen Parameterwert gibt?

Meiner Meinung nach lautet die Antwort ja. Es gibt einen unbekannten Wert des Parameters und die vorherige Verteilung beschreibt unser Wissen / unsere Unsicherheit darüber. In der Bayes'schen mathematischen Modellierung wird als die Realisierung einer Zufallsvariablen nach der vorherigen Verteilung betrachtet.θ $\theta_0$$\theta_0$

Wenn wir den Bayesianismus mit einem deterministischen Universum verbinden (bevor Sie irgendetwas mit dem Wort "Quanten" sagen, scherzen Sie mich und erinnern Sie sich, dass dies nicht Physik.StackExchange ist), erhalten wir einige interessante Ergebnisse.

Ausdrücken unserer Annahmen:

1. Wir haben einen Bayes-Agenten, der Teil eines deterministischen Universums ist und dieses beobachtet.
2. Der Agent verfügt nur über begrenzte Rechenressourcen.

Das deterministische Universum kann eines sein, in dem Atome kleine Newtonsche Billardkugeln sind. Es kann völlig unquant sein. Sagen wir es ist.

Der Agent wirft jetzt eine faire Münze. Denken Sie eine Sekunde darüber nach, was eine gerechte Münze in einem deterministischen Universum ausmacht. Eine Münze mit einem Wahrscheinlichkeitsverhältnis von 50/50?

Aber es ist deterministisch! Mit genügend Rechenleistung können Sie genau berechnen, wie die Münze landen wird, indem Sie ein Modell einer Münze simulieren, die auf die gleiche Weise geworfen wird.

In einem deterministischen Universum wäre eine schöne Münze eine Metallscheibe mit einheitlicher Dichte. Keine Kraft zwingt es, mehr Zeit mit dem einen Gesicht nach unten als mit dem anderen zu verbringen (denken Sie darüber nach, wie gewichtet Würfel funktionieren).

Der Agent wirft also eine faire Münze. Der Agent ist jedoch nicht mächtig genug. Es hat nicht scharf genug Augen, um zu messen, wie sich die Münze dreht, wenn sie geworfen wird, es sieht aber eine Unschärfe.

Und so heißt es: "Diese Münze wird mit einer Wahrscheinlichkeit von 50% einen Kopf landen." Mangel an Informationen führt zu Wahrscheinlichkeiten.

Wir können uns den Phasenraum ansehen, in dem eine Münze geworfen wird. Ein großes mehrdimensionales Koordinatensystem mit Achsen für Wurfrichtung, Wurfkraft, Münzdrehzahl, Geschwindigkeit und Windrichtung und so weiter. Ein einzelner Punkt in diesem Bereich entspricht einem einzelnen möglichen Münzwurf.

Wenn wir den Agenten von früher bitten, das Koordinatensystem mit einem Graustufengradienten zu färben, der der Zuweisung der Wahrscheinlichkeit von Köpfen für jeden gegebenen Wurf durch den Agenten entspricht, färbt er allesamt in einem einheitlichen Grauton.

Wenn wir ihm nach und nach leistungsfähigere interne Computer geben, mit denen die Wahrscheinlichkeiten von Köpfen berechnet werden können, wird es in der Lage sein, immer mehr anspruchsvolle Farbtöne zu erzeugen. Wenn wir ihm endlich den leistungsstärksten internen Computer geben und ihn allwissend machen, wird er effektiv ein seltsames Schachbrett malen.

Faire Münzen bestehen nicht aus Wahrscheinlichkeiten, sie bestehen aus Metall. Wahrscheinlichkeiten existieren nur in Rechenstrukturen. Das sagt der Bayesianer.

Es gibt unangemessene Prioritäten, zum Beispiel Jeffreys, die eine gewisse Beziehung zur Fishers Information Matrix haben. Dann ist es nicht subjektiv.