Beispiel dafür, wie die Bayes'sche Statistik Parameter schätzen kann, deren Schätzung mit frequentistischen Methoden sehr schwierig ist

Bayesianische Statistiker behaupten, dass "Bayesianische Statistiken Parameter schätzen können, deren Schätzung mit frequentistischen Methoden sehr schwierig ist". Sagt das folgende Zitat aus dieser SAS-Dokumentation dasselbe?

Es liefert Schlussfolgerungen, die von den Daten abhängig und genau sind, ohne auf asymptotische Approximation angewiesen zu sein. Die Inferenz kleiner Stichproben verläuft auf die gleiche Weise, als hätte man eine große Stichprobe. Die Bayes'sche Analyse kann auch alle Funktionen von Parametern direkt schätzen, ohne die "Plug-in" -Methode zu verwenden (eine Möglichkeit, Funktionen durch Einstecken der geschätzten Parameter in die Funktionen zu schätzen).

Ich habe eine ähnliche Aussage in einem Lehrbuch gesehen, erinnere mich aber nicht, wo. Kann mir bitte jemand dies anhand eines Beispiels erklären?

— Stat-R
quelle

Wie hoch ist die Wahrscheinlichkeit, dass die Sonne morgen aufgeht? en.wikipedia.org/wiki/Sunrise_problem Dieses Beispiel könnte trivialer sein, als Sie es sich erhofft hatten

— Hugh

Können Sie das Zitat direkt in Ihre Frage einfügen? Der Titel scheint nichts mit dem zweiten Aufzählungspunkt zu tun zu haben.

— Hugh

Die Aussage in diesem Zitat ist insofern nicht großartig, als (a) "genau" dort nichts bedeutet und (b) die Plug-in-Kritik nur gilt, wenn man die vollständige hintere und nicht eine andere Schätzung berücksichtigt, plus abhängig von der gewählten Verlustfunktion für die Schätzung. In dieser anderen Frage finden Sie einige Antworten .

— Xi'an

Ich habe Einwände gegen dieses Zitat:

$\theta$ $\theta$
$\pi(\theta|\mathfrak{D})$ $\pi(\theta|\mathfrak{D})$ $\pi(\theta)$ $\theta$ Wahrscheinlichkeitsaussagen nur innerhalb des Rahmens, der durch das Paar vor x Wahrscheinlichkeit bereitgestellt wird . Das Ändern eines Terms im Paar ändert den posterioren und den Inferenzwert, während es kein generisches Argument für die Verteidigung eines einzelnen Prior oder einer einzelnen Wahrscheinlichkeit gibt.
In ähnlicher Weise haben andere Wahrscheinlichkeitsaussagen wie „Der wahre Parameter hat eine Wahrscheinlichkeit von 0,95, in ein zu 95% glaubwürdiges Intervall zu fallen“ auf derselben Seite dieser SAS-Dokumentation eine Bedeutung in Bezug auf den Rahmen der posterioren Verteilung, jedoch nicht in absoluten Werten.
$f (x | θ) = \int g (x, z | θ) d z$ $f(x|\theta)=\int g(x,z|\theta)\,\text{d}z$ $g(x,z|\theta)$ $(X,Z)$ $Z$ $\theta$ $(\theta,\mathfrak{Z})$ , wo die Entwicklung von Populationen von einem gemeinsamen Vorfahren latente Ereignisse auf binären Bäumen beinhaltet. Dieses Modell kann durch [ungefähre] Bayes'sche Inferenz durch einen Algorithmus namens ABC behandelt werden, obwohl es auch nicht-Bayes'sche Softwareauflösungen gibt .
Selbst in solchen Fällen denke ich jedoch nicht, dass die Bayes'sche Folgerung die einzig mögliche Lösung ist. Maschinelles Lernen wie neuronale Netze, zufällige Wälder und tiefes Lernen können als häufig verwendete Methoden eingestuft werden, da sie durch Kreuzvalidierung an einer Stichprobe trainieren und so einen Fehler oder ein Entfernungskriterium minimieren, das als Erwartung angesehen werden kann [unter dem wahren Modell]. angenähert durch einen Stichprobenmittelwert. Zum Beispiel kann das Koaleszenzmodell von Kingman auch von nicht-Bayes'schen Softwareauflösungen verarbeitet werden .
$\mathfrak{h}(\theta)$ $\mathfrak{h}(\hat\theta)$ $\theta$

— Xi'an
quelle

Die Antwort ist soweit gut. Ich lehne Punkt 5 ab, da er den ML-Methoden eine überlegene Leistung zuschreibt, die theoretisch noch nicht gerechtfertigt ist. Auch was bedeutet "... wahres Modell ..." überhaupt? Zweifellos sind diese Methoden beliebt, aber diese Popularität wird typischerweise durch ihre Fähigkeit "skaliert" gerechtfertigt. Leider gehen viele der diagnostischen Erkenntnisse, die nicht-ML Bayesianische und frequentistische Methoden bieten, verloren, wenn solche Ansätze verwendet werden. Insbesondere kann eine Kreuzvalidierung höhere Fehlerraten als andere Techniken ergeben. Siehe Efron, 1983, 1986, JASA.

— Jan Galkowski

Vielen Dank. Eigentlich versorge ich ML-Methoden nicht mit "überlegenen" Kräften, sondern erwähne einfach, dass einige ML-Antworten für komplexe Modelle vorgeschlagen werden können. Und mit "wahren Modellen" meine ich die Bewertung der Leistung einer Methode unter der Annahme (fälschlicherweise), dass die Daten von diesem Modell erzeugt werden. Welches ist ein Defekt der meisten statistischen Analysen imo.

— Xi'an