Was ist / sind die impliziten Prioritäten in der frequentistischen Statistik?

Ich habe die Vorstellung gehört, dass Jaynes behauptet, Frequentisten würden mit einem "impliziten Prior" operieren.

Was ist oder sind diese impliziten Prioritäten? Bedeutet dies, dass frequentistische Modelle alle Sonderfälle von Bayes'schen Modellen sind, die darauf warten, gefunden zu werden?

In der frequentistischen Entscheidungstheorie gibt es vollständige Klassenergebnisse , die zulässige Prozeduren als Bayes-Prozeduren oder als Grenzen von Bayes-Prozeduren charakterisieren . Zum Beispiel sagt Stein notwendige und ausreichende Bedingung (Stein. 1955; Farrell, 1968b), dass unter den folgenden Annahmen

1. die Probendichte ist kontinuierlich in und strikt positiv auf ; undθ $f(x|\theta)$$\theta$$\Theta$
2. die Verlustfunktion ist streng konvex, stetig und, wenn kompakt ist,$L$$E\subset\Theta$ $$\lim_{\|\delta\|\rightarrow +\infty} \inf_{\theta\in E}L(\theta,\delta) =+\infty.$$

ein Schätzer ist zulässig, wenn und nur wenn es existiert$\delta$

• eine Folge zunehmender kompakter Mengen, so dass ,$(F_n)$$\Theta=\bigcup_n F_n$
• eine Folge endlicher Maße mit Unterstützung und$(\pi_n)$$F_n$

• eine Sequenz von Bayes-Schätzern, die mit assoziiert sind, so dass$(\delta_n)$$\pi_n$

  1. es existiert eine kompakte Menge so dass$E_0\subset \Theta$$\inf_n \pi_n(E_0) \ge 1$
  2. wenn kompakt ist, ist$E\subset \Theta$$\sup_n \pi_n(E) <+\infty$
  3. $\lim_n r(\pi_n,\delta)-r(\pi_n) = 0$ und
  4. $\lim_n R(\theta,\delta_n)= R(\theta,\delta)$ .

[nach meinem Buch, Bayesian Choice , Theorem 8.3.0, S.407]

In diesem eingeschränkten Sinne ist die häufig auftretende Eigenschaft der Zulässigkeit mit einem Bayes'schen Hintergrund versehen, wodurch jedem zulässigen Schätzer ein implizites Prior (oder eine Sequenz davon) zugeordnet wird.

Nebenbemerkung: In einem traurigen Zufall starb Charles Stein am 25. November in Palo Alto, Kalifornien. Er war 96 Jahre alt.

Es gibt ein ähnliches (wenn mathematisch beteiligt) Ergebnis für invariant oder äquivariante Schätzungs, nämlich , daß die der beste äquivariante Schätzer ist eine Bayes - Schätzeinrichtung für jede transitive Gruppe auf einem statistisches Modell handeln, die mit der rechten Haar Maßnahme , induzierte on von dieser Gruppe und der entsprechende invariante Verlust. Siehe Pitman (1939), Stein (1964) oder Zidek (1969) für die beteiligten Details. Dies ist höchstwahrscheinlich das, was Jaynes im Sinn hatte, als er mit Nachdruck über die Auflösung der Marginalisierungsparadoxien durch Invarianzprinzipien argumentierte .$\pi^*$$\Theta$

Darüber hinaus ist, wie in der Antwort von civilstat ausgeführt , ein weiterer häufig verwendeter Optimalitätsbegriff, nämlich die Minimaxität, ebenfalls mit Bayes'schen Verfahren verbunden, da das Minimax-Verfahren, das den maximalen Fehler (über den Parameterraum) minimiert, häufig das Maximin-Verfahren ist, das den minimalen Fehler maximiert ( über alle früheren Distributionen), ist daher eine Bayes-Prozedur oder ein Limit von Bayes-Prozeduren.

F .: Kann ich meine bayesianische Intuition mithilfe eines kernigen Imbisses auf frequentistische Modelle übertragen?

Zunächst würde ich vermeiden, den Begriff "frequentistisches Modell" zu verwenden, da es Stichprobenmodelle (die Daten sind eine Realisierung von für einen Parameterwert )$x$$X\sim f(x|\theta)$$\theta$ und frequentistische Verfahren (bester unverzerrter Schätzer, Minimum) gibt Varianz-Konfidenzintervall & tc.)Zweitens sehe ich keinen zwingenden methodischen oder theoretischen Grund dafür, frequentistische Methoden als grenzwertig oder einschränkend für Bayes'sche Methoden zu betrachten. Die Rechtfertigung für ein häufig vorkommendes Verfahren besteht darin, eine gewisse Optimalitätseigenschaft im Abtastraum zu erfüllen, dh wenn die Beobachtungen wiederholt werden. Die primäre Rechtfertigung für Bayes'sche Verfahren besteht darin, [unter einem bestimmten Kriterium oder einer bestimmten Verlustfunktion] bei einer vorherigen Verteilung und einer Realisierung aus dem Stichprobenmodell optimal zu sein. Manchmal erfüllt die resultierende Prozedur eine häufig vorkommende Eigenschaft (die zu % glaubwürdige Region ist eine zu % vertrauenswürdige Region)$95$$95$ , dies ist jedoch der Fall, weil diese Optimalität nicht auf alle mit dem Bayes'schen Modell verbundenen Prozeduren übertragen wird.

@ Xi'an Antwort ist vollständiger. Aber da Sie auch nach einem kernigen Mitnehmer gefragt haben, ist hier einer. (Die Konzepte, die ich erwähne, stimmen nicht genau mit den obigen Zulässigkeitseinstellungen überein.)

Häufig (aber nicht immer) verwenden Schätzer, die "Minimax" sind: Wenn ich schätzen möchte, sollte das schlechteste Risiko meines Schätzers besser sein als das schlechteste Risiko jedes anderen Schätzers . Es stellt sich heraus, dass MLEs häufig (ungefähr) Minimax sind. Details finden Sie zB hier oder hier .$\theta$$\hat{\theta}$

Um den Minimax - Schätzer für ein Problem zu finden, ist ein Weg , Bayesian für einen Moment zu denken und das „ungünstigste vor“ finden . Dies ist der Prior, dessen Bayes-Schätzer ein höheres durchschnittliches Risiko aufweist als der Bayes-Schätzer eines anderen Prior. Wenn Sie es finden können, stellt sich heraus, dass Bayes-Schätzer der Minimax ist.$\pi$$\pi$

In diesem Sinne könnte man mit Bedacht sagen: Ein (Minimax-verwendender) Frequentist ist wie ein Bayesianer, der einen ungünstigen Prior gewählt hat.

Vielleicht könnten Sie dies so ausdehnen, um zu sagen: Ein solcher Frequentist ist ein konservativer Bayesianer, der keine subjektiven oder gar nicht informativen, sondern (in diesem speziellen Sinne) Worst-Case-Priors auswählt.

Schließlich ist es, wie andere gesagt haben, schwierig, Frequentisten und Bayesianer auf diese Weise zu vergleichen. Ist ein frequentistischen Sein nicht unbedingt bedeuten , dass Sie verwenden einen bestimmten Schätzer. Dies bedeutet lediglich, dass Sie Fragen zu den Stichproben-Eigenschaften Ihres Schätzers stellen, wobei diese Fragen nicht die höchste Priorität von Bayesian haben. (Jeder Bayesianer, der auf gute Sampling-Eigenschaften hofft, z. B. "kalibrierte Bayes", ist auch ein Frequentist.)
Auch wenn Sie einen Frequentisten als einen definieren, dessen Schätzer immer optimale Sampling-Eigenschaften haben, gibt es viele solcher Eigenschaften, und Sie können es nicht immer treffe sie alle auf einmal. Daher ist es schwierig, allgemein von "allen Frequentist-Modellen" zu sprechen.