Das Bayes-Risiko verstehen

9

Bei der Bewertung eines Schätzers sind die beiden wahrscheinlich am häufigsten verwendeten Kriterien das maximale Risiko und das Bayes-Risiko. Meine Frage bezieht sich auf die letztere:

Das Bayes-Risiko unter dem vorherigen ist wie folgt definiert: $\pi$

B_{π} (\hat{θ}) = \int R (θ, \hat{θ}) π (θ) d θ

$B_{\pi} (\hat{\theta}) = \int R(\theta, \hat{\theta} ) \pi ( \theta ) d \theta$

Ich verstehe nicht ganz, was der vorherige $\pi$ tut und wie ich ihn interpretieren soll. Wenn ich eine Risikofunktion $R(\theta, \hat{\theta} )$ und sie zeichne, würde ich intuitiv ihre Fläche als Kriterium nehmen, um zu beurteilen, wie "stark" das Risiko über alle möglichen Werte von $\theta$ . Aber die Einbeziehung des Prior zerstört diese Intuition irgendwie wieder, obwohl sie nahe ist. Kann mir jemand helfen, wie man den Prior interpretiert?

bayesian decision-theory

— Peter-Serie
quelle

1

Ich kann nicht erkennen, wie intuitiv das Zeichnen der Risikofunktion sein kann, wenn mehrere Parameter berücksichtigt werden: In dieser Einstellung überschneiden sich die Funktionen und identifizieren keinen "besten" Schätzer. Das Bayes-Risiko gibt für jeden Schätzer eine einzige Zahl zurück und ermöglicht daher eine Rangfolge aller Schätzer.

— Xi'an

11

[Hier ist ein Auszug aus meinem eigenen Lehrbuch The Bayesian Choice (2007) , der für einen entscheidungstheoretischen Ansatz zur Bayes'schen Analyse und damit für die Verwendung des Bayes-Risikos spricht.]

Mit Ausnahme der trivialsten Einstellungen ist es im Allgemeinen unmöglich, die Verlustfunktion einheitlich zu minimieren (in ) wenn unbekannt ist. Um ein effektives Vergleichskriterium aus der Verlustfunktion abzuleiten, schlägt der frequentistische Ansatz vor, stattdessen den durchschnittlichen Verlust (oder das häufig auftretende Risiko ) zu berücksichtigen. wobei die Entscheidungsregel ist, dh die Zuordnung einer Entscheidung zu jedem Ergebnis $d$ $\text{L}(\theta,d)$ $\theta$

\begin{array}{rcl} R (θ, δ) & = & E_{θ} [L (θ, δ (x))] \\ = & \int_{X} L (θ, δ (x)) f (x | θ) d x, \end{array}

$\begin{eqnarray*} R(\theta,\delta) & = & \mathbb{E}_\theta \lbrack \text{L} (\theta ,\delta(x))\rbrack \\ & = & \int_{\cal X} \text{L}(\theta,\delta(x))f(x|\theta) \,dx , \end{eqnarray*}$

δ (x)

$\delta(x)$

x \sim f (x | θ)

$x\sim f(x|\theta)$ aus dem zufälligen Experiment.

Die Funktion aus in wird normalerweise als Schätzer bezeichnet (während der Wert als Schätzung von ). Wenn keine Verwechslungsgefahr besteht, bezeichnen wir die Menge der Schätzer auch mit . $\delta$ ${\mathcal X}$ $\mathfrak{D}$ $\delta(x)$ $\theta$ $\mathfrak{D}$

Das frequentistische Paradigma stützt sich auf dieses Kriterium, um Schätzer zu vergleichen und, wenn möglich, den besten Schätzer auszuwählen. Der Grund dafür ist, dass Schätzer hinsichtlich ihrer langfristigen Leistung für alle möglichen Werte des Parameters bewertet werden . Beachten Sie jedoch, dass mit diesem Ansatz mehrere Schwierigkeiten verbunden sind. $\theta$

Der Fehler (Verlust) wird über die verschiedenen Werte von proportional zur Dichte gemittelt . Daher scheint die Beobachtung nicht weiter berücksichtigt zu werden. Das Risikokriterium bewertet Verfahren hinsichtlich ihrer langfristigen Leistung und nicht direkt für die gegebene Beobachtung, . Eine solche Bewertung mag für die Statistikerin zufriedenstellend sein, ist aber für eine Klientin nicht so ansprechend, die optimale Ergebnisse für ihre Daten und nicht für die einer anderen wünscht ! $x$ $f(x|\theta)$ $x$ $x$ $x$
Die frequentistische Analyse des Entscheidungsproblems geht implizit davon aus, dass dieses Problem immer wieder gelöst wird, damit die Frequenzbewertung sinnvoll ist. In der Tat ist ungefähr der durchschnittliche Verlust über iid-Wiederholungen desselben Experiments gemäß dem Gesetz der großen Zahlen. Sowohl aus philosophischen als auch aus praktischen Gründen gibt es jedoch viele Kontroversen über den Begriff der Wiederholbarkeit von Experimenten (siehe Jeffreys (1961)). Zum einen sollte die Statistikerin, wenn neue Beobachtungen eingehen, diese nutzen, und dies könnte die Art und Weise ändern, wie das Experiment durchgeführt wird, wie zum Beispiel in medizinischen Studien. $R(\theta,\delta)$
Für eine Prozedur ist das Risiko eine Funktion des Parameters . Daher führt der frequentistische Ansatz nicht zu einer vollständigen Reihenfolge der Prozeduren. Es ist im Allgemeinen unmöglich, Entscheidungsverfahren mit diesem Kriterium zu vergleichen, da zwei Kreuzungsrisikofunktionen einen Vergleich zwischen den entsprechenden Schätzern verhindern. Bestenfalls kann man auf eine Prozedur , die einheitlich minimiert , aber solche Fälle treten selten auf, es sei denn, der Raum der Entscheidungsprozeduren ist eingeschränkt. Die besten Verfahren können nur erzielt werden, indem der Satz autorisierter Verfahren eher künstlich eingeschränkt wird. $\delta$ $R(\theta, \delta)$ $\theta$ $\delta_0$ $R(\theta,\delta)$

Beispiel 2.4 - Betrachten Sie und , zwei Beobachtungen aus Der interessierende Parameter ist (dh ) und wird von Schätzern unter dem Verlust geschätzt oft als Verlust bezeichnet , der Schätzfehler unabhängig von ihrer Größe um bestraft . In Anbetracht des bestimmten \ est seine Risikofunktion $x_1$ $x_2$

P_{θ} (x = θ - 1) = P_{θ} (x = θ + 1) = 0.5, θ \in R .

$P_{\theta}(x = \theta-1) = P_{\theta}(x = \theta+1) = 0.5, \qquad \theta\in\mathbb{R}.$

θ

$\theta$

D = Θ

$\mathfrak{D} = \Theta$

δ

$\delta$

L (θ, δ) = 1 - I_{θ} (δ),

$\text{L}(\theta,\delta) = 1-\mathbb{I}_{\theta}(\delta),$

0 - 1

$0-1$

1

$1$

δ_{0} (x_{1}, x_{2}) = \frac{x_{1} + x_{2}}{2},

$\delta_0(x_1,x_2) = {x_1+x_2 \over 2},$

\begin{array}{rcl} R (θ, δ_{0}) & = & 1 - P_{θ} (δ_{0} (x_{1}, x_{2}) = θ) \\ = & 1 - P_{θ} (x_{1} \neq x_{2}) = 0.5. \end{array}

$\begin{eqnarray*} R(\theta,\delta_0) & = & 1-P_{\theta}(\delta_0(x_1,x_2) = \theta) \\ & = & 1-P_{\theta}(x_1 \ne x_2) = 0.5. \end{eqnarray*}$ Diese Berechnung zeigt, dass der Schätzer Hälfte der Zeit korrekt ist. Tatsächlich ist dieser Schätzer immer korrekt, wenn , und ansonsten immer falsch. Nun hat das \ est \ auch eine Risikofunktion von , ebenso wie . Daher können , und nicht unter den Verlust eingestuft werden.

δ_{0}

$\delta_0$

x_{1} \neq x_{2}

$x_1\ne x_2$

δ_{1} (x_{1}, x_{2}) = x_{1} + 1

$\delta_1(x_1,x_2) = x_1+1$

0.5

$0.5$

δ_{2} (x_{1}, x_{2}) = x_{2} - 1

$\delta_2(x_1,x_2) = x_2-1$

δ_{0}

$\delta_0$

δ_{1}

$\delta_1$

δ_{2}

$\delta_2$

0 - 1

$0-1$

▸

$\blacktriangleright$

Im Gegenteil, der Bayes'sche Ansatz zur Entscheidungstheorie integriert sich in den Raum da unbekannt ist, anstatt in den Raum wie bekannt ist. Es beruht auf dem posterioren erwarteten Verlust der den Fehler (dh den Verlust) gemäß dem mittelt posteriore Verteilung des Parameters , abhängig vom beobachteten Wert} . Bei ist der durchschnittliche Fehler, der sich aus der Entscheidung ergibt, tatsächlich $\Theta$ $\theta$ ${\cal X}$ $x$

\begin{array}{rcl} ρ (π, d | x) & = & E^{π} [L (θ, d) | x] \\ = & \int_{Θ} L (θ, d) π (θ | x) d θ, \end{array}

$\begin{eqnarray*} \rho(\pi,d|x) & = & \mathbb{E}^\pi[L(\theta,d)|x] \\ & = & \int_{\Theta} \text{L}(\theta,d) \pi(\theta|x)\, d\theta, \end{eqnarray*}$

θ

$\theta$

x

$x$

x

$x$

d

$d$

ρ (π, d | x)

$\rho(\pi,d|x)$ . Der hintere erwartete Verlust ist somit eine Funktion von aber diese Abhängigkeit ist nicht störend, im Gegensatz zu der häufigen Abhängigkeit des Risikos vom Parameter, da im Gegensatz zu bekannt ist.

x

$x$

x

$x$

θ

$\theta$

— Xi'an
quelle

2

Sie sind also Christian Robert. Ich habe George Casella getroffen. Ich denke, Sie haben Bücher mit ihm veröffentlicht, die mir bekannt sind.

— Michael R. Chernick

1

+1 Antworten werden nicht viel besser als das - tolles Buch übrigens

— Xavier Bourret Sicotte

3

Zitat der klassischen statistischen Entscheidungstheorie von James O. Berger:

[...] Wir haben bereits angegeben, dass Entscheidungsregeln hinsichtlich ihrer Risikofunktionen bewertet werden . [...] Das Problem ist, wie bereits erwähnt, dass unterschiedliche zulässige Entscheidungsregeln Risiken bergen, die für unterschiedliche besser sind . Zur Rettung kommt das vorherige , das angeblich widerspiegelt, welche 's "wahrscheinlich" auftreten. Es erscheint sehr vernünftig, mit und dem Durchschnitt zu "gewichten" . $R(\theta, \delta)$ $\theta$ $\pi(\theta)$ $\theta$ $R(\theta, \delta)$ $\pi(\theta)$

Ja, Sie können für jedes auswerten , aber dann würden Sie implizit annehmen, dass jeder mögliche Wert von gleich wahrscheinlich ist. Im Bayes'schen Szenario wählen Sie das vorherige , das die Wahrscheinlichkeiten der Beobachtung verschiedener widerspiegelt , und enthalten solche Informationen. $R(\theta, \delta)$ $\theta$ $\theta$ $\pi(\theta)$ $\theta$

— Tim
quelle