Gibt es eine Bayes'sche Interpretation für REML?

Gibt es eine Bayesianische Interpretation von REML? Meiner Intuition nach hat REML eine starke Ähnlichkeit mit sogenannten empirischen Bayes- Schätzverfahren, und ich frage mich, ob eine Art asymptotischer Äquivalenz (etwa unter einer geeigneten Klasse von Priors) nachgewiesen wurde. Sowohl empirische Bayes als auch REML scheinen als "kompromittierte" Schätzungsansätze zu gelten, die beispielsweise angesichts von Störparametern durchgeführt werden.

Was ich mit dieser Frage vor allem suche, ist die hochrangige Einsicht, die diese Art von Argumenten tendenziell liefert. Wenn ein Argument dieser Art aus irgendeinem Grund nicht sinnvoll für REML weiterverfolgt werden kann, würde eine Erklärung, warum dies so ist, natürlich auch eine willkommene Einsicht liefern!

bayesian asymptotics reml

— David C. Norris
quelle

Dieses Papier scheint relevant zu sein: Foulley J. (1993). Ein einfaches Argument, das zeigt, wie die eingeschränkte maximale Wahrscheinlichkeit abgeleitet werden kann. J. Dairy Sci. 76, 2320–2324. 10.3168 / jds.S0022-0302 (93) 77569-4 sciencedirect.com/science/article/pii/…

— djw

Bayesianische Interpretationen existieren nur im Rahmen der Bayesianischen Analyse für Schätzer, die sich auf eine posteriore Verteilung beziehen. Die einzige Möglichkeit, dem REML-Schätzer eine Bayes'sche Interpretation zukommen zu lassen (dh eine Interpretation als Schätzer aus dem posterioren Bereich), besteht darin, die eingeschränkte log-Wahrscheinlichkeit in der REML-Analyse als log-posterior in einem entsprechenden Bereich zu betrachten Bayes-Analyse; In diesem Fall wäre der REML-Schätzer ein MAP-Schätzer aus der Bayes'schen Theorie mit seiner entsprechenden Bayes'schen Interpretation.

Festlegen des REML-Schätzers als MAP-Schätzer: Es ist relativ einfach zu verstehen, wie die eingeschränkte Log-Wahrscheinlichkeit in der REML-Analyse als log-posterior in einer Bayes-Analyse festgelegt wird. Zu diesem Zweck muss das Protokoll-Vorzeichen das Negativ des Teils der Protokollwahrscheinlichkeit sein, der vom REML-Prozess entfernt wird. Angenommen , wir lügen-Wahrscheinlichkeit haben wobei $\ell_\mathbf{x}(\theta, \nu) = \ell_*(\theta, \nu) + \ell_{\text{RE}}(\theta)$ ist das Rest Lügt-Likelihood und $\ell_{\text{RE}}(\theta)$ $\theta$ ist der interessierende Parameter (wobei unser Störparameter ist). Die vorherige Einstellung auf gibt entsprechende posterior: $\nu$ $\pi(\theta, \nu) \propto \exp(-\ell_*(\theta, \nu))$

\begin{aligned} π (θ | x) & \propto \int L_{x} (θ, ν) π (θ, ν) d ν \\ \propto \int \exp (ℓ_{x} (θ, ν)) \exp (- ℓ_{*} (θ, ν)) d ν \\ = \int \exp (ℓ_{x} (θ, ν) - ℓ_{*} (θ, ν)) d ν \\ = \int \exp (ℓ_{*} (θ, ν) + ℓ_{RE} (θ) - ℓ_{*} (θ, ν)) d ν \\ = \int \exp (ℓ_{RE} (θ)) d ν \\ = \int L_{RE} (θ) d ν \\ \propto L_{RE} (θ) . \end{aligned}

$\begin{equation} \begin{aligned} \pi(\theta|\mathbf{x}) &\propto \int L_\mathbf{x}(\theta, \nu) \pi(\theta, \nu) d\nu \\[6pt] &\propto \int \exp(\ell_\mathbf{x}(\theta, \nu)) \exp(-\ell_*(\theta, \nu)) d\nu \\[6pt] &= \int \exp(\ell_\mathbf{x}(\theta, \nu) - \ell_*(\theta, \nu)) d\nu \\[6pt] &= \int \exp(\ell_*(\theta, \nu) + \ell_{\text{RE}}(\theta) - \ell_*(\theta, \nu)) d\nu \\[6pt] &= \int \exp(\ell_{\text{RE}}(\theta)) d\nu \\[6pt] &= \int L_{\text{RE}}(\theta) d\nu \\[6pt] &\propto L_{\text{RE}}(\theta). \\[6pt] \end{aligned} \end{equation}$

Das gibt uns:

{\hat{θ}}_{KARTE} = \arg max_{θ} π (θ | x) = \arg max_{θ} L_{RE} (θ) = {\hat{θ}}_{REML} .

$\hat{\theta}_\text{MAP} = \arg \max_\theta \pi(\theta|\mathbf{x}) = \arg \max_\theta L_{\text{RE}}(\theta) = \hat{\theta}_\text{REML}.$

Dieses Ergebnis ermöglicht es uns, den REML-Schätzer als einen MAP-Schätzer zu interpretieren, so dass die richtige Bayes'sche Interpretation des REML-Schätzers darin besteht, dass es der Schätzer ist, der die hintere Dichte unter dem obigen Prior maximiert .

$\ell_*(\theta, \nu)$

Aufgrund dieser Probleme könnte man argumentieren, dass es für den REML-Schätzer keine vernünftige Bayes'sche Interpretation gibt. Alternativ könnte man argumentieren, dass der REML-Schätzer immer noch die obige Bayes'sche Interpretation beibehält und ein Maximum- a-posteriori- Schätzer unter einem "Prior" ist, der sich zufällig mit den beobachteten Daten in der angegebenen Form ausrichten muss, und extrem unpassend sein kann.

$x_1,...,x_n \sim \text{N}(\nu, 1/\theta)$ $\theta$ $\nu$

ℓ_{x} (ν, θ) = - \frac{n}{2} \ln θ - \frac{θ}{2} \sum_{ich = 1}^{n} (x_{ich} - ν)^{2} .

$\ell_\mathbf{x}(\nu,\theta) = - \frac{n}{2} \ln \theta - \frac{\theta}{2} \sum_{i=1}^n (x_i-\nu)^2.$

In REML teilen wir diese Log-Wahrscheinlichkeit in zwei Komponenten auf:

\begin{aligned} ℓ_{*} (ν, θ) & = - \frac{n}{2} \ln θ - \frac{θ}{2} \sum_{ich = 1}^{n} (x_{ich} - ν)^{2} \\ ℓ_{RE} (θ) & = - \frac{n - 1}{2} \ln θ - \frac{θ}{2} \sum_{ich = 1}^{n} (x_{ich} - \bar{x})^{2} . \end{aligned}

$\begin{equation} \begin{aligned} \ell_*(\nu,\theta) &= - \frac{n}{2} \ln \theta - \frac{\theta}{2} \sum_{i=1}^n (x_i-\nu)^2 \\[10pt] \ell_\text{RE}(\theta) &= - \frac{n-1}{2} \ln \theta - \frac{\theta}{2} \sum_{i=1}^n (x_i-\bar{x})^2. \end{aligned} \end{equation}$

Wir erhalten den REML-Schätzer für den Genauigkeitsparameter durch Maximieren der Restwahrscheinlichkeit, was einen unverzerrten Schätzer für die Varianz ergibt:

\frac{1}{{\hat{θ}}_{REML}} = \frac{1}{n - 1} \sum_{ich = 1}^{n} (x_{ich} - \bar{x})^{2} .

$\frac{1}{\hat{\theta}_\text{REML}} = \frac{1}{n-1} \sum_{i=1}^n (x_i-\bar{x})^2.$

In diesem Fall entspricht der REML-Schätzer einem MAP-Schätzer für die "vorherige" Dichte:

π (θ) \propto θ^{n / 2} \exp (\frac{θ}{2} \sum_{ich = 1}^{n} (x_{ich} - ν)^{2}) .

$\pi(\theta) \propto \theta^{n/2} \exp \Bigg( \frac{\theta}{2} \sum_{i=1}^n (x_i-\nu)^2 \Bigg).$

As you can see, this "prior" actually depends on the observed data values, so it cannot actually be formed prior to seeing the data. Moreover, we can see that it is clearly an "improper" prior that puts more and more weight on extreme values of $\theta$ and $\nu$ . (Actually, this prior is pretty bonkers.) If by "coincidence" you were to form a prior that happened to correspond to this outcome then the REML estimator would be a MAP estimator under that prior, and hence would have a Bayesian interpretation as the estimator that maximises the posterior under that prior.

— Reinstate Monica
quelle

What an immensely clear answer! I feel I understand REML much better as a result, which to a large extent was my principal aim. Your approach in opening your argument seems to have been essentially to make the identification, then 'solve for' the prior. Then you proceed to demolish that prior, which looks to me like a criticism (from Bayesian perspective) directed against REML. Beautifully done!

— David C. Norris

Ja, das ist die Methode, die ich verwendet habe. In Analogie geben wir der MLE normalerweise eine Bayes'sche Interpretation nach der gleichen Methode - dh indem wir herausfinden, dass die MLE die MAP unter einem einheitlichen Prior ist. Wenn wir also im Allgemeinen das Bayes'sche Analogon zu einem klassischen Schätzer finden wollen, der durch Maximierung einer Funktion gebildet wird, setzen wir diese Funktion einfach auf den posterioren Wert und lösen dann nach dem vorherigen. Wenn dies einen vernünftigen Prior gibt, dann haben wir eine gute Bayes'sche Interpretation; Wenn der Prior verrückt ist (wie bei REML), haben wir ein gutes Argument dafür, dass es keine gute Bayes'sche Interpretation gibt.

— Setzen Sie Monica