Was sollte ein nicht informativer Prior für die Steigung sein, wenn eine lineare Regression durchgeführt wird?

10

Wenn man eine Bayes'sche lineare Regression durchführt, muss man der Steigung einen Prior zuweisen und abfangen . Da ein Standortparameter ist, ist es sinnvoll, einen einheitlichen Prior zuzuweisen. Es scheint mir jedoch, dass einem Skalenparameter ähnelt und es unnatürlich erscheint, vorher eine Uniform zuzuweisen. $a$ $b$ $b$ $a$

Andererseits scheint es nicht ganz richtig zu sein, den üblichen nicht informativen Jeffrey prior ( ) für eine Steigung einer linearen Regression zuzuweisen . Zum einen kann es negativ sein. Aber ich sehe nicht, was es sonst sein könnte. $1/a$

Was ist also der "richtige" uninformative Prior für die Steigung einer Bayes'schen linearen Regression? (Alle Referenzen wäre dankbar.)

regression bayesian uninformative-prior

— Lindelof
quelle

Steigung ist nicht wirklich wie ein Skalierungsparameter - zum Beispiel kann sie negativ sein. Es gibt keinen "richtigen" uninformativen ("Low-Information" kann ein besserer Begriff sein) Prior. Es gibt einige gemeinsame Entscheidungen, die für unterschiedliche Personen oder Situationen geeignet sein können.

— Glen_b -State Monica

10

Aus der Bayesian Data Analysis 3rd ed., P. 355:

Die standardmäßige nicht informative vorherige Verteilung

Im normalen Regressionsmodell ist eine bequeme nicht informative vorherige Verteilung auf oder äquivalent auf einheitlich $(\beta, \log \sigma)$
$p (β, σ^{2} | X) \propto σ^{- 2}$ $p(\beta,\sigma^2|X) \propto\sigma^{-2}$

( bezieht sich auf die Regressoren.) Das Buch enthält nützliche weitere Diskussionen, die über den Rahmen dieser Frage hinausgehen: Wenn dieser Prior nützlich ist, wenn andere besser geeignet sind, sein Posterior und der Vergleich mit klassischen Schätzungen. $X$

— Sean Easter
quelle

9

Bayesianer wählen normalerweise Priors, die ihr mathematisch herausforderndes Leben leichter ertragen. Dies bedeutet Gaußsche Prioritäten, es sei denn, das Modell verbietet dies absolut. Denken Sie daran, dass Sie in Ihrer Situation eine Bivariate benötigen, da Sie die Korrelation zwischen Steigung und Standort sowie deren Randverhalten modellieren müssen. Das multivariate Normal ist Ihr Ticket.

Ein Gaußscher Prior vor den Parametern passt gut zu dem (zweifellos) Gaußschen Messfehler, den Ihr Regressionsmodell bereits aufweist.

Übrigens ordne ich Steigungen nicht Skalierungsparametern zu, da Steigungen negativ sein können und Skalierungsparameter nicht.

Jetzt ist die Gaußsche Verteilung kein uninformativer Prior, aber wenn Sie wirklich keine vorherigen Informationen haben, sollten Sie vielleicht häufig gehen. Oder verwenden Sie einen Gaußschen mit einer sehr großen Varianz.

Ich kenne keinen modernen Hinweis auf die Bayes'sche Folgerung. Auf die Gefahr hin, mit einer Panzerfaust ein Kaninchen zu erschießen, können Sie Rasmussen und Williams nachschlagen, die online verfügbar sind . Der erste Abschnitt von Kapitel 2 befasst sich ausführlich mit der Bayes'schen Regression.

— Placidia
quelle

3

Normalerweise wird ein einheitlicher Prior für die Steigung und den Versatz verwendet, aber ich mag die Idee, flache Prioritäten auf und wobei der Winkel zwischen dem ist Linie und y = 0. Dies ergibt einen Prior von was Steigungen um Null begünstigt. Dies wird unter http://jakevdp.github.io/blog/2014/06/14/frequentism-and-bayesianism-4-bayesian-in-python/#The-Prior und Frequentism and Bayesianism: A Python-getrieben abgeleitet Grundierung von Jake Vanderblas $\tan^{-1}\left(a\right)$ $b\cos\theta$ $\theta$

p (a, b) = {(1 + a^{2})}^{- 3 / 2}

$p\left(a,b\right) = \left(1+a^2\right)^{-3/2}$

— user2653663
quelle