Gibt es ein Konjugat für die Laplace-Verteilung?


13

Gibt es ein Konjugat für die Laplace-Verteilung ? Wenn nicht, gibt es einen bekannten Ausdruck in geschlossener Form, der sich den Parametern der Laplace-Verteilung annähert?

Ich habe ziemlich viel gegoogelt und keinen Erfolg gehabt, daher lautet meine derzeitige Vermutung "Nein" zu den obigen Fragen ...


1
Google "Polson- und Scott-Normalvarianz-Mittelwertmischungen" - dies gibt Ihnen einige ungefähre Werte, die MAP via em-Algorithmus verwenden.
Wahrscheinlichkeitslogik

Antworten:


12

Schauen wir sie uns zuerst einzeln an (nehmen wir den anderen als gegeben).

Aus dem Link (mit der Änderung der folgenden Konvention der Verwendung von griechischen Symbolen für Parameter):

f(x|μ,τ)=12τexp(-|x-μ|τ)

- Skalenparameter :

L(τ)τ-k-1e-Sτ

für bestimmte Werte von und S . Das ist die Wahrscheinlichkeit, dass es sich um eine Inverse-Gamma-Form handelt.kS

Der Parameter scale hat also eine konjugierte Priorität - bei der Überprüfung ist die konjugierte Priorität inverses Gamma.

- Standortparameter

Dies ist in der Tat komplizierter, weil vereinfacht sich nicht zu etwas Bequemem in μich|xich-μ|μ ; Ich glaube nicht, dass es eine Möglichkeit gibt, die Begriffe zu "sammeln" (in gewisser Weise, aber das müssen wir sowieso nicht).

Ein Uniform-Prior schneidet den Seitenzahn einfach ab, was nicht so schlimm ist, wenn dies als Prior plausibel erscheint.

Eine interessante Möglichkeit, die gelegentlich nützlich sein kann, besteht darin, dass es relativ einfach ist, einen Laplace-Prior (einen mit demselben Maßstab wie die Daten) mithilfe einer Pseudobeobachtung aufzunehmen. Man könnte sich auch über mehrere Pseudobeobachtungen einer anderen (engeren) Vorstufe annähern.

Um das zu verallgemeinern: Wenn ich mit einem Laplace arbeiten würde, wäre ich versucht, einfach von einer Konstant-Skalenkonstant-Gewichtung auf eine gewichtete Beobachtungsversion von Laplace zu verallgemeinern jeder Datenpunkt) - Die log-Wahrscheinlichkeit ist immer noch eine stetige stückweise lineare Funktion, aber die Steigung kann sich an den Verbindungspunkten um nicht ganzzahlige Beträge ändern. Dann ein bequemes "Konjugat" existiert vor - nur eine weitere 'gewichtet' Laplace oder gar nichts von der Form oder exp ( - Σ jexp(-j|μ-θj|/ϕj)exp(-jwj|μ-θj|) (obwohl es angemessen skaliert werden müsste, um eine tatsächliche Dichte zu erhalten) - eine sehr flexible Familie von Verteilungen, die anscheinend zu einem posterioren "der gleichen Form" wie die Wahrscheinlichkeit der gewichteten Beobachtung und zu etwas Leichtem führt, mit dem man arbeiten kann und zeichnen; ja sogar das pseudo-beobachtungsding funktioniert noch.

Es ist auch flexibel genug, um andere Prioritäten zu approximieren.

(Noch allgemeiner könnte man auf der logarithmischen Skala arbeiten und einen kontinuierlichen, stückweise linearen logarithmischen Konkaven vorziehen, und der hintere Teil wäre ebenfalls von dieser Form; dies würde asymmetrisches Laplace als Sonderfall einschließen.)

Beispiel

Nur um zu zeigen, dass es ziemlich einfach ist, damit umzugehen - unten ist eine vorherige (grau gepunktet), Wahrscheinlichkeit (gestrichelt, schwarz) und hintere (durchgehend, rot) für den Positionsparameter für ein gewichtetes Laplace (... dies war bei bekannten Skalen der Fall) ).

Bildbeschreibung hier eingeben

Der gewichtete Laplace-Ansatz würde in MCMC gut funktionieren, denke ich.

-

Ich frage mich, ob der resultierende hintere Modus ein gewichteter Median ist.

- Eigentlich (um meine eigene Frage zu beantworten), sieht es so aus, als wäre die Antwort "Ja". Das macht es ziemlich schön damit zu arbeiten.

-

Gemeinsame vor

f(μ,τ)=f(μ|τ)f(τ)μ|ττττ

Zweifellos ist etwas allgemeineres für den gemeinsamen Prior durchaus möglich, aber ich denke nicht, dass ich den gemeinsamen Fall hier weiter verfolgen werde.

-

Ich habe noch nie zuvor von diesem gewichteten Laplace-Ansatz gehört oder gesehen, aber es war ziemlich einfach, ihn zu finden, sodass er wahrscheinlich bereits durchgeführt wurde. (Referenzen sind willkommen, falls jemand welche kennt.)

Wenn niemand von irgendwelchen Referenzen weiß, sollte ich vielleicht etwas aufschreiben, aber das wäre erstaunlich.


Wow, tolle Antwort. Ich kenne sicher keine Hinweise auf etwas Ähnliches. Wenn Sie etwas finden oder etwas aufschreiben, lassen Sie es mich bitte wissen!
Rasmus Bååth

1
Eine Möglichkeit, an den Standortparameter zu gelangen, besteht darin, die normale Varianzmischungsdarstellung von Laplace zu verwenden. Dies ist ein bedingtes Konjugat, obwohl ...
Wahrscheinlichkeit

@ Wahrscheinlichkeitslogik das ist interessant. In früheren Bearbeitungen habe ich in einer Zeile darauf hingewiesen, dass Laplace eine Mischung aus Normalen mit exponentieller Skalierung ist, weil ich mich gefragt habe, ob damit möglicherweise etwas getan werden kann, aber als ich die Antwort weiter bearbeitete, passte sie nirgends mehr und ich nahm sie auf es wieder raus. Nach Ihrem hilfreichen Kommentar klingt es so, als könnte er auf diese Weise verwendet werden. Das dürfte praktisch sein.
Glen_b -Reinstate Monica
Durch die Nutzung unserer Website bestätigen Sie, dass Sie unsere Cookie-Richtlinie und Datenschutzrichtlinie gelesen und verstanden haben.
Licensed under cc by-sa 3.0 with attribution required.