Warum ist der Jeffreys Prior nützlich?

Ich verstehe, dass der Jeffreys-Prior unter Umparametrierung unveränderlich ist. Was ich jedoch nicht verstehe, ist, warum diese Eigenschaft gewünscht wird.

Warum möchten Sie nicht, dass sich das Vorher bei einem Variablenwechsel ändert?

Lassen Sie mich die Antwort von Zen vervollständigen. Ich mag den Begriff "Unwissenheit darstellen" nicht sehr. Wichtig ist nicht der Jeffreys Prior, sondern der Jeffreys Posterior . Dieser Posterior soll die Informationen über die durch die Daten hervorgerufenen Parameter so gut wie möglich widerspiegeln. Die Invarianzeigenschaft wird natürlich für die beiden folgenden Punkte benötigt. Betrachten wir zum Beispiel das Binomialmodell mit unbekanntem Anteil Parameter und Odds Parameter .$\theta$$\psi=\frac{\theta}{1-\theta}$

1. Der Jeffreys posterior auf spiegelt die Informationen über die von den Daten so gut wie möglich wider . Es gibt eine Eins-zu-Eins-Entsprechung zwischen und . Dann sollte die Umwandlung von Jeffreys posterior auf in ein posteriores auf (über die übliche Variablenänderungsformel) eine Verteilung ergeben, die die Informationen über ; so gut wie möglich widerspiegelt . Daher sollte diese Verteilung der Jeffreys posterior über . Dies ist die Invarianzeigenschaft.$\theta$$\theta$$\theta$$\psi$$\theta$$\psi$$\psi$$\psi$

2. Ein wichtiger Punkt, um Schlussfolgerungen aus einer statistischen Analyse zu ziehen, ist die wissenschaftliche Kommunikation . Stellen Sie sich vor, Sie geben den Jeffreys posterior on einem wissenschaftlichen Kollegen. Aber er / sie interessiert sich eher für als für . Dann ist dies kein Problem mit der Invarianzeigenschaft: Er muss nur die Formel zum Ändern der Variablen anwenden.$\theta$$\psi$$\theta$

Angenommen, Sie und ein Freund analysieren denselben Datensatz mit einem normalen Modell. Sie nehmen die übliche Parametrisierung des Normalmodells unter Verwendung des Mittelwerts und der Varianz als Parameter an, aber Ihr Freund parametrisiert das Normalmodell vorzugsweise mit dem Variationskoeffizienten und der Präzision als Parameter (was vollkommen "legal" ist). Wenn Sie beide Jeffreys 'Priors verwenden, wird Ihre posterior Verteilung die posterior Verteilung Ihres Freundes sein, die ordnungsgemäß von seiner Parametrisierung auf Ihre transformiert wurde. In diesem Sinne ist der Prior der Jeffreys "invariant"

("Invariant" ist übrigens ein schreckliches Wort; wir meinen wirklich, dass es im gleichen Sinne von Tensorrechnung / Differentialgeometrie "kovariant" ist, aber natürlich hat dieser Begriff bereits eine gut begründete probabilistische Bedeutung. also können wir es nicht benutzen.)

Warum ist diese Konsistenz-Eigenschaft erwünscht? Denn wenn Jeffreys 'Vorgänger die Möglichkeit hat, Unwissenheit über den Wert der Parameter in einem absoluten Sinne darzustellen (tatsächlich nicht, aber aus anderen Gründen, die nicht mit "Invarianz" zusammenhängen) und Unwissenheit relativ zu einer bestimmten Parametrisierung Unabhängig davon, mit welchen Parametrisierungen wir willkürlich beginnen, müssen unsere Posterioren nach der Transformation "übereinstimmen".

Jeffreys selbst hat diese "Invarianz" -Eigenschaft routinemäßig verletzt, als er seine Prioren konstruierte.

Dieses Papier enthält einige interessante Diskussionen zu diesem und verwandten Themen.

Um ein paar Zitate zu Zens großartiger Antwort hinzuzufügen: Nach Jaynes ist der Jeffreys-Prior ein Beispiel für das Prinzip der Transformationsgruppen, das sich aus dem Prinzip der Gleichgültigkeit ergibt:

Die Essenz des Prinzips ist nur: (1) Wir erkennen, dass eine Wahrscheinlichkeitszuweisung ein Mittel ist, um einen bestimmten Wissenszustand zu beschreiben. (2) Wenn die verfügbaren Beweise uns keinen Grund geben, Satz als wahrscheinlicher oder unwahrscheinlicher als , können wir diesen Wissensstand nur ehrlich beschreiben, indem wir ihnen gleiche Wahrscheinlichkeiten zuweisen: . Jedes andere Verfahren wäre in dem Sinne inkonsistent, dass wir durch einen bloßen Austausch der Bezeichnungen ein neues Problem erzeugen könnten, bei dem unser Wissensstand derselbe ist, bei dem wir jedoch unterschiedliche Wahrscheinlichkeiten zuweisen ...$A_1$$A_2$$p_1=p_2$$(1, 2)$

Beantworten Sie nun Ihre Frage: "Warum sollten Sie nicht möchten, dass sich das Vorher bei einer Änderung der Variablen ändert?"

Laut Jaynes ist die Parametrisierung eine andere Art von willkürlichem Label, und man sollte nicht in der Lage sein, durch „bloßen Austausch der Labels ein neues Problem zu erzeugen, bei dem unser Wissensstand derselbe ist, bei dem wir jedoch unterschiedliche Wahrscheinlichkeiten zuweisen. "

Obwohl Jeffreys Priors oft von Interesse sind, wenn nur eine Referenz festgelegt werden soll, anhand derer andere Priors beurteilt werden sollen, können sie völlig unbrauchbar sein, beispielsweise wenn sie zu ungeeigneten Posteriors führen: Dies ist beispielsweise bei der einfachen Zweikomponenten-Gauß-Mischung der Fall mit allen unbekannten Parametern. In diesem Fall existiert der hintere Teil des Jeffreys Prior nicht, egal wie viele Beobachtungen vorliegen. (Der Beweis ist in einem kürzlich erschienenen Artikel zu finden, den ich mit Clara Grazian geschrieben habe.)

Jeffreys Prior ist nutzlos . Das ist weil:

1. Es gibt nur die Form der Verteilung an. es sagt Ihnen nicht, was seine Parameter sein sollten.
2. Sie sind nie völlig ahnungslos - es gibt immer etwas an dem Parameter, den Sie kennen (z. B. kann er oft nicht unendlich sein). Verwenden Sie es für Ihre Schlussfolgerung, indem Sie eine vorherige Verteilung definieren. Lüge dich nicht an, indem du sagst, dass du nichts weißt.
3. "Invarianz unter Transformation" ist keine wünschenswerte Eigenschaft. Ihre Wahrscheinlichkeit ändert sich während der Transformation (z. B. durch den Jakobianer). Dies schafft keine "neuen Probleme", tempo Jaynes. Warum sollte der Prior nicht gleich behandelt werden?

Benutz es einfach nicht.