Gibt es Beispiele, bei denen glaubwürdige Intervalle nach Bayes offenbar häufigen Konfidenzintervallen unterlegen sind?

Eine kürzlich gestellte Frage zum Unterschied zwischen Vertrauen und glaubwürdigen Intervallen veranlasste mich, den Artikel von Edwin Jaynes zu diesem Thema erneut zu lesen:

Jaynes, ET, 1976. "Confidence Intervals vs Bayesian Intervals", in Grundlagen der Wahrscheinlichkeitstheorie, statistischen Inferenz und statistischen Theorien der Wissenschaft, WL Harper und CA Hooker (Hrsg.), D. Reidel, Dordrecht, p. 175; ( pdf )

In der Zusammenfassung schreibt Jaynes:

... zeigen wir die Bayes'schen und orthodoxen Lösungen für sechs häufige statistische Probleme mit Konfidenzintervallen (einschließlich Signifikanztests auf der Grundlage derselben Überlegungen). In jedem Fall ist die Situation genau umgekehrt, dh die Bayes'sche Methode ist einfacher anzuwenden und liefert dieselben oder bessere Ergebnisse. Tatsächlich sind die orthodoxen Ergebnisse nur dann zufriedenstellend, wenn sie mit den Bayes'schen Ergebnissen eng (oder genau) übereinstimmen. Es wurde noch kein gegenteiliges Beispiel erstellt.

(Hervorhebung von mir)

Die Zeitung wurde 1976 veröffentlicht, also haben sich die Dinge vielleicht weiterentwickelt. Meine Frage ist, ob es Beispiele gibt, bei denen das Intervall der Frequentisten dem Intervall der Bayesianischen Glaubwürdigkeit deutlich überlegen ist (gemäß der von Jaynes implizit gemachten Herausforderung).

Beispiele, die auf falschen Vorannahmen beruhen, sind nicht akzeptabel, da sie nichts über die interne Konsistenz der verschiedenen Ansätze aussagen.

Ich habe vorhin gesagt, dass ich versuchen würde, die Frage zu beantworten.

Jaynes war in seiner Arbeit ein wenig ungezogen, da ein Intervall für das Vertrauen der Frequentisten nicht als ein Intervall definiert ist, in dem der wahre Wert der Statistik mit hoher (angegebener) Wahrscheinlichkeit zu erwarten ist entstehen, wenn sie als solche interpretiert werden. Das Problem ist, dass in der Praxis häufig Konfidenzintervalle verwendet werden, da ein Intervall, das mit hoher Wahrscheinlichkeit den wahren Wert enthält (vorausgesetzt, was wir aus unserer Datenstichprobe ableiten können), das ist, was wir oft wollen.

Das Schlüsselproblem für mich ist, dass es am besten ist, eine direkte Antwort auf diese Frage zu haben, wenn eine Frage gestellt wird. Ob bayesianische glaubwürdige Intervalle schlechter sind als häufig auftretende Konfidenzintervalle, hängt davon ab, welche Frage tatsächlich gestellt wurde. Wenn die gestellte Frage lautete:

(a) "Geben Sie mir ein Intervall, in dem der wahre Wert der Statistik mit der Wahrscheinlichkeit p liegt", dann scheint es, dass ein Frequentist diese Frage nicht direkt beantworten kann (und dies führt die Art von Problemen ein, die Jaynes in seiner Arbeit bespricht), aber a Bayes'sche Dose, weshalb ein Bayes'sches glaubwürdiges Intervall in den von Jaynes angegebenen Beispielen dem Intervall des frequentistischen Vertrauens überlegen ist. Aber das ist nur, weil es die "falsche Frage" für den Frequentisten ist.

(b) "Geben Sie mir ein Intervall, in dem der wahre Wert der Statistik bei häufiger Wiederholung des Experiments innerhalb von p * 100% dieser Intervalle liegt." Dann ist die häufigste Antwort genau das, was Sie wollen. Der Bayesianer ist möglicherweise auch in der Lage, eine direkte Antwort auf diese Frage zu geben (obwohl dies möglicherweise nicht einfach das offensichtliche glaubwürdige Intervall ist). Whubers Kommentar zu dieser Frage legt nahe, dass dies der Fall ist.

Im Wesentlichen geht es also darum, die Frage richtig zu spezifizieren und die Antwort richtig zu interpretieren. Wenn Sie Frage (a) stellen möchten, verwenden Sie ein Bayes'sches glaubwürdiges Intervall. Wenn Sie Frage (b) stellen möchten, verwenden Sie ein frequentistisches Konfidenzintervall.

Dies ist ein "konkretes" Beispiel, das in einem Buch von Larry Wasserman Alle Statistiken zu Seite 216 ( 12.8 Stärken und Schwächen der Bayes'schen Folgerung ) enthalten ist. Grundsätzlich gebe ich in seinem Buch, was Wasserman nicht tut, 1) eine Erklärung für das, was tatsächlich passiert, anstatt eine Zeile wegzuwerfen; 2) die häufigste Antwort auf die Frage, die Wasserman günstigerweise nicht gibt; und 3) eine Demonstration, dass das äquivalente Vertrauen, das unter Verwendung der gleichen Information berechnet wurde , unter dem gleichen Problem leidet.

In diesem Beispiel gibt er die folgende Situation an

1. Eine Beobachtung X mit einer Stichprobenverteilung: $(X|\theta)\sim N(\theta,1)$
2. Vorherige Verteilung von (er verwendet tatsächlich ein allgemeines τ 2 für die Varianz, aber sein Diagramm ist auf τ 2 = 1 spezialisiert )$(\theta)\sim N(0,1)$$\tau^2$$\tau^2=1$

Dann zeigt er, dass die Verwendung eines Bayesian 95% glaubwürdigen Intervalls in dieser Anordnung schließlich eine 0% -ige Frequenzdeckung hat, wenn der wahre Wert von willkürlich groß wird. Zum Beispiel liefert er ein Diagramm der Bedeckung (p218) und prüft mit dem Auge, ob der wahre Wert von θ 3 ist und die Bedeckung ungefähr 35% beträgt. Dann sagt er weiter:$\theta$$\theta$

... Was sollen wir daraus schließen? Das Wichtigste ist zu verstehen, dass frequentistische und bayesianische Methoden unterschiedliche Fragen beantworten. Verwenden Sie die bayesianische Folgerung, um frühere Überzeugungen auf prinzipielle Weise mit Daten zu kombinieren. Verwenden Sie häufig verwendete Methoden, um Verfahren mit garantierter Langzeitleistung zu erstellen , wie z. B. Konfidenzintervalle ... (S217)

Und dann geht es weiter, ohne dass man sich darüber klar wird, warum die Bayes'sche Methode anscheinend so schlecht abschneidet . Darüber hinaus gibt er keine Antwort von der frequentistischen Herangehensweise, sondern nur eine umfassende Aussage über "das Langfristige" - eine klassische politische Taktik (betonen Sie Ihre Stärke + die Schwäche anderer, aber vergleichen Sie niemals Gleiches für Gleiches).

Ich werde zeigen , wie das Problem wie angegeben kann in frequentistischen / orthodox formuliert werden und zeigt dann , dass das Ergebnis mit Konfidenzintervall gibt genau die gleiche Antwort wie den Bayes ein . Daher wird ein (realer oder wahrgenommener) Fehler im Bayes'schen nicht mit Hilfe von Konfidenzintervallen korrigiert.$\tau=1$

Okay, so geht es weiter. Die erste Frage, die ich stelle, ist, welcher Wissensstand durch das vorherige . Wenn man über & thgr ; "unwissend" war , dann ist der geeignete Weg, dies auszudrücken, p ( & thgr; ) ≤ 1 . Nehmen wir nun an , dass wir waren unwissend, und wir beobachteten Y ~ N ( θ , 1 ) , unabhängig von X . Was wäre unser posterior für θ ?$\theta\sim N(0,1)$$\theta$$p(\theta)\propto 1$$Y\sim N(\theta,1)$$X$$\theta$

Also . Dies bedeutet, dass die im Beispiel von Wassermans angegebene vorherige Verteilung der Beobachtung einer iid-Kopie von X gleich 0 entspricht . Frequentistischen Methoden können nicht mit einem vorherigen behandeln, aber es kann man sich als 2 Beobachtungen aus der Stichprobenverteilung gemacht zu haben, eines gleich 0 und eine gleich X . Beide Probleme sind völlig gleichwertig, und wir können tatsächlich die häufigste Antwort auf die Frage geben.$(\theta|Y)\sim N(Y,1)$$X$$0$$0$$X$

Da es sich um eine Normalverteilung mit bekannter Varianz handelt, ist der Mittelwert eine ausreichende Statistik, um ein Konfidenzintervall für zu konstruieren . Der Mittelwert ist gleich ¯ x = 0 + $\theta$ und hat eine Stichprobenverteilung$\overline{x}=\frac{0+X}{2}=\frac{X}{2}$

Somit ist ein CI gegeben durch:$(1-\alpha)\text{%}$

Unter Verwendung der Ergebnisse von Beispiel 12.8 für Wasserman zeigt er jedoch, dass das posteriore glaubwürdige Intervall für θ gegeben ist durch:$(1-\alpha)\text{%}$$\theta$

.

Wobei . Das Einstecken des Wertes beiτ2=1ergibt alsoc=$c=\frac{\tau^{2}}{1+\tau^{2}}$$\tau^{2}=1$ und das glaubwürdige Intervall wird:$c=\frac{1}{2}$

Welche sind genau das gleiche wie das Konfidenzintervall! Ein nach der Bayes'schen Methode aufgetretener Fehler in der Abdeckung wird also nicht mit dem Intervall des frequentistischen Vertrauens korrigiert! [Wenn der Frequentist den Prior ignoriert, sollte der Bayesianer auch diesen Prior ignorieren und die Ignoranz vor , um einen fairen Vergleich zu ermöglichen , und die beiden Intervalle sind immer noch gleich - beide X ± Z α / 2 ) ].$p(\theta)\propto 1$$X \pm Z_{\alpha/2})$

Also, was zum Teufel ist hier los? Das Problem ist im Grunde eine Nicht-Robustheit der normalen Stichprobenverteilung. weil das Problem äquivalent ist, eine iid-Kopie bereits beobachtet zu haben, ist . Wenn Sie 0 beobachtet haben , ist dies äußerst unwahrscheinlich , wenn der wahre Wert θ = 4 ist (Wahrscheinlichkeit, dass X ≤ 0 ist, wenn θ = 4 0,000032 ist). Dies erklärt, warum die Abdeckung für große "wahre Werte" so schlecht ist, weil sie die implizite Beobachtung, die im Prior enthalten ist, effektiv zu einem Ausreißer macht$X=0$$0$$\theta=4$$X\leq 0$$\theta=4$. Tatsächlich können Sie zeigen, dass dieses Beispiel im Grunde genommen dem Nachweis entspricht, dass das arithmetische Mittel eine unbegrenzte Einflussfunktion hat.

Verallgemeinerung. Nun mögen einige Leute sagen "aber Sie haben nur , was ein Sonderfall sein kann". Dies ist nicht wahr: jeder Wert von τ 2 = $\tau=1$ (N=0,1,2,3,...)kann so interpretiert werden, dass zusätzlich zumXder FrageNiid Kopien vonX beobachtet werden,die alle gleich0waren. Das Konfidenzintervall hat die gleichen "schlechten" Abdeckungseigenschaften für großes& thgr ;. Dies wird jedoch zunehmend unwahrscheinlicher, wenn Sie die Werte0einhalten(und keine vernünftige Person würde sich weiterhin Sorgen um großeθ machen,wenn Sie weiterhin0 sehen).$\tau^2=\frac{1}{N}$ $(N=0,1,2,3,\dots)$$N$$X$$0$$X$$\theta$$0$$\theta$$0$

Keith Winstein,

EDIT: Zur Verdeutlichung beschreibt diese Antwort das Beispiel in Keith Winsteins Antwort auf den König mit dem grausamen Statistikspiel. Die Bayes'schen und die Frequent'schen Antworten verwenden beide die gleichen Informationen, dh, die Informationen über die Anzahl der fairen und unfairen Münzen werden bei der Erstellung der Intervalle ignoriert. Wenn diese Informationen nicht ignoriert werden, sollte der Frequentist die integrierte Beta-Binomial-Wahrscheinlichkeit als Stichprobenverteilung für die Erstellung des Konfidenzintervalls verwenden. In diesem Fall ist das Clopper-Pearson-Konfidenzintervall nicht angemessen und muss geändert werden. Eine ähnliche Anpassung sollte in der Bayes'schen Lösung erfolgen.

EDIT: Ich habe auch die erstmalige Verwendung des Cloppers Pearson Interval geklärt.

EDIT: leider ist mein alpha falsch herum und mein clopper pearson intervall ist falsch. Ich entschuldige mich in aller Bescheidenheit bei @whuber, der richtig darauf hingewiesen hat, mit dem ich jedoch anfänglich nicht einverstanden war und den ich ignorierte.

Das CI mit der Clopper Pearson-Methode ist sehr gut

Wenn Sie nur eine Beobachtung erhalten, kann das Clopper Pearson-Intervall analytisch ausgewertet werden. Angenommen, die Münze wird als "Erfolg" (Köpfe) angezeigt, und Sie müssen so wählen , dass$\theta$

Wenn diese Wahrscheinlichkeiten P r ( B i ( 1 , & thgr ; ) ≥ 1 ) = & thgr; und P r ( B i ( 1 , & thgr ; ) ≤ 1 ) = 1 , so impliziert der Clopper Pearson CI, dass & thgr ; ≥ $X=1$$Pr(Bi(1,\theta)\geq 1)=\theta$$Pr(Bi(1,\theta)\leq 1)=1$ (und die trivial immer wahr1≥$\theta\geq\frac{\alpha}{2}$ ) wennX=1. WennX=0 sinddiese WahrscheinlichkeitenPr(Bi(1,θ)≥0)=1undPr(Bi(1,θ)≤0)=1-θ, so impliziert der Clopper Pearson CI, dass1-θ≥$1\geq\frac{\alpha}{2}$$X=1$$X=0$$Pr(Bi(1,\theta)\geq 0)=1$$Pr(Bi(1,\theta)\leq 0)=1-\theta$ oderθ≤1-$1-\theta \geq\frac{\alpha}{2}$ wennX=0. Für einen 95% -KI erhalten wir also[0,025,1],wennX=1, und[0,0,975],wennX=0.$\theta\leq 1-\frac{\alpha}{2}$$X=0$$[0.025,1]$$X=1$$[0,0.975]$$X=0$

Daher wird jemand , der das Clopper Pearson-Konfidenzintervall verwendet, niemals enthauptet. Bei Einhaltung des Intervalls handelt es sich im Wesentlichen um den gesamten Parameterraum. Aber das CP-Intervall tut dies, indem es ein vermeintliches 95% -Intervall zu 100% abdeckt! Grundsätzlich "betrügt" der Frequentist, indem er ein 95% iges Konfidenzintervall überdeckt, das über das er / sie hinausgeht (obwohl wer in einer solchen Situation nicht betrügt? Wenn ich es wäre, würde ich das ganze [0, 1] Intervall). Wenn der König nach einem genauen 95% -KI fragen würde, würde diese Methode der Frequentisten ungeachtet dessen, was tatsächlich passiert ist, scheitern (vielleicht gibt es eine bessere?).

Was ist mit dem Bayes'schen Intervall? (insbesondere das Bayes'sche Intervall der höchsten posterioren Desnität (HPD))

Da wir a priori wissen, dass sowohl Kopf als auch Zahl auftreten können, ist der einheitliche Prior eine vernünftige Wahl. Daraus ergibt sich eine posteriore Verteilung von . Jetzt müssen wir nur noch ein Intervall mit 95% posteriorer Wahrscheinlichkeit erstellen. Ähnlich wie beim Clopper Pearson CI ist auch hier die kumulative Beta-Verteilung analytisch, so dass P r ( θ ≥ θ e | x = 1 ) = 1 $(\theta|X)\sim Beta(1+X,2-X)$ und P r ( & thgr ; ≤ & thgr ; e | x = 0 ) = 1 - ( 1 - & thgr; e ) 2 Setzen dieser Werte auf 0,95 ergibt & thgr ; e = $Pr(\theta \geq \theta^{e} | x=1) = 1-(\theta^{e})^{2}$$Pr(\theta \leq \theta^{e} | x=0) = 1-(1-\theta^{e})^{2}$wennX=1und&thgr; e =1-$\theta^{e}=\sqrt{0.05}\approx 0.224$$X=1$wennX=0. Die beiden glaubwürdigen Intervalle sind also(0,0,776)beiX=0und(0,224,1)beiX=$\theta^{e}= 1-\sqrt{0.05}\approx 0.776$$X=0$$(0,0.776)$$X=0$$(0.224,1)$$X=1$

Somit wird der Bayesianer für sein HPD-glaubwürdiges Intervall enthauptet, wenn er die schlechte Münze erhält und die schlechte Münze einen Endpunkt erreicht, der mit einer Chance von 1 auftritt.$\frac{1}{10^{12}+1}\times\frac{1}{10}\approx 0$

Erstens ist das Bayes'sche Intervall kleiner als das Konfidenzintervall. Eine andere Sache ist, dass der Bayesianer zu 95% näher an der tatsächlich angegebenen Abdeckung wäre als der Frequentist. Tatsächlich ist der Bayesianer der Abdeckung von 95% so nahe, wie es bei diesem Problem möglich ist. Und im Gegensatz zu Keith 'Aussage verlieren 10 von 100 Bayesianern im Durchschnitt ihren Kopf, wenn die schlechte Münze ausgewählt wird (nicht alle, weil die schlechte Münze in dem Intervall, in dem sie nicht enthält, einen Kopf haben muss ). $0.1$

$0.025$$0.975$

Um ein echtes 95% -Konfidenzintervall anzugeben, sollten per Definition einige Fälle (dh mindestens einer) des beobachteten Intervalls vorliegen , die nicht den wahren Wert des Parameters enthalten . Wie kann man sonst das 95% -Tag rechtfertigen? Wäre es nicht nur gültig oder ungültig, ein 90% -, 50% -, 20% - oder gar 0% -Intervall zu nennen?

Ich verstehe nicht, wie einfach die Angabe "es bedeutet 95% oder mehr" ohne eine ergänzende Einschränkung zufriedenstellend ist. Dies liegt daran, dass die offensichtliche mathematische Lösung der gesamte Parameterraum ist und das Problem trivial ist. Angenommen, ich möchte einen CI von 50%? Wenn nur die falsch-negativen Werte begrenzt werden, ist der gesamte Parameterraum ein gültiges CI, das nur diese Kriterien verwendet.

$\text{100%}$$X=0$$100\times\frac{10^{12}+\frac{9}{10}}{10^{12}+1}\text{%} > \text{95%}$$X=1$

Abschließend erscheint es etwas seltsam, nach einem Unsicherheitsintervall zu fragen und dieses Intervall dann unter Verwendung des wahren Wertes zu bewerten, über den wir unsicher waren. Ein "gerechterer" Vergleich, sowohl für vertrauenswürdige als auch für glaubwürdige Intervalle, scheint mir die Wahrheit der mit dem Intervall gegebenen Aussage der Unsicherheit zu sein .

Das Problem beginnt mit Ihrem Satz:

Beispiele, die auf falschen Vorannahmen beruhen, sind nicht akzeptabel, da sie nichts über die interne Konsistenz der verschiedenen Ansätze aussagen.

Ja gut, woher weißt du, dass dein Prior richtig ist?

Nehmen Sie den Fall der Bayes'schen Folgerung in der Phylogenie. Die Wahrscheinlichkeit für mindestens eine Änderung wird durch die Formel mit der Evolutionszeit (Verzweigungslänge t) in Beziehung gesetzt

wobei u die Substitutionsrate ist.

Nun möchten Sie ein Modell der Evolution erstellen, das auf dem Vergleich von DNA-Sequenzen basiert. Im Wesentlichen versuchen Sie, einen Baum zu schätzen, in dem Sie versuchen, das Ausmaß der Änderung zwischen den DNA-Sequenzen so genau wie möglich zu modellieren. Das obige P ist die Chance für mindestens eine Änderung in einem bestimmten Zweig. Evolutionsmodelle beschreiben die Änderungschancen zwischen zwei beliebigen Nukleotiden, und aus diesen Evolutionsmodellen wird die Schätzfunktion abgeleitet, entweder mit p als Parameter oder mit t als Parameter.

Sie haben keine vernünftigen Kenntnisse und haben eine Wohnung vor p gewählt. Dies impliziert von Natur aus eine exponentiell abnehmende Priorität für t. (Noch problematischer wird es, wenn Sie eine Ebene vor t setzen möchten. Die implizite Priorität von p hängt stark davon ab, wo Sie den Bereich von t abschneiden.)

Theoretisch kann t unendlich sein, aber wenn Sie einen unendlichen Bereich zulassen, ist der Bereich unter seiner Dichtefunktion ebenfalls unendlich, sodass Sie einen Kürzungspunkt für den vorherigen definieren müssen. Wenn Sie nun den Kürzungspunkt ausreichend groß gewählt haben, ist es nicht schwierig zu beweisen, dass beide Enden des glaubwürdigen Intervalls ansteigen, und zu einem bestimmten Zeitpunkt ist der wahre Wert nicht mehr im glaubwürdigen Intervall enthalten. Wenn Sie keine sehr gute Vorstellung vom Stand der Technik haben, kann nicht garantiert werden, dass die Bayes'schen Methoden anderen Methoden entsprechen oder diesen überlegen sind.

ref: Joseph Felsenstein: Phylogenien erschließen, Kapitel 18

Nebenbei bemerkt, ich habe diesen Bayesian / Frequentist-Streit satt. Sie sind beide unterschiedliche Rahmen und auch nicht die absolute Wahrheit. Die klassischen Beispiele für Bayes'sche Methoden stammen ausnahmslos aus der Wahrscheinlichkeitsrechnung, und kein einziger Frequentist wird ihnen widersprechen. Das klassische Argument gegen Bayes'sche Methoden beinhaltet immer die willkürliche Wahl eines Prioren. Und vernünftige Prioritäten sind definitiv möglich.

Es läuft alles auf die richtige Anwendung einer der beiden Methoden zum richtigen Zeitpunkt hinaus. Ich habe sehr wenige Argumente / Vergleiche gesehen, bei denen beide Methoden korrekt angewendet wurden. Annahmen jeder Methode werden sehr unterschätzt und viel zu oft ignoriert.

EDIT: Zur Verdeutlichung liegt das Problem darin, dass sich die Schätzung auf Basis von p von der Schätzung auf Basis von t im Bayes'schen Rahmen unterscheidet, wenn mit nicht informativen Prioren gearbeitet wird (was in einigen Fällen die einzig mögliche Lösung ist). Dies gilt nicht für das ML-Framework für phylogenetische Inferenz. Es handelt sich nicht um einen falschen Prior, sondern um eine Methode.

Häufige Konfidenzintervalle begrenzen die Rate der falsch positiven Ergebnisse (Typ I-Fehler) und garantieren, dass ihre Abdeckung auch im schlimmsten Fall durch den Konfidenzparameter unten begrenzt wird. Bayesianische Glaubwürdigkeitsintervalle nicht.

Wenn Sie sich also für falsch positive Ergebnisse interessieren und diese binden müssen, sollten Sie Konfidenzintervalle wählen.

Nehmen wir zum Beispiel an, Sie haben einen bösen König mit einem Hof ​​von 100 Höflingen und Kurtisanen und er möchte mit ihnen ein grausames statistisches Spiel spielen. Der König hat eine Tüte mit einer Billion fairer Münzen und eine unfaire Münze, deren Kopfwahrscheinlichkeit 10% beträgt. Er wird das folgende Spiel spielen. Zuerst zieht er eine Münze gleichmäßig und zufällig aus der Tasche.

Dann wird die Münze in einem Raum von 100 Personen herumgereicht und jede Person wird gezwungen, privat ein Experiment damit durchzuführen, und dann wird jede Person ein 95% iges Unsicherheitsintervall für die Wahrscheinlichkeit der Münzköpfe angeben.

Jeder, der ein Intervall angibt, das ein falsches Positiv darstellt - dh ein Intervall, das den wahren Wert der Kopfwahrscheinlichkeit nicht abdeckt - wird enthauptet.

Wenn wir die / a posteriori / Wahrscheinlichkeitsverteilungsfunktion des Münzgewichts ausdrücken wollen, dann ist das natürlich ein Glaubwürdigkeitsintervall. Die Antwort ist immer das Intervall [0,5, 0,5], unabhängig vom Ergebnis. Selbst wenn Sie null oder einen Kopf umdrehen, sagen Sie immer noch [0,5, 0,5], weil es sehr viel wahrscheinlicher ist, dass der König eine faire Münze gezogen hat und Sie einen 1.1024-Tag hatten, in dem Sie zehn Köpfe hintereinander hatten Dann zog der König die unfaire Münze.

Das ist also keine gute Idee für die Höflinge und Kurtisanen! Denn wenn die unfaire Münze gezogen wird, ist der ganze Raum (alle 100 Personen) falsch und sie werden alle geköpft.

In dieser Welt, in der es vor allem um False Positives geht, brauchen wir eine absolute Garantie dafür, dass die Rate der False Positives unter 5% liegt, unabhängig davon, welche Münze gezogen wird. Dann müssen wir ein Konfidenzintervall wie Blyth-Still-Casella oder Clopper-Pearson verwenden, das funktioniert und unabhängig vom wahren Wert des Parameters auch im schlimmsten Fall eine Abdeckung von mindestens 95% bietet . Wendet stattdessen jeder diese Methode an, so können wir am Ende des Tages unabhängig davon, welche Münze gezogen wird, garantieren, dass die erwartete Anzahl falscher Personen nicht mehr als fünf beträgt.

Der Punkt ist also: Wenn Ihr Kriterium die Begrenzung von False Positives (oder gleichwertig die Gewährleistung der Abdeckung) erfordert, müssen Sie ein Konfidenzintervall festlegen. Das ist was sie tun. Glaubwürdigkeitsintervalle sind möglicherweise ein intuitiverer Weg, um Unsicherheit auszudrücken, und sie können bei einer häufig durchgeführten Analyse recht gut abschneiden, bieten jedoch nicht die garantierte Grenze für falsch positive Ergebnisse, die Sie erhalten, wenn Sie danach fragen.

(Wenn Sie sich auch für falsche Negative interessieren, brauchen Sie natürlich eine Methode, die auch für diese Garantien gibt ...)

Gibt es Beispiele, bei denen das Intervall der Frequentisten dem Intervall der Bayesianischen Glaubwürdigkeit deutlich überlegen ist (gemäß der von Jaynes implizit gemachten Herausforderung)?

$\theta$$10$$\theta$$1$$\theta$

Bernardo schlug eine "Referenz vor" vor, die als Standard für die wissenschaftliche Kommunikation verwendet werden sollte [und sogar ein "glaubwürdiges Referenzintervall" ( Bernardo - objektive glaubwürdige Regionen )]. Unter der Annahme, dass dies der Bayes'sche Ansatz ist, stellt sich nun die Frage: Wann ist ein Intervall einem anderen überlegen? Die frequentistischen Eigenschaften des Bayes'schen Intervalls sind nicht immer optimal, aber auch nicht die bayes'schen Eigenschaften des "frequentistischen Intervalls"
(übrigens, was ist das "frequentistische Intervall"?)