Was bedeutet es für etwas, gute frequentistische Eigenschaften zu haben?

Ich habe diesen Satz oft gehört, aber nie ganz verstanden, was er bedeutet. Der Ausdruck "gute frequentistische Eigenschaften" hat derzeit ~ 2750 Treffer bei Google, 536 auf scholar.google.com und 4 auf stats.stackexchange.com .

Die letzte Folie in dieser Präsentation der Stanford University , in der es heißt, kommt einer klaren Definition am nächsten

[D] Die Bedeutung der Meldung von 95% -Konfidenzintervallen besteht darin, dass Sie den wahren Parameter in 95% der von Ihnen gemachten Behauptungen "einfangen", selbst über verschiedene Schätzungsprobleme hinweg. Dies ist das bestimmende Merkmal von Schätzverfahren mit guten frequentistischen Eigenschaften: Sie halten bei wiederholter Anwendung der Prüfung stand.

Wenn ich etwas darüber nachdenke, gehe ich davon aus, dass der Ausdruck "gute frequentistische Eigenschaften" eine Einschätzung einer Bayes'schen Methode und insbesondere einer Bayes'schen Methode zur Intervallkonstruktion impliziert. Ich verstehe, dass Bayes'sche Intervalle den wahren Wert des Parameters mit der Wahrscheinlichkeit . Frequentistische Intervalle sollen so konstruiert sein, dass, wenn der Prozess der Intervallkonstruktion viele Male wiederholt wurde, etwa $p$ $p*100\%$ $p*100\%$

Ist das richtig? Ich denke, dass es mehr als das geben muss, da der Ausdruck sich eher auf gute frequentistische Eigenschaften bezieht , als auf gute frequentistische Eigenschaften .

bayesian terminology frequentist

— user1205901 - Setzen Sie Monica wieder ein
quelle

Mir gefällt die Art und Weise, wie Sie sich diese Frage ausgedacht haben. In den frühen Tagen versuchte Sir Harold Jeffreys, Bayes'sche posteriore Verteilungen zu konstruieren, die sich wie Likelihood-Funktionen verhielten und daher gute frequentistische Eigenschaften hatten. Es kommt also darauf an, eine "einheitliche" Vorverteilung aufzubauen. Die Idee ist, dass bei Verwendung eines solchen Prior-Mittels der Prior neutral ist und die Folgerung nicht beeinflusst. Dies gilt also nicht nur dafür, dass glaubwürdige Intervalle wie Konfidenzintervalle aussehen. Aber Jeffreys geriet in Schwierigkeiten, weil es Fälle gab, in denen der "uniformierte" Prior nicht richtig war.

— Michael R. Chernick

Falsch bedeutet, dass die vorherige Dichte nicht zu 1 passt. Es scheint, dass Jeffreys der Meinung war, dass die Bayes'sche Methode gerechtfertigt werden musste, indem er der frequentistischen Methode zustimmte. Bayesianer lehnten diesen Begriff schließlich ab, weil der Wert des Ansatzes, den sie behaupten, darin besteht, dass es vorherige Informationen gibt, die die Schlussfolgerung beeinflussen, und sie es daher vorziehen, geeignete "informative" Prioritäten zu verwenden.

— Michael R. Chernick

@MichaelChernick: Können Sie eine genaue Referenz über Jeffreys Suche nach frequentistischen Eigenschaften für Bayes-Schätzer geben? Ich habe noch nie von dieser Geschichte gehört. Und ich bezweifle auch, dass Jeffreys sich überhaupt Sorgen über die Verwendung unangemessener Priors gemacht hat. Sie sind in der Wahrscheinlichkeitstheorie allgegenwärtig .

— Xi'an

Ich liebe diese Frage!

— Alexis

@ Xi'an In der Tat ist es für das Beta-Binomial-Modell der Haldane-Prior (der nicht korrekt ist), der zur Schätzung des Frequentisten führt, und nicht der Jeffreys-Prior (der in diesem Fall richtig ist). Ich habe auch nie gehört, dass Jeffreys gute frequentistische Eigenschaften suchte: Ich dachte, er suchte nach objektiven Prioritäten, und mit objektiv meinte er eine Invariante unter Reparametrisierung.

— DeltaIV

Antworten:

Eine heikle Sache bei guten frequentistischen Eigenschaften ist, dass sie eher Eigenschaften einer Prozedur als Eigenschaften eines bestimmten Ergebnisses oder einer bestimmten Folgerung sind. Ein gutes frequentistisches Verfahren führt auf lange Sicht zu korrekten Rückschlüssen auf den angegebenen Anteil der Fälle, ein gutes bayesianisches Verfahren ist jedoch häufig dasjenige, das im jeweiligen Einzelfall zu korrekten Rückschlüssen führt.

Betrachten Sie beispielsweise ein Bayes'sches Verfahren, das im Allgemeinen "gut" ist, da es eine hintere Wahrscheinlichkeitsverteilung oder ein glaubwürdiges Intervall liefert, das die Kombination der Evidenz (Wahrscheinlichkeitsfunktion) mit der vorherigen Wahrscheinlichkeitsverteilung korrekt darstellt. Wenn der Prior genaue Informationen enthält (z. B. keine leere Meinung oder irgendeine Form von nicht informativem Prior), kann dieser Posterior oder dieses Intervall zu einer besseren Schlussfolgerung führen als ein frequentistisches Ergebnis aus denselben Daten. Besser im Sinne eines genaueren Rückschlusses auf diesen speziellen Fall oder eines engeren Schätzintervalls, da das Verfahren einen benutzerdefinierten Vorgänger verwendet, der genaue Informationen enthält. Auf lange Sicht wird der Erfassungsprozentsatz der Intervalle und die Richtigkeit der Schlussfolgerungen von der Qualität der einzelnen Prioritäten beeinflusst.

Beachten Sie, dass im Verfahren nicht festgelegt ist, wie der Prior bezogen werden soll, und die langfristige Leistungsabrechnung daher vermutlich einen früheren als einen für den jeweiligen Fall maßgeschneiderten Prior voraussetzt.

Ein Bayes'sches Verfahren kann gute frequentistische Eigenschaften haben. In vielen Fällen hat beispielsweise ein Bayes-Verfahren mit einem von einem Rezept bereitgestellten nicht informativen Prior ziemlich gute bis ausgezeichnete frequentistische Eigenschaften. Diese guten Eigenschaften wären eher ein Zufall als ein Konstruktionsmerkmal und eine direkte Folge eines solchen Verfahrens, das ähnliche Intervalle wie die häufig vorkommenden Verfahren ergibt.

Somit kann ein Bayes'sches Verfahren in einem einzelnen Experiment überlegene Inferenzeigenschaften aufweisen, während es auf lange Sicht schlechte Frequenzeigenschaften aufweist. Ebenso haben häufig vorkommende Verfahren mit guten Eigenschaften für häufig vorkommende Langzeitversuche bei einzelnen Experimenten oft eine schlechte Leistung.

— Michael Lew
quelle

Ich folge nicht Mit Ausnahme von Empirical Bayes wird bei allen Bayes-Verfahren, die ich gesehen habe, der Prior unabhängig von den Daten gewählt. Wenn also ein solches Verfahren auf mehrere Datensätze angewendet wird, die aus demselben Datenerzeugungsprozess stammen (dies ist das häufig verwendete Framework), verwendet der Bayes'sche die gleiche Wahrscheinlichkeitsfunktion (der Datenerzeugungsprozess ist der gleiche) und den gleichen Vorgänger (der Vorgänger ist) unabhängig von Daten in den meisten Bayes-Verfahren). Da sich die Daten jedes Mal ändern, ändert sich natürlich der Wert der Wahrscheinlichkeit, aber die Form ist dieselbe. Nun, wenn jeder Einzelne [1/2]

— DeltaIV

[2/2] Schätzung ist genauer, wie kann das gesamte Verfahren weniger genau sein? Dies ist nur möglich, wenn die Bayes'sche Schätzung nicht immer genauer ist. Da der Prior jedoch nicht an beobachtete Daten angepasst ist, bin ich mir nicht sicher, was ihn für jeden Einzelfall und / oder "im Durchschnitt" mehr oder weniger genau macht.

— DeltaIV

@ DeltaV Ich denke, dass Sie mit dem falschen Referenzsatz zu tun haben. Die häufigen Eigenschaften eines Verfahrens beziehen sich auf die Langzeitleistung des in allen neuen Fällen angewendeten Verfahrens und nicht nur auf Wiederholungen des jeweiligen Experiments. Aus diesem Grund müssen Konfidenzintervall-Prozeduren für binomiale Proportionen für alle Werte des Parameters funktionieren, nicht nur für den Wert, der für eine bestimmte Instanz relevant ist, in der die Prozedur verwendet wird. Diese Art von „Langfristig“ bedeutet, dass der auf den jeweiligen Fall zugeschnittene Vorgänger auf lange Sicht ungeeignet ist.

— Michael Lew

Sie haben Recht, dass ein Verfahren mit häufigem Vertrauen die nominelle Abdeckung für alle Werte des unbekannten Parameters haben muss. Dies wurde von Newman & Pearson klar spezifiziert und wird heute oft übersehen. Wenn Sie jedoch den Prior auswählen, wissen Sie nicht, welcher der "wahre" Wert des Parameters ist. Sie haben nur Ihre Probe, und die vorherige sollte unabhängig von der Probe sein. Daher sehe ich immer noch nicht klar, wie Sie den Prior basierend auf dem Beispiel anpassen können. Können Sie ein praktisches Beispiel geben?

— DeltaIV

@ DeltaIV Wenn ich weiß, dass der aktuelle interessierende Parameter in der vorherigen Studie geschätzt wurde, kann ich auf der Grundlage dieser Schätzung einen informativen Prior festlegen. Dieser Stand wird für diese aktuelle Analyse angemessen sein, für die fiktiven Anwendungsbereiche der Methode steht jedoch auf lange Sicht kein entsprechender Stand zur Verfügung. Somit kann die Analyse im Einzelfall wesentlich bessere Eigenschaften aufweisen, als sie auf lange Sicht häufig anzunehmen scheint.

— Michael Lew

Ich würde antworten, dass Ihre Analyse korrekt ist. Um ein paar weitere Einblicke zu geben, würde ich passende Prioritäten erwähnen.

Passende Priors sind in der Regel Priors, die für den Bau von Bayes'schen Modellen mit einer frequentistischen Eigenschaft konzipiert sind. Insbesondere sind sie so definiert, dass die erhaltenen HPD-Intervalle die häufigste Abdeckung des Konfidenzintervalls erfüllen (so dass 95% der 95% -HPD auf lange Sicht die wahren Werte enthalten). Beachten Sie, dass es in 1d analytische Lösungen gibt: Die Jeffreys-Priors stimmen mit den Priors überein. In höheren Dimensionen ist dies nicht notwendig (meines Wissens gibt es keinen Beweis dafür, dass dies niemals der Fall ist).

In der Praxis wird dieses Übereinstimmungsprinzip manchmal auch angewendet, um den Wert einiger Parameter eines Modells abzustimmen: Grundwahrheitsdaten werden verwendet, um diese Parameter in dem Sinne zu optimieren, dass ihre Werte die häufigste Abdeckung der resultierenden glaubwürdigen Intervalle für den interessierenden Parameter maximieren . Nach meinen eigenen Erfahrungen kann dies eine sehr subtile Aufgabe sein.

— peuhp
quelle

$p$

Nun zur Beantwortung Ihrer Frage: Nein, dies impliziert keine Bewertung der Bayes'schen Methode. Überspringen der Nuancen und Fokussieren des Schätzverfahrens, um es einfach zu halten: Der Häufigste in der Statistik ist die Idee, eine unbekannte feste Größe zu schätzen oder eine Hypothese zu testen und ein solches Verfahren anhand einer hypothetischen Wiederholung zu bewerten. Sie können viele Kriterien festlegen, um eine Prozedur zu bewerten. Was es zu einem frequentistischen Kriterium macht, ist, dass man sich Gedanken darüber macht, was passiert, wenn man immer wieder dasselbe Verfahren anwendet. Wenn Sie dies tun, interessieren Sie sich für die frequentistischen Eigenschaften. Mit anderen Worten: "Was sind die frequentistischen Eigenschaften?" bedeutet "Was passiert, wenn wir den Vorgang immer wieder wiederholen?" Nun, was macht solche frequentistischen Eigenschaften gutist eine weitere Ebene von Kriterien. Die häufigsten Frequentist-Eigenschaften, die als gute Eigenschaften angesehen werden, sind Konsistenz (bei einer Schätzung konvergiert der Schätzer bei fortgesetzter Abtastung gegen den von Ihnen geschätzten festen Wert), Effizienz (bei fortgesetzter Abtastung geht die Varianz des Schätzers gegen Null , so werden Sie immer genauer sein), Deckungswahrscheinlichkeit(In vielen Wiederholungen des Verfahrens enthält ein 95% -Konfidenzintervall in 95% der Fälle den wahren Wert). Die ersten beiden Eigenschaften werden als Eigenschaften für große Stichproben bezeichnet, die dritte Eigenschaft ist die von Neyman wirklich häufig vorkommende Eigenschaft in dem Sinne, dass nicht unbedingt asymptotische Ergebnisse verwendet werden müssen. Insgesamt gibt es also im Rahmen des Frequentismus einen wahren und unbekannten Wert. Sie schätzen es und Sie sind immer (außer bei einem seltenen Glücksfall) falsch in der Schätzung, aber Sie versuchen, sich zu retten, indem Sie verlangen, dass Sie zumindest bei einer hypothetisch unbegrenzten Wiederholung Ihrer Schätzung immer weniger falsch liegen oderSie wissen, dass Sie einige Male Recht hätten. Ich werde nicht diskutieren, ob es sinnvoll ist oder nicht, oder die zusätzlichen Annahmen, die erforderlich sind, um es zu rechtfertigen, da es nicht Ihre Fragen waren. Konzeptionell ist das, worauf sich frequentistische Eigenschaften beziehen und was gut in einem solchen Kontext im Allgemeinen bedeutet.

Abschließend zeige ich Ihnen dieses Papier, damit Sie selbst beurteilen können, ob es sinnvoll ist und was es bedeutet, dass ein Bayes-Verfahren gute frequentistische Eigenschaften aufweist (dort finden Sie weitere Referenzen):

Little, R. & andere, (2011). Kalibrierte Felder für Statistiken im Allgemeinen und fehlende Daten im Besonderen. Statistical Science, 26 (2), 162–174.

— Diogo
quelle