Warum sollten wir t Fehler anstelle von normalen Fehlern verwenden?

In diesem Blog-Beitrag von Andrew Gelman gibt es folgende Passage:

Die Bayes'schen Modelle von vor 50 Jahren scheinen hoffnungslos einfach (außer natürlich für einfache Probleme), und ich gehe davon aus, dass die heutigen Bayes'schen Modelle in 50 Jahren hoffnungslos einfach erscheinen werden. (Nur als einfaches Beispiel: Wir sollten wahrscheinlich überall routinemäßig t anstelle von normalen Fehlern verwenden, aber wir tun dies noch nicht aus Vertrautheit, Gewohnheit und mathematischer Bequemlichkeit. Dies können gute Gründe sein - in der Wissenschaft als In der Politik hat der Konservatismus viele gute Argumente - aber ich denke, wenn wir uns mit komplizierteren Modellen anfreunden, werden wir uns letztendlich in diese Richtung bewegen.)

Warum sollten wir "routinemäßig t anstelle von normalen Fehlern fast überall verwenden"?

Denn die Annahme normaler Fehler ist im Grunde genommen die gleiche wie die Annahme, dass keine großen Fehler auftreten! Die Normalverteilung hat so leichte Schwänze, dass Fehler außerhalb von Standardabweichungen mit sehr geringer Wahrscheinlichkeit auftreten, Fehler außerhalb von Standardabweichungen sind praktisch ausgeschlossen. In der Praxis ist diese Annahme selten richtig. Bei der Analyse kleiner, übersichtlicher Datensätze aus gut durchdachten Experimenten spielt dies möglicherweise keine große Rolle, wenn wir eine gute Analyse der Residuen durchführen. Bei Daten mit geringerer Qualität kann dies viel mehr ausmachen.$\pm 3$$\pm 6$

Bei Verwendung von Likelihood-basierten (oder Bayes'schen) Methoden bewirkt diese Normalität (wie oben erwähnt, ist dies effektiv die Annahme, dass keine großen Fehler vorliegen!), Dass die Folgerung sehr wenig robust wird. Die Ergebnisse der Analyse werden durch die großen Fehler zu stark beeinflusst! Dies muss so sein, da die Annahme "keine großen Fehler" unsere Methoden zwingt, die großen Fehler als kleine Fehler zu interpretieren. Dies kann nur durch Verschieben des Mittelwertparameters geschehen, um alle Fehler zu verkleinern. Eine Möglichkeit, dies zu vermeiden, ist die Verwendung sogenannter "robuster Methoden" (siehe http://web.archive.org/web/20160611192739/http://www.stats.ox.ac.uk/pub/StatMeth/Robust) .pdf

Aber Andrew Gelman wird sich nicht dafür entscheiden, da robuste Methoden in der Regel nicht-bayesisch dargestellt werden. Verwendung von t-verteilen Fehler in Likelihood / Bayesian Modellen ist eine andere Art und Weise robust Methoden zu erhalten, wie die -Verteilung schwerere tails als die normalen hat, also für einen größeren Anteil an großen Fehlern ermöglicht. Der Parameter für die Anzahl der Freiheitsgrade sollte im Voraus festgelegt und nicht aus den Daten geschätzt werden, da eine solche Schätzung die Robustheitseigenschaften der Methode (*) zerstört (es ist auch ein sehr schwieriges Problem, die Wahrscheinlichkeitsfunktion für , die Freiheitsgrade können unbegrenzt sein, was zu sehr ineffizienten (auch inkonsistenten) Schätzern führt.$t$$\nu$

Wenn Sie zum Beispiel glauben (befürchten), dass 1 von 10 Beobachtungen "große Fehler" sein könnten (über 3 sd), dann könnten Sie eine Verteilung mit 2 Freiheitsgraden verwenden und diese Zahl erhöhen, wenn die Es wird angenommen, dass der Anteil großer Fehler kleiner ist.$t$

Ich sollte beachten, dass das, was ich oben gesagt habe, für Modelle mit unabhängigen verteilten Fehlern gilt. Es gab auch Vorschläge für eine multivariate Verteilung (die nicht unabhängig ist) als Fehlerverteilung. : Das Propsal wird in dem Aufsatz „Kritik an der multivariaten Des Kaisers neue Kleider heftig kritisiert von TS Breusch, JC Robertson und AH Welsh, in Statistica Neerlandica (1997) Vol Regressionsmodell“. 51, nr. 3, S. 269-286, wo sie zeigen, dass die multivariate Fehlerverteilung empirisch nicht von der Normalverteilung zu unterscheiden ist. Diese Kritik wirkt sich jedoch nicht auf das unabhängige Modell aus. $t$$t$$t$$t$$t$

(*) Ein Hinweis darauf ist Venables & Ripleys MASS --- Modern Applied Statistics mit S (auf Seite 110 in der 4. Ausgabe).

Es geht nicht nur um "schwerere Schwänze" - es gibt viele Verteilungen, die glockenförmig sind und schwere Schwänze haben.

Die T-Verteilung ist der hintere Vorhersagewert des Gaußschen Modells. Wenn Sie eine Gaußsche Annahme machen, aber begrenzte Beweise haben, dann macht das resultierende Modell notwendigerweise nicht-zentrale skalierte t-verteilte Vorhersagen. Im Grenzfall erhalten Sie, da die Menge an Beweisen bis ins Unendliche reicht, Gaußsche Vorhersagen, da die Grenze der t-Verteilung Gaußsch ist.

Warum passiert das? Denn mit einer endlichen Menge an Beweisen gibt es Unsicherheiten in den Parametern Ihres Modells. Im Falle des Gaußschen Modells würde die Unsicherheit im Mittelwert lediglich die Varianz erhöhen (dh das posteriore Prädiktiv eines Gaußschen mit bekannter Varianz ist immer noch Gaußsch). Die Unsicherheit über die Varianz ist jedoch die Ursache für die schweren Schwänze. Wenn das Modell mit unbegrenzten Nachweisen trainiert wird, gibt es keine Unsicherheit mehr in Bezug auf die Varianz (oder den Mittelwert) und Sie können Ihr Modell verwenden, um Gaußsche Vorhersagen zu treffen.

Dieses Argument gilt für ein Gaußsches Modell. Dies gilt auch für einen Parameter, der abgeleitet wird und dessen Wahrscheinlichkeiten Gauß'sch sind. Bei endlichen Daten ist die Unsicherheit über den Parameter t-verteilt. Überall dort, wo normale Annahmen (mit unbekanntem Mittelwert und unbekannter Varianz) und endliche Daten vorliegen, gibt es t-verteilte posteriore Vorhersagen.

Für alle Bayes'schen Modelle gibt es ähnliche posteriore Vorhersageverteilungen. Gelman schlägt vor, dass wir diese verwenden sollten. Seine Bedenken würden durch ausreichende Beweise abgemildert.