US-Wahlergebnisse 2016: Was ist mit Vorhersagemodellen schief gelaufen?

Erst war Brexit , jetzt die US-Wahl. Viele Modellvorhersagen waren mit großem Abstand falsch, und gibt es hier Lehren zu ziehen? Noch gestern um 16 Uhr PST favorisierten die Wettmärkte Hillary 4 zu 1.

Ich gehe davon aus, dass die Wettmärkte mit echtem Geld als Gesamtheit aller verfügbaren Vorhersagemodelle fungieren sollten. Es ist also nicht weit hergeholt zu sagen, dass diese Modelle keine sehr gute Arbeit geleistet haben.

Ich sah eine Erklärung dafür, dass die Wähler sich nicht als Trump-Anhänger ausweisen wollten. Wie könnte ein Modell solche Effekte einbeziehen?

Eine Makroerklärung, die ich lese, ist der Aufstieg des Populismus . Die Frage ist dann, wie ein statistisches Modell einen solchen Makrotrend erfassen kann.

Stellen diese Prognosemodelle zu viel Gewicht auf die Daten aus Umfragen und der Stimmung, nicht genug von der Stelle aus, an der sich das Land in einer 100-Jahres-Perspektive befindet? Ich zitiere die Kommentare eines Freundes.

Kurz gesagt, das Abrufen ist nicht immer einfach. Diese Wahl mag die schwerste gewesen sein.

Jedes Mal, wenn wir versuchen, statistische Schlussfolgerungen zu ziehen, stellt sich die grundsätzliche Frage, ob unsere Stichprobe eine gute Repräsentation der interessierenden Bevölkerung ist. Eine typische Annahme, die für viele Arten statistischer Inferenz erforderlich ist, ist die, dass unsere Stichprobe eine vollständig zufällige Stichprobe aus der interessierenden Grundgesamtheit ist (und häufig müssen auch Stichproben unabhängig sein). Wenn diese Annahmen zutreffen, haben wir in der Regel gute Messgrößen für unsere Unsicherheit, die auf statistischer Theorie beruhen.

Aber wir haben definitiv nicht diese Annahmen, die mit Abstimmungen zutreffen! Wir haben genau 0 Stichproben aus unserer interessierenden Bevölkerung: tatsächliche Stimmen, die am Wahltag abgegeben wurden. In diesem Fall wir können nicht jede Art von gültigem Schluß machen , ohne weiteren, nicht überprüfbaren Annahmen über die Daten. Oder zumindest bis nach dem Wahltag nicht testbar.

Geben wir ganz auf und sagen "50% -50%!"? Normalerweise nein. Wir können versuchen, so weit wir glauben, vernünftige Annahmen darüber zu treffen, wie die Stimmen abgegeben werden. Zum Beispiel möchten wir vielleicht glauben, dass Umfragen unvoreingenommene Schätzungen für die Stimmen am Wahltag sind, plus ein gewisses unbefangenes zeitliches Rauschen (dh die Entwicklung der öffentlichen Meinung im Laufe der Zeit). Ich bin kein Experte für Abfragemethoden, aber ich glaube, dass dies der Typ des Modells 538 ist, der verwendet wird. Und 2012 hat es ganz gut geklappt. Diese Annahmen waren also wahrscheinlich ziemlich vernünftig. Leider gibt es keine wirkliche Möglichkeit, diese Annahmen zu bewerten, die nicht durch rein qualitative Überlegungen belegt ist. Weitere Informationen zu einem ähnlichen Thema finden Sie unter Nicht ignorierbare Fehlende.

Meine Theorie, warum Umfragen im Jahr 2016 so schlecht abschnitten: Die Umfragen waren keine unvoreingenommenen Schätzungen des Verhaltens am Wahltag. Das heißt, ich würde vermuten, dass Trump-Anhänger (und wahrscheinlich auch Brexit-Anhänger) Umfrageteilnehmern viel misstrauischer gegenüberstanden. Denken Sie daran, dass Herr Trump Umfragen aktiv anprangerte. Daher glaube ich, dass die Befürworter von Trump ihre Abstimmungsabsichten seltener den Umfrageteilnehmern melden als die Befürworter seiner Gegner. Ich würde spekulieren, dass dies eine unvorhergesehene starke Verzerrung in den Umfragen verursachte.

Wie hätten Analysten dies bei der Verwendung der Umfragedaten berücksichtigen können? Basierend auf den Umfragedaten allein gibt es keine echte Möglichkeit, dies quantitativ zu tun. Die Umfragedaten sagen nichts über diejenigen aus, die nicht teilgenommen haben. Es kann jedoch möglich sein, die Umfragen auf qualitative Weise zu verbessern, indem vernünftigere (aber nicht testbare) Annahmen über die Beziehung zwischen Umfragedaten und Wahltagsverhalten getroffen werden. Dies ist nicht trivial und der wirklich schwierige Teil, ein guter Meinungsforscher zu sein (Anmerkung: Ich bin kein Meinungsforscher). Beachten Sie auch, dass die Ergebnisse auch für die Experten sehr überraschend waren. Es ist also nicht so, dass es offensichtliche Anzeichen dafür gab, dass die Annahmen dieses Mal völlig anders waren.

Umfragen können schwierig sein.

Es gibt eine Reihe von Ursachen für Abfragefehler:

• Sie finden einige Leute schwer zu erreichen

  Dies wird korrigiert, indem eine demografische Analyse durchgeführt und dann Ihre Stichprobenverzerrung korrigiert wird. Wenn Ihre demografische Analyse nicht die Dinge widerspiegelt, die Menschen schwer zu erreichen sind, repariert diese Korrektur den Schaden nicht.

• Leute lügen

  Sie können historische Raten verwenden, mit denen die Leute Umfrageteilnehmer anlügen, um Ihr Modell zu beeinflussen. In der Vergangenheit gaben die Menschen beispielsweise an, dass sie weit mehr als am Wahltag für Dritte stimmen werden. Ihre Korrekturen können hier falsch sein.

  Diese Lügen können auch Ihre anderen Korrekturen durcheinander bringen. Wenn sie bei der letzten Wahl lügen, werden sie möglicherweise als wahrscheinliche Wähler gezählt, auch wenn dies beispielsweise nicht der Fall ist.

• Nur die Menschen, die wählen, zählen am Ende

  Jemand kann viel Unterstützung haben, aber wenn seine Unterstützer am Wahltag nicht auftauchen, zählt das nicht. Aus diesem Grund haben wir Wähler, wahrscheinliche Wähler usw. registriert. Wenn diese Modelle falsch sind, funktionieren die Dinge nicht.

• Umfragen kosten Geld

  Umfragen sind teuer, und wenn Sie nicht erwarten, dass Michigan umdreht, werden Sie sie möglicherweise nicht sehr oft abrufen. Dies kann zu Überraschungen führen, wenn ein Bundesstaat, den Sie 3 Wochen vor der Wahl abgefragt haben, am Wahltag nicht so aussieht.

• Die Leute ändern ihre Meinung

  Über Minuten, Stunden, Tage, Wochen oder Monate hinweg ändern Menschen ihre Meinung. Umfragen über "Was würden Sie jetzt tun?" Helfen nicht viel, wenn sie ihre Meinung ändern, bevor es darauf ankommt. Es gibt Modelle, die anhand historischer Umfragen ungefähr die Rate erraten, mit der Menschen ihre Meinung ändern.

• Hüten

  Wenn alle anderen sagen, dass Hillary +3 ist und Sie eine Umfrage mit Hillary +11 oder Donald +1 erhalten, könnten Sie das in Frage stellen. Sie können einen weiteren Durchgang durchführen und feststellen, ob ein Analysefehler vorliegt. Sie könnten es sogar rausschmeißen und eine weitere Umfrage durchführen. Wenn Sie eine Hillary +2 oder +4 Umfrage erhalten, tun Sie dies möglicherweise nicht. Massive Ausreißer können Sie "schlecht aussehen" lassen, auch wenn das statistische Modell sagt, dass es manchmal vorkommt.

  Eine besonders beschissene Form davon ereignete sich am Wahltag, als sich alle , die eine Umfrage veröffentlicht hatten, auf magische Weise dem gleichen Wert näherten. Sie waren wahrscheinlich Ausreißer, aber niemand will diejenige sein, die am Tag vor dieser Wahl Hillary +11 gesagt hat. Sich in einer Herde zu irren, tut weniger weh.

• Erwarteter Stichprobenfehler

  Wenn Sie 1 Million Menschen haben und 100 vollkommen zufällige Personen fragen und die eine Hälfte "Apfel" und die andere Hälfte "Orange" sagt, liegt der erwartete Fehler bei +/- 10, auch wenn keines der oben genannten Probleme vorliegt auftreten. Das letzte Bit ist , was Umfragen wie beschreiben ihre Fehlerquote. Umfragen beschreiben selten, was die oben genannten Korrekturfaktoren als Fehler einführen könnten.

Nate Silver (538) war einer der wenigen Abfrageaggregatoren, die konservative (vorsichtige) Mittel einsetzten, um mit den oben genannten Fehlerarten umzugehen. Er berücksichtigte die Möglichkeit systemisch korrelierter Fehler in den Abfragemodellen.

Während andere Aggregatoren eine Chance von über 90% voraussagten, dass HC gewählt wird, gab Nate Silver 70% an, da die Umfragen innerhalb des "normalen Abstimmungsfehlers" eines Donald-Sieges lagen.

Dies war ein historisches Maß für den Modellfehler im Gegensatz zum statistischen Rohstichprobenfehler. Was ist, wenn das Modell und die Korrekturen am Modell falsch waren?

Die Leute drücken immer noch die Zahlen. Vorläufige Ergebnisse deuten jedoch darauf hin, dass es sich zum großen Teil um Wahlbeteiligungsmodelle handelte. Die Befürworter von Donald zeigten sich bei den Umfragen in größerer Zahl und die Befürworter von Hillary in geringerer Zahl als die angegebenen Umfragemodelle (und Umfragen beenden!).

Latino hat mehr für Donald gestimmt als erwartet. Die Schwarzen stimmten mehr für Donald als erwartet. (Die meisten von beiden stimmten für Hillary). Weiße Frauen stimmten mehr für Donald als erwartet (mehr von ihnen stimmten für Donald als für Hillary, was nicht erwartet wurde).

Die Wahlbeteiligung war im Allgemeinen niedrig. Demokraten gewinnen in der Regel, wenn die Wahlbeteiligung hoch ist, und Republikaner, wenn die Wahlbeteiligung niedrig ist.

Dies wurde in den Kommentaren zur akzeptierten Antwort erwähnt (Hut vor Mehrdad ), aber ich denke, es sollte betont werden. 538 haben das in diesem Zyklus tatsächlich ganz gut gemacht ^* .

538 ist ein Polling-Aggregator, der Modelle für jeden Status ausführt, um den Gewinner vorherzusagen. Ihr letzter Lauf gab Trump eine Gewinnchance von 30%. Das heißt, wenn Sie drei Wahlen mit diesen Daten durchgeführt haben, würden Sie erwarten, dass Team Red eine davon gewinnt. Das ist keine große Chance. Es ist mit Sicherheit groß genug, dass ich Vorsichtsmaßnahmen getroffen habe (z. B .: Am Freitag, bevor ich am Mittwoch den 9. Urlaub bei der Arbeit beantragte, in Anbetracht der Wahrscheinlichkeit, dass es nahe genug ist, um spät in die Nacht zu kommen).

Eine Sache, die 538 Ihnen sagen wird, wenn Sie dort rumhängen, ist, dass wenn die Umfragen aus sind, es eine gute Chance gibt, dass sie alle in die gleiche Richtung ausfallen. Dies hat mehrere Gründe.

• Wahrscheinlich Wahlmodelle. Die Umfragen müssen sich an die Art der Wähler anpassen, die am Wahltag tatsächlich auftauchen werden. Wir haben historische Modelle, aber dies war offensichtlich kein typisches Kandidatenpaar. Daher war die Vorhersage auf der Grundlage früherer Daten immer ein kleiner Scheiß.
• Spätwahlen hüten . Niemand will die Wahl sein, die die Wahlen am schlimmsten verpasst hat. Obwohl es ihnen nichts ausmacht, mitten in einer Kampagne ein Ausreißer zu sein, neigen alle Umfragen dazu, sich selbst so zu verändern, dass sie dasselbe sagen. Dies ist einer der Gründe dafür, dass die Umfragen bei Eric Cantors Überraschungsverlust im Jahr 2014 so extrem ausgefallen sind, und auch für die überraschend knappen Ergebnisse des Rennens im Senat von Virginia im Jahr 2014 .

^{* - 538 hat jetzt eine eigene Analyse veröffentlicht . Es stimmt größtenteils mit dem überein, was oben gesagt wurde, aber es lohnt sich zu lesen, wenn Sie viel mehr Details wünschen.}

Nun ein bisschen persönliche Spekulation. Ich war tatsächlich skeptisch gegenüber 538s letzten% Chancen für die letzten 3 Tage. Der Grund geht auf diese zweite Kugel zurück. Werfen wir einen Blick auf die Geschichte ihres Modells für diese Wahl (von ihrer Website)

(Leider verdecken die Etiketten dies, aber danach gingen die Kurven in den letzten drei Tagen wieder auseinander und ergaben für Clinton eine Chance von über 70%.)

Das Muster, das wir hier sehen, ist eine wiederholte Divergenz, gefolgt von einem Zerfall zurück zu einer Trump-Führung. Die Clinton-Blasen wurden alle durch Ereignisse verursacht. Das erste waren die Konventionen (normalerweise gibt es ein paar Tage Verspätung nach einem Ereignis, damit es in der Abstimmung auftaucht). Die zweite scheint von der ersten Debatte angestoßen worden zu sein, wahrscheinlich zusammen mit dem TMZ-Band. Dann gibt es den dritten Wendepunkt, den ich auf dem Bild markiert habe.

Es geschah am 5. November, 3 Tage vor der Wahl. Welches Ereignis hat das verursacht? Ein paar Tage zuvor war ein weiteres E-Mail-Aufflammen zu verzeichnen, aber das hätte nicht zu Clintons Gunsten funktionieren sollen.

Die beste Erklärung, die mir damals einfiel, war die Umfrage. Es waren nur noch drei Tage bis zur Wahl, zwei Tage bis zu den endgültigen Umfragen, und die Umfrageteilnehmer würden sich langsam Sorgen um ihre endgültigen Ergebnisse machen. Die "konventionelle Weisheit" dieser gesamten Wahl (wie die Wettmodelle belegen) war ein einfacher Clinton-Sieg. Es schien also eine eindeutige Möglichkeit zu sein, dass dies überhaupt keine echte Beugung war. Wenn dies der Fall wäre, wäre die wahre Kurve ab dem 5. November mit ziemlicher Wahrscheinlichkeit eine Fortsetzung dieser Kurve in Richtung Konvergenz.

Ein besserer Mathematiker als ich würde es brauchen, um die Kurve nach vorne ohne diesen verdächtigen Endknickpunkt abzuschätzen, aber wenn ich sie in Augenschein nehme, wäre der 8. November in der Nähe des Kreuzungspunktes gewesen . Vorne oder hinten hängt davon ab, wie viel von dieser Kurve tatsächlich real war.

Jetzt kann ich nicht genau sagen, was passiert ist. Es gibt noch andere sehr plausible Erklärungen (zB: Trump hat seine Wähler weitaus besser herausgeholt als von jedem Umfrageteilnehmer erwartet). Aber es war meine Theorie für das, was zu dieser Zeit vorging, und es hat sich zweifellos als vorhersagbar erwiesen.

Erst war Brexit, jetzt die US-Wahl

Nicht wirklich eine Premiere, zB die französischen Präsidentschaftswahlen 2002 "führten zu ernsthaften Diskussionen über Wahltechniken".

Es ist also nicht weit hergeholt zu sagen, dass diese Modelle keine sehr gute Arbeit geleistet haben.

Müll rein, Müll raus.

Ich sah eine Erklärung dafür, dass die Wähler sich nicht als Trump-Anhänger ausweisen wollten. Wie könnte ein Modell solche Effekte einbeziehen?

Siehe Antwortverzerrung und insbesondere soziale Erwünschtheitsverzerrung . Andere interessante Lektüre: stille Mehrheit und Bradley-Effekt .

Die USC / LA Times-Umfrage enthält einige genaue Zahlen. Sie sagten voraus, dass Trump die Führung übernehmen würde. Siehe Die USC / LA Times Umfrage sah , was andere Umfragen verpasst: Eine Welle von Trump Unterstützung

http://www.latimes.com/politics/la-na-pol-usc-latimes-poll-20161108-story.html

Sie hatten auch für 2012 genaue Zahlen.

Möglicherweise möchten Sie überprüfen: http://graphics.latimes.com/usc-presidential-poll-dashboard/

Und die NY Times beschwerte sich über ihre Gewichtung: http://www.nytimes.com/2016/10/13/upshot/how-one-19-year-old-illinois-man-is-distorting-national-polling-averages. html

Antwort von LA Times: http://www.latimes.com/politics/la-na-pol-daybreak-poll-questions-20161013-snap-story.html

Hier wurde kein hohes Gelände beansprucht. Ich arbeite in einem Bereich (Monitoring und Evaluierung), der genauso pseudowissenschaftlich geprägt ist wie jede andere Sozialwissenschaft, die Sie nennen können.

Aber hier ist der Deal, die Wahlbranche befindet sich angeblich heute in einer "Krise", weil die US-Wahlprognosen so falsch waren, die Sozialwissenschaft im Allgemeinen eine "Krise" der Reproduzierbarkeit aufweist und wir Ende der 2000er Jahre eine "Weltfinanzkrise" hatten Einige Praktiker glaubten, dass Subprime-Hypothekenderivate eine gültige Form von Finanzdaten sind (wenn wir ihnen den Vorteil des Zweifels geben ...).

Und wir alle stolpern trotzdem weiter. Jeden Tag sehe ich die fragwürdigsten Forscher-Konstrukte, die als Datenerfassungsansätze verwendet werden und daher letztendlich als Daten verwendet werden (von quasi-ordinalen Skalen bis zu absolut führenden festen Antwortkategorien). Sehr wenige Forscher scheinen sogar zu realisieren, dass sie einen konzeptionellen Rahmen für solche Konstrukte benötigen, bevor sie hoffen können, ihre Ergebnisse zu verstehen. Es ist, als hätten wir uns mit Marktforschungsansätzen befasst und beschlossen, nur die schlimmsten Fehler zu begehen, wobei wir ein wenig Numerologie hinzugefügt haben.

Wir wollen als "Wissenschaftler" betrachtet werden, aber die Strenge ist ein bisschen zu groß, um sie in Kauf zu nehmen. Deshalb sammeln wir Mülldaten und beten zum Loki-ähnlichen Gott der Statistik, um das GIGO-Axiom auf magische Weise außer Kraft zu setzen.

Aber wie der stark zitierte Mr. Feynman ausführt:

„Es ist egal, wie schön deine Theorie ist, es ist egal, wie schlau du bist. Wenn es nicht mit dem Experiment übereinstimmt, ist es falsch.

Es gibt bessere Möglichkeiten, mit den qualitativen Daten umzugehen, mit denen wir oft zu kämpfen haben, aber sie sind etwas aufwändiger, und diese netten Konstrukte von Forschern sind oft einfacher in SPSS einzugeben. Bequemlichkeit scheint die Wissenschaft jedes Mal zu übertreffen (kein Wortspiel beabsichtigt).

Kurz gesagt, wenn wir uns nicht ernsthaft mit der Rohdatenqualität befassen, verschwenden wir meiner Meinung nach nur die Zeit und das Geld aller, einschließlich unserer eigenen. Möchte also jemand an einer "Initiative zur Datenqualität" in Bezug auf sozialwissenschaftliche Methoden mitarbeiten (ja, es gibt in den Lehrbüchern viel über solche Dinge, aber niemand scheint sich nach den Prüfungen um diese Quelle zu kümmern).

Wer die akademischsten Gravitas hat, darf an der Spitze stehen! (Ich werde es nicht sein.)

Um meine Antwort hier klar zu formulieren: Ich sehe so oft schwerwiegende grundsätzliche Probleme mit 'erfundenen' Rohdatentypen, dass ich vorschlagen möchte, am Anfang anzufangen. Bevor wir uns also Gedanken über Stichproben machen oder welche Tests mit den Daten ausgeführt werden sollen, müssen wir die Gültigkeit / Einschränkungen der von uns erfassten Datentypen in Bezug auf die von uns vorgeschlagenen Modelle überprüfen. Andernfalls ist das gesamte Vorhersagemodell unvollständig definiert.

Umfragen haben in der Regel eine Fehlerquote von 5%, die Sie nicht wirklich loswerden können, da es sich nicht um einen zufälligen Fehler handelt, sondern um eine Verzerrung. Auch wenn Sie über viele Umfragen hinweg durchschnittlich sind, wird es nicht viel besser. Dies hat mit falsch dargestellten Wählergruppen, mangelnder Mobilisierung, Unfähigkeit, an einem Arbeitstag zur Abstimmung zu gehen, Unwillen zur Antwort, Unwillen zur richtigen Antwort , spontanen Entscheidungen in letzter Minute zu tun , ... weil diese Tendenz dazu neigt, "korreliert" zu sein. Bei allen Umfragen können Sie es nicht mit mehr Umfragen loswerden. Sie können es auch bei größeren Stichproben nicht loswerden. und Sie scheinen auch nicht in der Lage zu sein, diese Tendenz vorherzusagen, weil sie sich zu schnell ändert (und wir zu selten Präsidenten wählen).

Aufgrund der dummen Winner-takes-all - Prinzip nach wie vor in fast allen Staaten, ein Fehler von 5% kann zu sehr unterschiedlichen Ergebnissen führen: Angenommen , die Umfragen vorhergesagt immer 49-51, aber das eigentliche Ergebnis war 51-49 (so ein Fehler von nur 2%), das Ergebnis ist 100% weg; wegen Winner-Takes-It-All.

Betrachtet man einzelne Zustände, so liegen die meisten Ergebnisse innerhalb der vorhergesagten Fehlergrenzen!

Wahrscheinlich ist das Beste, was Sie tun können, eine Stichprobe dieser Tendenz (+ -5%) zu erstellen, die Gewinner-Alles-Extreme anzuwenden und dann die Ergebnisse zu aggregieren. Dies ähnelt wahrscheinlich dem, was 538 getan hat; und in 30% der Proben gewann Donald Trump ...

Das Vertrauen in die Datenanalyse hatte enorme Auswirkungen auf strategische Kampagnenentscheidungen, journalistische Berichterstattung und letztendlich auf individuelle Entscheidungen. Was könnte möglicherweise schief gehen, wenn die Entscheidungen der Clinton-Kampagne von nur täglichen Simulationen des geheimen Ada-Algorithmus getroffen wurden ?$\small 400,000$

Am Ende stellte es ein kolossales Versagen der numerischen Analyse heraus, um den Mangel an Kenntnis des Themas auszugleichen. Die Menschen schämten sich, den siegreichen Kandidaten aus offensichtlichen Gründen ausdrücklich anzunehmen.

Das schlimmste Computermodell hätte dem Ergebnis näher kommen können, wenn sich jemand die Mühe gemacht hätte, eine vorläufige Umfrage von Angesicht zu Angesicht durchzuführen und an die Türen zu klopfen. Hier ist ein Beispiel: Die Trafalgar Group (keine andere Zugehörigkeit oder Kenntnis als die folgenden) hatte Trump einen Tag vor der Wahl in PA, FL, MI, GA, UT und NV an der Spitze (letzterer Zustand wurde letztendlich blau). Was war die Magie?

eine Kombination von Umfrageteilnehmern, die sowohl einen Standard-Stimmzetteltest als auch einen Stimmzetteltest absolviert haben, in denen die Nachbarn der Befragten stehen. Dies spricht die grundlegende Tendenz der traditionellen Umfrage an, bei der die Befragten ihre Position in Bezug auf äußerst kontroverse Kandidaten nicht vollständig wahrheitsgetreu beurteilen.

Ziemlich Low-Tech, einschließlich der fehlenden Rechtschreibprüfung, zeigt in Zahlen viel über die menschliche Natur. Hier ist die Diskrepanz in PA :

Historisches Pennsylvania - weit davon entfernt, nur wenige Stunden vor dieser abschließenden Erkenntnis am 9. November 2016 um 01:40 Uhr als der letzte Strohhalm in der Niederlage der Demokraten wahrgenommen zu werden:

Einer der Gründe für die Ungenauigkeit der Umfragen bei den US-Wahlen ist, dass der "Allesgewinner" -Effekt Vorhersagen noch weniger erleichtert, abgesehen davon, dass manche Menschen aus irgendeinem Grund nicht die Wahrheit sagen. Ein Unterschied von 1% in einem Staat kann zu einer vollständigen Verschiebung eines Staates führen und das gesamte Ergebnis sehr stark beeinflussen. Hillary hatte mehr Wähler wie Al Gore gegen Bush.

Das Brexit-Referendum war keine normale Wahl und daher auch schwieriger vorherzusagen (keine guten historischen Daten und jeder war wie ein Erstwähler in dieser Angelegenheit). Menschen, die jahrzehntelang für dieselbe Partei stimmen, stabilisieren Vorhersagen.

(Beantworten Sie einfach dieses Bit, da die anderen Antworten anscheinend alles andere abgedeckt haben.)

Noch gestern um 16 Uhr PST favorisierten die Wettmärkte Hillary 4 zu 1. Ich gehe davon aus, dass die Wettmärkte mit echtem Geld als Ensemble aller verfügbaren Vorhersagemodelle fungieren sollten.

Nein ... aber indirekt ja.

Die Wettmärkte sind so konzipiert, dass die Buchmacher in jedem Fall Gewinne erzielen. Angenommen, die aktuellen Quoten lauten 1-4 für Hilary und 3-1 für Trump. Wenn die nächsten zehn Leute alle Wette $ 10 auf Hilary, dann ist das $ 100 genommen in wird sie kosten $ 25 , wenn Hilary gewinnt. Also verkürzen sie Hilary auf 1-5 und erhöhen Trump auf 4-1. Jetzt setzen mehr Leute auf Trump und das Gleichgewicht ist wieder hergestellt. Das heißt, es basiert nur darauf, wie die Leute wetten, nicht auf den Experten oder den Vorhersagemodellen.

Aber natürlich schauen sich die Kunden der Buchmacher diese Umfragen an und hören sich diese Experten an. Sie hören, dass Hilary einen Vorsprung von 3% hat, und entscheiden, dass ein schneller Weg, um 10 $ zu verdienen, darin besteht, 40 $ auf sie zu setzen.

Indirekt bewegen die Experten und Umfragen die Chancen.

(Einige Leute bemerken auch, dass alle ihre Freunde bei der Arbeit über Trump abstimmen werden, also setzen Sie auf ihn, andere bemerken, dass alle Beiträge ihrer Facebook-Freundin für Hilary sind, also setzen Sie auf sie, damit die Realität ein wenig beeinflusst wird sie auf diese Weise.)

Es ist nicht verwunderlich, dass diese Bemühungen gescheitert sind, wenn man bedenkt, dass die Unterschiede zwischen den Informationen, auf die die Modelle zugreifen können, und den Informationen, die das Verhalten in der Wahlkabine beeinflussen, unterschiedlich sind. Ich spekuliere, aber die Modelle berücksichtigen wahrscheinlich:

• eine Vielzahl von Wahlergebnissen vor der Wahl
• historische Staatsanleihen (blau / rot)
• historische Ergebnisse früherer Wahlen mit aktuellen Vorstellungen

Umfragen vor den Wahlen sind jedoch unzuverlässig (wir haben in der Vergangenheit immer wieder Misserfolge erlebt), Staaten können umkippen, und es gab in unserer Geschichte nicht genügend Wahlzyklen, um die Vielzahl der Situationen zu erklären, die auftreten können und dies tun .

Eine weitere Komplikation ist der Zusammenfluss der Volksabstimmung mit dem Wahlkollegium. Wie wir bei dieser Wahl gesehen haben, kann die Volksabstimmung innerhalb eines Staates extrem eng sein, aber sobald der Staat gewonnen ist, gehen alle Stimmen an einen Kandidaten, weshalb die Karte so rot ist.

Bei den Umfragemodellen wurde nicht berücksichtigt, wie viele Libertäre bei der tatsächlichen Abstimmung von Johnson zu Trump wechseln könnten . Die Staaten, die mit einem knappen Vorsprung gewonnen wurden, wurden anhand des Prozentsatzes der Stimmen, die Johnson erhielt, gewonnen. PA (die Trump in der Wahlnacht an 270 vorbeischob) gab Johnson nur 2%. NH (das an Clinton ging) gab Johnson 4% +. Johnson hatte am Tag vor der Wahl eine Umfrage bei 4 bis 5% und am Tag der Wahl bei 3%.

Also, warum haben die Libertären plötzlich den Wahltag eingeläutet? Niemand dachte darüber nach, was für die libertären Wähler das zentrale Thema war. Sie neigen dazu, die wörtliche Auslegung der Verfassung als Kanon zu betrachten. Die meisten Menschen, die für Clinton gestimmt haben, waren nicht der Meinung, dass ihre Ablehnung des Gesetzes eine ausreichend hohe Priorität hatte, um darüber nachzudenken. Sicherlich nicht höher als alles, was sie an Trump nicht mochten.

Unabhängig davon, ob ihre rechtlichen Probleme für andere wichtig waren oder nicht, wären sie für Libertäre wichtig. Sie würden der Abwesenheit einer Person, die die Einhaltung von Gesetzen bestenfalls als freiwillig ansieht, höchste Priorität einräumen. Für eine große Anzahl von ihnen würde die Abwesenheit von Clinton eine höhere Priorität haben als die Aussage, dass die libertäre Philosophie eine tragfähige politische Philosophie ist.

Viele von ihnen mochten Trump vielleicht nicht einmal, aber wenn sie dachten, dass er die Rechtsstaatlichkeit mehr respektieren würde als Clinton, hätte der Pragmatismus für viele von ihnen Prinzipien gewonnen und sie veranlasst, ihre Stimme zu wechseln, wenn dies geschah Es wurde Zeit, tatsächlich abzustimmen.

Umfragen sind keine historischen Trends. Ein Bayesianer würde nach den historischen Trends fragen. Seit Abraham Lincoln gibt es eine Republikanische Partei und eine Demokratische Partei, die das Präsidentenamt innehaben. Der seitdem 16-malige Parteitrend aus Wikipedia hat folgende kumulative Massenfunktion

$x$

Was Journalisten, die Demokratische Partei und die Umfrageteilnehmer dazu veranlasste, zu glauben, dass die Chancen für einen Sieg der Liberalen standen, war vielleicht Wunschdenken. Das Verhalten mag in Grenzen vorhersehbar sein, aber in diesem Fall wünschten sich die Demokraten, dass die Menschen nicht für eine Änderung stimmen würden, und aus historischer Sicht scheint es wahrscheinlicher, dass es eine geben würde, als nicht.

Meines Erachtens wurden die Umfrageergebnisse auf das Ausmaß der Öffentlichkeit hochgerechnet, in dem davon ausgegangen wurde, dass die demografischen Daten der Wähler denen der Umfrageteilnehmer ähneln und die gesamte Bevölkerung gut repräsentieren. Wenn beispielsweise 7 von 10 Minderheiten Hillary in den Umfragen unterstützten und wenn diese Minderheit 30% der US-Bevölkerung repräsentiert, wird die Mehrheit der Umfragen davon ausgehen, dass 30% der Wähler von dieser Minderheit vertreten sind, und dies entspricht einem Zuwachs von 21% für Hillary. In Wirklichkeit waren weiße Männer der Mittel- und Oberschicht unter den Wählern besser vertreten. Weniger als 50% der teilnahmeberechtigten Personen stimmten, was nicht zu 50% bei allen Geschlechtern, Rennen usw. führte.

Oder Umfragen gingen von einer perfekten Randomisierung aus und basierten auf deren Modellen. In Wirklichkeit waren die Wählerdaten jedoch auf ältere Männer der mittleren bis oberen Klasse ausgerichtet.

Oder die Umfragen gingen nicht genau von einer perfekten Randomisierung aus, aber ihre Extrapolationsparameter unterschätzten die Heterogenität der Wählerdemografie.

ETA: Die Umfragen der letzten beiden Wahlen verliefen besser, da die Stimmen von Gruppen, die normalerweise nicht gut vertreten sind, stärker berücksichtigt wurden.

HoraceT und CliffAB (sorry für zu lange Kommentare) Ich fürchte, ich habe ein Leben lang Beispiele, die mir auch beigebracht haben, dass ich mit ihren Erklärungen sehr vorsichtig sein muss, wenn ich es vermeiden möchte, Menschen zu beleidigen. Also bitte ich Sie um Geduld, auch wenn ich Ihre Nachsicht nicht will. Hier geht:

Um mit einem extremen Beispiel zu beginnen, sah ich einmal eine vorgeschlagene Umfragefrage, in der Analphabeten von Dorfbauern (Südostasien) gebeten wurden, ihre "wirtschaftliche Rendite" zu schätzen. Wenn wir die Antwortoptionen für den Moment beiseite lassen, können wir hoffentlich alle sehen, dass dies eine dumme Sache ist, aber es ist nicht so einfach, konsequent zu erklären, warum es dumm ist. Ja, wir können einfach sagen, dass es dumm ist, weil der Befragte die Frage nicht versteht und sie einfach als semantisches Problem abweist. Aber das ist im Forschungskontext nicht gut genug. Die Tatsache, dass diese Frage jemals nahegelegt wurde, impliziert, dass Forscher inhärente Variabilität in Bezug auf das haben, was sie als "dumm" betrachten. Um dies objektiver anzugehen, müssen wir einen Schritt zurücktreten und transparent einen relevanten Rahmen für die Entscheidungsfindung in Bezug auf solche Dinge festlegen. Es gibt viele solche Optionen,

Nehmen wir also transparent an, dass wir zwei grundlegende Informationstypen haben, die wir für Analysen verwenden können: qualitativ und quantitativ. Und dass die beiden durch einen Transformationsprozess verbunden sind, sodass alle quantitativen Informationen als qualitative Informationen begannen, aber die folgenden (stark vereinfachten) Schritte durchliefen:

1. Konventionen (z. B. haben wir alle beschlossen, dass [unabhängig davon, wie wir es individuell wahrnehmen], wir alle die Farbe eines tagsüber geöffneten Himmels „blau“ nennen.)
2. Klassifizierung (zB wir bewerten alles in einem Raum nach dieser Konvention und unterteilen alle Gegenstände in "blaue" oder "nicht blaue" Kategorien)
3. Zählen (wir zählen / erkennen die 'Menge' der blauen Dinge im Raum)

Beachten Sie, dass es (unter diesem Modell) ohne Schritt 1 keine Qualität gibt. Wenn Sie nicht mit Schritt 1 beginnen, können Sie niemals eine aussagekräftige Menge generieren.

Einmal gesagt, sieht das alles sehr offensichtlich aus, aber es sind solche Sätze erster Prinzipien, die (wie ich finde) am häufigsten übersehen werden und daher zu "Garbage-In" führen.

Die 'Dummheit' im obigen Beispiel wird also sehr klar als ein Misserfolg definiert, eine gemeinsame Konvention zwischen dem Forscher und den Befragten festzulegen. Natürlich ist dies ein extremes Beispiel, aber viel subtilere Fehler können ebenso Müll erzeugen. Ein anderes Beispiel, das ich gesehen habe, ist eine Umfrage unter Bauern im ländlichen Somalia, bei der die Frage gestellt wurde, inwiefern sich der Klimawandel auf Ihren Lebensunterhalt ausgewirkt hat. Auch wenn ich die Reaktionsmöglichkeiten für den Moment beiseite lasse, würde ich vorschlagen, dies sogar von Bauern im Mittleren Westen von Somalia zu verlangen Die Vereinigten Staaten würden ein schwerwiegendes Versäumnis darstellen, eine gemeinsame Konvention zwischen dem Forscher und dem Befragten anzuwenden (dh was als "Klimawandel" gemessen wird).

Kommen wir nun zu den Antwortoptionen. Indem Sie den Befragten erlauben, Antworten aus einer Reihe von Multiple-Choice-Optionen oder ähnlichen Konstrukten selbst zu codieren, bringen Sie dieses Problem der Konvention auch in diesen Aspekt des Fragens. Dies kann in Ordnung sein, wenn wir uns alle effektiv an „universelle“ Konventionen in Bezug auf Antwortkategorien halten (z. B. Frage: In welcher Stadt leben Sie? Antwortkategorien: Liste aller Städte im Forschungsgebiet [plus „Nicht in diesem Gebiet“]). Viele Forscher scheinen jedoch stolz darauf zu sein, ihre Fragen und Antwortkategorien genau auf ihre Bedürfnisse abzustimmen. In der gleichen Umfrage, in der die Frage nach der wirtschaftlichen Rendite auftauchte, bat der Forscher auch die Befragten (arme Dorfbewohner), anzugeben, zu welchem ​​Wirtschaftszweig sie beigetragen haben: mit den Antwortkategorien „Produktion“, „Dienstleistung“, "Herstellung" und "Marketing". Auch hier ergibt sich offensichtlich eine qualitative Konventionsfrage. Da sich die Antworten jedoch gegenseitig ausschlossen, konnten die Befragten nur eine Option auswählen (weil „es einfacher ist, auf diese Weise in SPSS einzuspeisen“), und die Bauern in den Dörfern produzieren routinemäßig Getreide, verkaufen ihre Arbeitskräfte, stellen Kunsthandwerk her und nehmen alles in die Hand Dieser Forscher hatte nicht nur ein Konventionsproblem mit seinen Befragten, er hatte auch eines mit der Realität.

Aus diesem Grund empfehlen alte Bohrer wie ich immer den arbeitsintensiveren Ansatz, die Codierung auf die Nacherfassung von Daten anzuwenden. Zumindest können Sie Codierer in von Forschern abgehaltenen Konventionen ausreichend schulen (und beachten Sie, dass Sie versuchen, den Befragten solche Konventionen zu vermitteln in umfrage anleitung 'ist ein tassenspiel - vertraue mir erstmal auf dieses). Beachten Sie auch, dass, wenn Sie das oben genannte "Informationsmodell" akzeptieren (was ich auch nicht behaupte), es auch zeigt, warum quasi-ordinale Antwortskalen einen schlechten Ruf haben. Es sind nicht nur die grundlegenden mathematischen Fragen gemäß der Steven-Konvention (dh Sie müssen einen aussagekräftigen Ursprung auch für Ordnungszahlen definieren, Sie können sie nicht hinzufügen und mitteln usw. usw.). es ist auch so, dass sie oft nie einen transparent deklarierten und logisch konsistenten Transformationsprozess durchlaufen haben, der einer „Quantifizierung“ gleichkommt (dh eine erweiterte Version des oben verwendeten Modells, die auch die Generierung von „ordinalen Größen“ umfasst [- das ist nicht schwer] machen]). Erfüllt es jedoch nicht die Anforderungen an qualitative oder quantitative Informationen, so behauptet der Forscher tatsächlich, eine neue Art von Informationen außerhalb des Rahmens entdeckt zu haben, und muss daher seine grundlegende konzeptionelle Grundlage vollständig erläutern ( dh ein neues Framework transparent definieren).

Schauen wir uns zum Schluss die Stichprobenprobleme an (und ich denke, dies stimmt mit einigen der anderen Antworten überein, die bereits hier gegeben wurden). Wenn ein Forscher beispielsweise eine Konvention anwenden möchte, die einen „liberalen“ Wähler ausmacht, muss er sicherstellen, dass die demografischen Informationen, die er für die Auswahl seines Stichprobenregimes verwendet, mit dieser Konvention übereinstimmen. Diese Ebene ist in der Regel am einfachsten zu identifizieren und zu handhaben, da sie weitgehend der Kontrolle der Forscher unterliegt und am häufigsten die Art der angenommenen qualitativen Konvention ist, die in der Forschung transparent deklariert wird. Dies ist auch der Grund, warum diese Ebene in der Regel diskutiert oder kritisiert wird, während die grundlegenderen Fragen nicht behandelt werden.

Während sich die Umfrageteilnehmer also an Fragen wie "Wen planen Sie zu diesem Zeitpunkt zu wählen?" Halten, sind wir wahrscheinlich noch in Ordnung, aber viele von ihnen möchten viel "schicker" werden als diese ...