Gelten Konfidenzintervalle für Quotenstichproben?

Französische Wahlinstitute stehen derzeit vor einer großen Krise, nachdem sie kürzlich eine bislang lächerlichste Umfrage zum Pferderennen der Präsidentschaftswahlen 2012 veröffentlicht haben. Der französische Senat erwägt nun, Gesetze zu diesem Thema zu erlassen, indem er die Wahlinstitute zwingt, unter anderem die Konfidenzintervalle für ihre Ergebnisse zu veröffentlichen.

Allerdings sind einige Demoskopen entgegen die Maßnahme und behaupten , dass Konfidenzintervall gilt nicht zu Quotenauswahl , die das Verfahren durch Umfrageinstitute in Frankreich verwendet wird. Da es sich bei der Quotenstichprobe formal um eine nicht probabilistische Stichprobe handelt, ist die Behauptung zutreffend. Da es sich bei der Quotenstichprobe jedoch um eine grundlegend geschichtete Stichprobe handelt , sollten Konfidenzintervalle gelten, oder?

Darf ich um Erfahrungen zu diesem Thema außerhalb Frankreichs bitten, in Ländern, in denen Meinungsforscher auch Quotenstichproben verwenden?

Wie Whuber sagt, lautet die kurze Antwort, dass Quotenstichproben das "Aushängeschild für veraltete, bekanntermaßen schlechte Stichprobenverfahren" sind und "seit langem diskreditiert wurden". Die längere Antwort lautet, dass es Bedingungen geben kann, unter denen "quotenähnliche" Stichproben einigermaßen gut funktionieren können.

In Anhang A werden kürzlich Arbeiten zur Rekonstruktion repräsentativer Ergebnisse von Opt-In-Internet-Panels vorgestellt. Dieses Papier gibt die statistische Grundlage für diesen Ansatz. Um es kurz zu machen, typische Stichprobenverfahren 1) Ziehen Sie eine Zufallsstichprobe, 2) versuchen Sie, Probanden zu rekrutieren, und 3) fügen Sie nach der Schichtung Gewichte hinzu, um Unterschiede in der Antwort auszugleichen. Beim Opt-In-Ansatz rekrutieren Sie 1) Probanden nicht zufällig, 2) vergleichen die Antworten mit einer repräsentativen Basislinie und 3) fügen Gewichte hinzu, um die Unterschiede auszugleichen.

In Bezug auf die Praxis ähnelt die Opt-In-Stichprobe der Quotenstichprobe, die statistische Grundlage ist jedoch weiter entwickelt. Der Vorteil ist, dass Sie Angaben zu repräsentativen Stichproben, Konfidenzintervallen usw. machen können. Der Nachteil ist, dass Ihre Angaben auf schwer zu überprüfenden Annahmen darüber beruhen, wie Personen sich selbst in Ihre Stichprobe auswählen.

Viele Leute stehen diesen Methoden skeptisch gegenüber - sie klingen zu sehr nach Quotenstichproben. Aber einige Hinweise legen nahe , dass Opt-in - Sampling gut funktionieren kann zumindest einen Teil der Zeit. Trotz der Kontroverse scheint es Polimetrix / YouGov (einem frühen Anwender des Opt-In-Stichprobenmodells) einigermaßen gut zu gehen. Unter anderem haben sie die gesamte Datenerfassung für die Cooperative Congressional Election Study durchgeführt , eine Reihe kürzlich durchgeführter akademischer nationaler US- Wahlstudien .

(Ich bin mir ziemlich sicher, dass ICPSR diese Daten enthält. Wenn nicht, ist dies bei Harvards sozialwissenschaftlicher Datenversion sicherlich der Fall. Viele Wissenschaftler verwenden Daten aus diesen Stichproben.)

Wie auch immer, Sie haben nach Quotenstichproben gefragt. Wie Sie bereits im Kommentarthread hier sehen können, wird Ihnen jeder gut ausgebildete Meinungsforscher sagen, dass es sich bei der Quotenauswahl um eine Koje handelt. Die Jury ist immer noch nicht in der Opt-In-Stichprobe. Wenn Sie vorerst Konfidenzintervalle um Quotenstichproben ziehen möchten, würde ich sagen, dass diese Methoden die beste Wahl sind.

1. In den meisten nicht obligatorischen Umfragekontexten besteht ein erhebliches Problem mit der Nichtbeantwortung. Dies aus dem Jahr 2002: "Die kürzlich gemeldete Schätzung der Kooperationsraten bei Umfragen durch CMOR, den Rat für Markt- und Meinungsforschung [USA], betrug durchschnittlich nur 14,7 Prozent." und von Paul Gerhold: "Ich glaube, dass es immer noch möglich ist, Zufallsstichproben zu ziehen. Ich glaube einfach nicht, dass es möglich ist, sie auszuführen." In diesem Zusammenhang ist die Tatsache, dass die SAMPLE zufällig ist, nicht sehr relevant, da die resultierenden Daten nicht relevant sind.

2. Dies macht die Bias-Anpassung zum Hauptproblem bei der gültigen Schätzung, und das Design von Feldmethoden ist eine wichtige Komponente. Die Art und Weise, wie man dies tun möchte, und die daraus resultierenden Vertrauensschätzungen gehen weit über das hinaus, was hier diskutiert werden kann.