Ignoriert SurveyMonkey die Tatsache, dass Sie eine nicht zufällige Stichprobe erhalten?

SurveyMonkey verfügt über Schritte und ein Diagramm, mit denen Sie anhand Ihrer Bevölkerungsgröße herausfinden können, welche Stichprobengröße Sie für eine bestimmte Fehlerquote oder ein bestimmtes Konfidenzintervall benötigen.

SurveyMonkey-Stichprobengröße

Ignoriert diese Tabelle einfach die Tatsache, dass Sie keine Zufallsstichprobe erhalten, da Sie nur die Personen erhalten, die sich die Mühe machen, auf die Umfrage zu antworten?

Während ich dies tippe, werde ich gewarnt, dass die Frage subjektiv erscheint. Vielleicht stelle ich sie nicht richtig. Es geht nicht wirklich um SurveyMonkey, sondern um eine allgemeinere Frage: Können Sie Konfidenzintervalle aus freiwilligen Antwortdaten mithilfe einiger fortschrittlicher Techniken berechnen, die ich nicht kenne?

Bei Exit-Umfragen oder nationalen Umfragen müssen sie sich offensichtlich mit diesem Problem befassen. In meiner Ausbildung habe ich mich nicht eingehend mit Stichprobenverfahren befasst, aber ich gehe davon aus, dass demografische Daten gesammelt und anhand dieser Daten ermittelt werden müssen, wie repräsentativ Ihre Stichprobe ist.

Abgesehen davon gehen sie bei einer einfachen Online-Umfrage nur davon aus, dass die Personen, die sich die Mühe machen, zu antworten, eine Zufallsstichprobe der Bevölkerung sind?

Die kurze Antwort lautet Ja: Survey Monkey ignoriert genau, wie Sie Ihre Probe erhalten haben. Survey Monkey ist nicht klug genug anzunehmen, dass das, was Sie gesammelt haben, keine Convenience-Stichprobe ist, aber praktisch jede Survey Monkey-Umfrage ist eine Convenience-Stichprobe. Dies führt zu massiven Diskrepanzen bei genau dem, was Sie schätzen, was durch keine bloße Stichprobe beseitigt werden kann / wird. Einerseits könnten Sie eine Population (und Assoziationen darin) definieren, die Sie von einem SRS erhalten würden. Auf der anderen Seite könnte man eine Bevölkerung , die durch Ihre Nicht-Zufallsstichproben definieren, die Verbände dort Sie könnenSchätzung (und die Potenzregeln gelten für solche Werte). Es liegt an Ihnen als Forscher, die Diskrepanz zu diskutieren und den Leser genau entscheiden zu lassen, wie gültig die nicht zufällige Stichprobe für die Annäherung an einen realen Trend sein könnte.

$\mbox{Bias}_n = \theta - \hat{\theta}_n$$\hat{\theta} \rightarrow_p \theta$$\hat{\theta} \not\to_p \theta$in der Wahrscheinlichkeitstheorie. Experten für Studiendesign (wie Epidemiologen) haben die schlechte Angewohnheit, Inkonsistenz als "Voreingenommenheit" zu bezeichnen. In diesem Fall handelt es sich um eine Auswahlverzerrung oder eine freiwillige Verzerrung. Es ist sicherlich eine Form von Voreingenommenheit, aber Inkonsistenz impliziert, dass keine Stichprobenmenge jemals das Problem beheben wird.

Um Assoziationen auf Bevölkerungsebene anhand von Convenience-Stichprobendaten zu schätzen, müssten Sie den Stichprobenwahrscheinlichkeitsmechanismus korrekt identifizieren und in all Ihren Schätzungen die inverse Wahrscheinlichkeitsgewichtung verwenden. In sehr seltenen Situationen ist dies sinnvoll. Die Identifizierung eines solchen Mechanismus ist in der Praxis nahezu unmöglich. Eine Zeit, in der dies möglich ist, ist eine Kohorte von Personen mit vorherigen Informationen, die angesprochen werden, um eine Umfrage auszufüllen. Die Wahrscheinlichkeit einer Nichtbeantwortung kann als Funktion dieser vorherigen Informationen geschätzt werden, z. B. Alter, Geschlecht, SES, ... Die Gewichtung gibt Ihnen die Möglichkeit, die Ergebnisse in der Nicht-Antwortendenpopulation zu extrapolieren. Die Volkszählung ist ein gutes Beispiel für die Beteiligung der inversen Wahrscheinlichkeitsgewichtung für solche Analysen.