Wie behandelt man unlogische Umfrageantworten?

Ich habe eine Umfrage bei einer Auswahl von Künstlern eingereicht. Eine der Fragen bestand darin, den Prozentsatz des Einkommens anzugeben, der sich ergibt aus: künstlerischer Tätigkeit, staatlicher Unterstützung, privater Rente, Tätigkeiten, die nicht mit Kunst zu tun haben. Ungefähr 65% der Personen haben geantwortet, so dass die Summe des Prozentsatzes 100 ist. Die anderen antworten nicht: Es gibt zum Beispiel diejenigen, die 70% ihres Einkommens durch ihre künstlerische Tätigkeit und 60% durch die Einkommensregierung beziehen , und so weiter. Meine Frage ist: Wie soll ich diese Beobachtungen behandeln? Soll ich sie löschen, ändern oder behalten? Vielen Dank!

Dies ist eine gute Situation für eine Sensitivitätsanalyse. Analysieren Sie Ihre Daten auf drei Arten -

1. So wie sie sind
2. Nach dem Ausschluss von "Unlogischen", dh Personen, deren Prozentsatz nicht 100 (oder 100 +/- 10) ergibt
3. Nach Anpassung, falls erforderlich, so dass sich die Prozentsätze jeder Person zu 100 addieren

Vergleichen Sie dann die Ergebnisse, und teilen Sie alle Gründe mit, die Sie entwickeln können, um festzustellen, welche Ergebnisse möglicherweise genauer oder in bestimmten Punkten genauer sind.

Sie können auch untersuchen, inwieweit sich die logischen und unlogischen Aspekte unterscheiden. Neigen die Unlogischen dazu, höhere Einkommen zu melden? Um bestimmte Ideen oder Programme besser zu unterstützen? Weitere Fragen überspringen? Mehr Voreingenommenheit im Sinne einer Geradlinigkeit oder einer überproportionalen Auswahl von mittleren oder extremen Reaktionen?

Mit ungefähr 400 oder diesen unlogischen Daten verfügen Sie über genügend Daten, um sogar die Beziehung zwischen den Graden zu beurteilen der Unlogik und dem Grad einer bestimmten Art von Verzerrung . So etwas wie eine Dosis-Wirkungs-Beziehung.

Was Sie aus diesen Untersuchungen lernen, wird möglicherweise in Ihren Plan für den Umgang mit den Unlogiken zurückgeführt, wenn es um die wichtigsten Analysen von Interesse geht.

Wie hier bereits angedeutet, sind diese Antworten nicht unbedingt unlogisch. Zum Beispiel sagst du

Die anderen tun es nicht: Es gibt zum Beispiel diejenigen, die antworten, dass 70% ihres Einkommens von ihrer künstlerischen Tätigkeit und 60% von der Einkommensregierung stammen, und so weiter.

Das macht durchaus Sinn, wenn 30% des Einkommens aus künstlerischen Tätigkeiten für die Regierung stammen. Dann haben wir wirklich drei Gruppen:

• Künstlerische Tätigkeit ohne Bezug zur Regierung: 40%.
• Regierung, unabhängig von künstlerischer Tätigkeit: 30%.
• Vom Staat subventionierte künstlerische Tätigkeit: 30%.

Diese Zahlen summieren sich zu 100%.

Betrachten Sie die folgenden Fragen:

• Sind die Regierung oder die Aktivitäten von Lebensmittelmarken nicht mit den Künsten verbunden?
• Ist die Regierung der sozialen Sicherheit oder eine Rente?
• Handelt es sich bei einer staatlichen Rente (ehemaliger Regierungsangestellter) um eine private Rente oder um eine staatliche Rente?
• Ist ein staatliches Stipendium für das Malen einer künstlerischen Tätigkeit oder Regierung?
• Ist ein Job als Kunstlehrer bei einer örtlichen Schulbehörde oder eine künstlerische Tätigkeit oder eine Tätigkeit, die nicht mit der Kunst zu tun hat?
• Handelt es sich bei der Pension um eine private oder künstlerische Tätigkeit, wenn die Pension von einer künstlerischen Tätigkeit zurückgetreten ist (Lehrtätigkeit oder kaufmännische Tätigkeit, z. B. das Zeichnen von Geschenkkarten)? Oder im Falle der Lehre möglicherweise Regierung?

Sie möchten, dass sich diese Kategorien gegenseitig ausschließen. Ich glaube jedoch nicht, dass jeder sie so interpretieren würde. Möglicherweise haben Sie klare Gedanken darüber, wie diese Aktivitäten kategorisiert werden sollten, aber es ist nicht klar, dass Ihre Befragten bei der Beantwortung dieselben Einteilungen im Auge hatten. Wenn Sie möchten, dass die Zahlen zu 100% addiert werden, sollten Sie dies zumindest den Leuten mitteilen.

Persönlich denke ich, dass der beste Ansatz für diese Art von Problem darin besteht, eine Art Fokusgruppe zu bilden. In einer herkömmlichen Umfrage können Sie Antworten möglicherweise nicht validieren. Rufen Sie also Personen an oder besuchen Sie sie, die von der Umfrage angesprochen werden, und beginnen Sie ein Gespräch. Wenn sie dann Antworten geben, die Sie nicht verstehen, fragen Sie sie, warum. Fragen Sie sie außerdem, wie Sie die Frage hätten stellen sollen, damit Sie die gewünschten Ergebnisse erzielen. Dies funktioniert eher wie eine Fokusgruppe, da es interaktiv ist.

Sobald Sie dies getan haben, können Sie eine bessere Vorstellung davon bekommen, wie Sie mit den Antworten umgehen, die nicht in Ihr Format passen. Zum Beispiel könnten Sie die 30% extra nehmen und jeweils die Hälfte davon abziehen. Dann hätten Sie 55% künstlerische Aktivität und 45% Regierung. Sie können sich auch als 40% private künstlerische Aktivität, 30% staatlich geförderte künstlerische Aktivität und 30% sonstige Aktivitäten (in diesem Fall staatliche Unterstützung, die nicht mit künstlerischer Aktivität zusammenhängt, z. B. Essensmarken oder Mietunterstützung) einstufen. Oder werfen Sie die Umfrage aus und wiederholen Sie sie, weil die Leute Ihre Kategorien nicht richtig verstehen. Ein Teil davon hängt davon ab, was Sie unter den Kategorien verstanden haben und wie sie sie interpretiert haben.

Zu spät, aber für zukünftige Umfragen sollten Sie vor der Umfrage eine regelmäßige Fokusgruppe einrichten. Dann können Sie Ihre Fragen in der Gruppenumgebung testen und verbessern. Möglicherweise stellen Sie sogar fest, dass Sie zusätzliche Fragen von der Gruppe erhalten. Wenn es zu schwierig ist, dies persönlich zu tun, sollten Sie es online tun. Oder machen Sie eine Testumfrage (von einer kleineren Anzahl von Personen, die Antworten mit anschließenden Fragen bestätigt) per Telefon, bevor Sie an der eigentlichen Umfrage teilnehmen. Alle diese Punkte können Ihnen dabei helfen, Ihre Fragen klarer zu stellen.

Zum Beispiel sollten Ihre wirklichen Kategorien private Einkünfte aus künstlerischer Tätigkeit sein; staatlich geförderte künstlerische Tätigkeit; private Rente von einem früheren Job; sonstiges Einkommen ohne Bezug zur künstlerischen Tätigkeit. Oder was anderes. Ein Teil des Problems ist, dass ich nicht sagen kann, was Sie wollen, was mich denken lässt, dass Ihre Befragten es auch nicht konnten. Wenn es drei verschiedene Interpretationen gibt, ist es fast so, als würden Sie Antworten aus drei verschiedenen Umfragen mischen.

Ich kann Ihnen keine Antwort auf den allgemeinen Fall unlogischer Antworten geben. Aber für diese Art von Frage - war da, habe das getan. Nicht nur in einer Umfrage, sondern auch in semistrukturierten Interviews, in denen ich die Möglichkeit hatte zu beobachten, wie die Leute auf diese Art von Antwort kommen. Basierend auf diesen sowie einigen allgemeinen Erfahrungen in der Beobachtung und Analyse von kognitiven Prozessen würde ich vorschlagen: Normalisieren Sie Ihre Daten wieder auf eine Summe von 100%. . Der Grund dafür ist, dass die Leute anscheinend zuerst in die hervorstechendste Kategorie gehen - in Ihrem Fall wäre dies das größte Einkommen - und eine Bauchgefühlsschätzung in Prozent abgeben, dann über die nächsten kleineren Kategorien nachdenken und ihre relative Schätzung zugrunde legen an den Anker der ersten Kategorie, zuzüglich derjenigen weiterer bereits erwähnter Kategorien.

Ein Gedankengang lautet zum Beispiel: "Meine erste Einnahmequelle ist mit Sicherheit mehr als die Hälfte. Sie macht was aus, 60%? Nein, das ist zu niedrig, sagen wir 65%. Die zweite ist ungefähr ein Drittel davon Das wäre ein bisschen mehr als 20%, ähm, schwer zu berechnen in meinem Kopf, runden wir auf 25% auf. Das dritte fühlt sich auch wie ein Drittel des ersten an, aber es ist eigentlich immer ein bisschen mehr als das erste zweitens sollten es 30% sein, oder sogar 35? Nein, lass uns mit 30 gehen. Oh, und ich habe vergessen, dass ich eine vierte Quelle habe, die nur einmal im Jahr vorkommt, die im Vergleich zu den anderen wirklich klein sein sollte 5 oder 10%? Probabaly 5 ist näher, es ist nicht wirklich so viel ". Am Ende erhalten Sie eine Antwort von 65 + 25 + 30 + 5 = 125%.

Da sich die Menschen eher der relativen Größe der Einkommensteile zueinander als der relativen Größe der Einkommensteile zur Gesamtsumme bewusst sind, würde ich sagen, dass es hier angebracht ist, sie zu normalisieren, wenn Sie eine Art numerische Analyse des Einkommens durchführen möchten . Ich würde nur mit den tatsächlich gemeldeten Zahlen arbeiten, wenn der Unterschied zwischen den Überzeugungen und Aussagen der Menschen über ihr Einkommen und ihre objektive Realität ein wichtiges Thema für Ihre Arbeit ist, zum Beispiel wenn Sie ein Psychologe sind, der sich mit kognitiven Vorurteilen befasst, oder wenn Sie sich mehr für das interessieren Selbstwahrnehmung der Künstler als in ihren wirtschaftlichen Umständen.

Leider habe ich keine gute Literaturquelle, um zu beweisen, dass es wirklich so funktioniert, wie ich es beschrieben habe, es ist nur meine persönliche empirische Beobachtung. Aber ich glaube nicht, dass die Rezensenten von dieser Art von Entscheidung erfasst werden, da es, wie die anderen Antworten sagten, keinen einzigen "richtigen" Weg gibt, sie zu behandeln. Wenn überhaupt, werden Ihre gesamten Daten aufgrund einer fehlerhaften Abfragetechnik für ungültig erklärt. Das Beste, was Sie tun können, ist, dies vorab anzuerkennen und zu argumentieren, warum Ihre Arbeit dennoch nützlich ist und warum die Schlussfolgerungen, die Sie ziehen, trotz dieser spezifischen Quelle von Ungenauigkeiten in den Daten immer noch gut sind.

Wenn mir die Sozialwissenschaft etwas beigebracht hat, ist es so, dass wenn Sie den Menschen die Möglichkeit geben, logisch inkonsistente Antworten zu geben, sie es tun. Seien Sie also versichert, dass Ihre Motive nichts Ungewöhnliches sind. Dies sollten Sie beim Entwerfen künftiger Umfragen berücksichtigen. Im Moment ist es möglicherweise am besten, die Antworten so zu belassen, wie sie sind, und in Ihren Analysen zu berücksichtigen, dass die Antworten nicht wirklich 100% ergeben, wie man denkt. Anstatt der wahren Proportionen haben Sie laute Signale dafür, wie viel Einkommen jedes Fach aus jeder Kategorie erzielt. Analysieren Sie sie also auf diese Weise.

künstlerische Tätigkeit, staatliche Unterstützung, private Altersvorsorge, Tätigkeiten, die nicht mit Kunst zu tun haben

Nur auf einen Blick scheint es, dass "künstlerische Aktivität" und "Aktivität, die nicht mit Kunst zu tun hat" 100% ausmachen sollten.

Natürlich ist "nicht mit den Künsten verbundene Tätigkeit" nicht dasselbe wie "nicht mit den Künsten verbundene Tätigkeit", da mit keiner Tätigkeit überhaupt ein Einkommen verbunden sein kann. Aber das ist Haarspalterei, die die meisten Künstler nicht bemerken.

Wenn Sie davon ausgehen, dass sich die Kategorien 1 und 4 zu 100% summieren sollten, und diese Befragten entsprechend neu interpretieren, haben Sie möglicherweise festgestellt, dass die meisten von ihnen die Kategorien 2 und 3 in die Kategorie 4 aufgenommen haben.

All dies ist jedoch eine Datenmanipulation, die nicht ideal ist. Wenn Sie genaue statistische Antworten wünschen, müssen Sie genaue Daten sammeln. Die Leute lügen vielleicht als Antwort auf Ihre Umfrage, und das ist schwer zu verhindern, aber wenn Menschen, die ehrlich versuchen, Ihre Fragen zu beantworten, sich darüber im Klaren sind, was gemeint ist, muss Ihre Umfrage neu geschrieben werden.

Lesen Sie die Umfrage das nächste Mal auf Verständlichkeit und Unklarheit durch , bevor Sie sie versenden.

Sie haben vier Einkommenskategorien angegeben - wie steht es mit dem Einkommen, das in keiner von ihnen enthalten ist? Zum Beispiel Dividendenerträge aus dem Halten von Aktien. Es ist kein Einkommen aus irgendeiner Form von Aktivität, aber es ist auch keine staatliche Unterstützung oder eine Rente. Ich würde vorschlagen, dass Sie in Ermangelung anderer Informationen die Antworten als richtig betrachten und das fehlende Geld Quellen zuordnen, die die Befragten nicht als von den Kategorien erfasst erachteten.

Eigentlich ist das ganz einfach (und nicht einmal so unlogisch, wie man denkt)! Ich gehe davon aus, dass es wirklich die Anteile der verschiedenen Einkommenskategorien sind, die Sie anstreben, indem Sie nach Prozentsätzen fragen. Sie können also einfach auf 100% umnormalisieren. In Ihrem Beispiel: Wenn jemand sagt: 70% meines Einkommens stammen aus künstlerischen Aktivitäten und 60% aus staatlicher Unterstützung, sagt diese Person (die vermutlich noch nie eine Ausbildung im Umgang mit Prozentsätzen erhalten hat) tatsächlich: den VerwandtenGrößen oder Anteile meines Einkommens aus künstlerischer und staatlicher Tätigkeit liegen bei etwa 70 bis 60 oder 7 bis 6 (wahrscheinlich ohne zu wissen, dass sich Prozentsätze auf 100 belaufen sollen). Sie können diese Angaben zu Anteilen in Angaben zu Prozentsätzen umwandeln, indem Sie sie einfach wie folgt neu normieren: 70/130 * 100 = 53% künstlerisches Einkommen und 60/130 * 100 = 47% staatliches Unterstützungseinkommen.

(Was ich hier mache, ist tatsächlich 130% als "neue" 100% zu nehmen und die Proportionen zu berechnen.)

PS. Dies funktioniert in allen Fällen, in denen die Summe der angegebenen Prozentsätze ungleich 100 ist

Hoffe das hilft!

Die Mehrzahl der bereits gegebenen Antworten hat bereits einen Einblick in die offensichtlichen methodischen Mängel der Umfrage gegeben, weshalb ich hier nicht näher darauf eingehen werde. Stattdessen werde ich einige praktische Optionen zur Behandlung dieser Daten bereitstellen, da diese bereits erfasst wurden und trotz der fehlerhaften Frage. Es gibt verschiedene Möglichkeiten, damit umzugehen. Sie könnten erwägen, Antworten zu kennzeichnen, die Ihrer Definition einer "gültigen Antwort" nicht entsprechen, indem Sie die gesamte Frage als fehlend behandeln und dann eine beliebige Anzahl von Vorgehensweisen für den Umgang mit nicht beantworteten Elementen befolgen, wie hier beschrieben .

Sie können auch in Betracht ziehen, jede Antwort so zu skalieren, dass sich die Prozentsätze zu 100 addieren. Angenommen, jede Antwort wird als Prozentsatz aufgezeichnet, kann dies durch Neucodierung jeder ursprünglichen Antwort erfolgen $y_{{old}_{ij}}$ $(j=1,2,3,4)$ of the 4 sub-components to your question (i.e. artistic activity, government support, private pension, activities not related with arts) into a new response $y_{{new}_{ij}}$ as follows:

$$\begin{eqnarray*} y_{new_{ij}} & = & \begin{cases} 0 & ,\,\text{for}\,\sum_{j=1}^{4}y_{old_{ij}}=0\\ \frac{y_{old_{ij}}}{\sum_{j=1}^{4}y_{old_{ij}}} & ,\,\text{for}\,\sum_{j=1}^{4}y_{old_{ij}}>0\\ Missing & ,\,Otherwise \end{cases} \end{eqnarray*}$$ So for example, say you had a respondent $i$ who answered as follows:

 A. (i=1) Artistic activity:  10% 
 B. (i=2) Government support: 0% 
 C. (i=3) Private pension: 30% 
 D. (i=1) Activities not related with arts:  40%

Then you'd recode as follows:

$$\begin{eqnarray*} y_{new_{i1}} & = & \frac{10}{10+0+30+40}=\frac{10}{80}=12.5\%\\ y_{new_{i2}} & = & \frac{0}{10+0+30+40}=\frac{0}{80}=00.0\%\\ y_{new_{i3}} & = & \frac{30}{10+0+30+40}=\frac{30}{80}=37.5\%\\ y_{new_{i4}} & = & \frac{40}{10+0+30+40}=\frac{40}{80}=50.0\% \end{eqnarray*}$$

Note that all the new percentages now add to 100%. Whatever you do, please be sure you make any transformations very clear when reporting your results and I think @rolando2 provided some excellent advice on how to perform some sensitivity analyses to see how transformations like these might affect your conclusions.