Intelligence Squared Scoring und Gewinnerermittlung

Es gibt einen NPR-Podcast namens Intelligence Squared. Jede Folge ist eine Ausstrahlung einer Live-Debatte über umstrittene Aussagen wie "Die zweite Änderung ist nicht mehr relevant" oder "Affirmative Action auf dem College-Campus schadet mehr als nützt". Vier Vertreter debattieren - zwei für den Antrag und zwei dagegen.

Um festzustellen, welche Seite gewinnt, wird das Publikum vor und nach der Debatte befragt. Die Seite, die in absoluten Prozentsätzen mehr gewonnen hat, gilt als Sieger. Beispielsweise:

          For    Against  Undecided
 Before   18%      42%       40%
 After    23%      49%       28%

 Winner: Against team -- The motion is rejected.

Intuitiv denke ich, dass dieses Erfolgsmaß voreingenommen ist, und ich frage mich, wie man das Publikum befragen würde, um den Gewinner auf faire Weise zu bestimmen.

Drei Probleme sehe ich sofort mit der aktuellen Methode:

• Wenn im Extremfall eine Seite mit 100% iger Übereinstimmung beginnt, kann sie nur binden oder verlieren.

• Wenn es keine Unentschlossenheit gibt, kann die Seite mit weniger anfänglicher Übereinstimmung als eine größere Stichprobe angesehen werden, aus der gezogen werden kann.

• Die unentschlossene Seite dürfte nicht wirklich unentschlossen sein. Wenn wir davon ausgehen, dass beide Seiten gleich polarisiert sind, sollte unsere vorherige Überzeugung von der unentschlossenen Bevölkerung wenn jeder gezwungen wurde, eine Seite zu vertreten.$\text{Beta}(\text{# For}, \text{# Against})$

Gibt es angesichts der Tatsache, dass wir uns auf die Befragung der Zuschauer verlassen müssen, eine gerechtere Möglichkeit zu beurteilen, wer gewinnt?

Ihre Bedenken sind begründet. Leider gibt es viele vertretbare, objektive Wege, um dieses Problem zu lösen, und sie können miteinander in Konflikt geraten. Die folgende Analyse bietet einen Rahmen für die Entscheidung, wie Sie das Ergebnis bewerten möchten, und zeigt, wie abhängig Ihre Schlussfolgerungen von Annahmen sind, die Sie über die Dynamik der Situation treffen.

---

Wir haben wenig oder keine Kontrolle über das ursprüngliche Publikum. Möglicherweise handelt es sich nicht um eine größere Population (wie alle Zuschauer), an der wir mehr interessiert sind. Daher absolute Zahl der Meinungen sind von geringer Bedeutung: welche Fragen die sind Raten bei denen die Menschen ihre Meinung ändern könnten. (Anhand dieser Raten können wir abschätzen, wie sich die Hörerpopulation ändern könnte, wenn Informationen zu ihren ursprünglichen Meinungen vorliegen, selbst wenn sich die Anteile der Meinungen im Hörerpublikum von den befragten Studiopublikum unterscheiden.)

Das Ergebnis besteht daher aus sechs möglichen Meinungsänderungen und sechs damit verbundenen Änderungsraten:

• Diejenigen , „denn“ , den ich Index mit können ihre Meinung ändern und am Ende entweder gegen (mit dem Index 2 ) mit einer Rate ein 12 oder unentschieden (mit dem Index 3 ) mit einer Rate ein 13 .$1,$$2$$a_{12}$$3$$a_{13}$

• Diejenigen , „gegen“ können ihre Meinung ändern zu „für“ mit einer Rate oder „unentschieden“ mit einer Rate ein 23 .$a_{21}$$a_{23}$

• Die Unentschlossenen können ihre Meinung „für“ mit einer Rate ändern oder „gegen“ mit einer Rate ein 32$a_{31}$$a_{32}.$

Definieren Sie , für i = 1 , 2 , 3 , um den Anteil der Personen mit Index zu bezeichnen, über den ich meine Meinung nicht ändere.$a_{ii}$$i=1,2,3,$$i$

Die Spalten der Matrix $\mathbb{A}=(a_{ij})$ enthalten nichtnegative Zahlen, die zur Einheit addieren müssen (vorausgesetzt, jeder, der auf die erste Umfrage antwortet, antwortet auch auf die letzte). Es bleiben also sechs unabhängige Werte, die basierend auf dem Übergang von der Anfangsverteilung im Publikum zur Endverteilung y = ( 0,23 , 0,49 , 0,28 ) = A x zu bestimmen sind$x=(0.18, 0.42, 0.40)$$y=(0.23, 0.49, 0.28) = \mathbb{A}x$. Dies ist ein unterbestimmtes System von (eingeschränkten) linearen Gleichungen, das enorme Flexibilität bei der Ableitung einer Lösung bietet. Schauen wir uns drei Lösungen an.

Lösung 1: Am wenigsten Veränderung

Wir könnten die Übergangsmatrix bitten , in gewissem Sinne so klein wie möglich zu sein. Eine Möglichkeit ist es, die insgesamt zu minimieren Anteile von Menschen , die ihre Meinung ändern. Dies geschieht im Beispiel mit der Lösung$\mathbb{A}$

$$\mathbb{A}=\left( \begin{array}{ccc} 1 & 0 & 0.125 \\ 0 & 1 & 0.175 \\ 0 & 0 & 0.700 \\ \end{array} \right).$$

Das heißt, der Unentschlossenen endeten für, 17,5 % von ihnen endeten gegen und keines der ursprünglichen Fors oder Againsts änderte ihre Meinung. Wer gewann? Die Gegenargumente, offensichtlich, weil die Debatte einen größeren Teil der Unentschlossenen dazu überredete, sich mit der "Gegenargument" -Stellungnahme zufrieden zu geben.$12.5\%$$17.5\%$

Dieses Modell wäre angebracht, wenn Sie glauben, dass die anfänglichen Fraktionen auf ihre Meinung festgelegt sind und die einzigen Personen, die ihre Meinung ändern können, zu denjenigen gehören, die ursprünglich für unentschlossen erklärt wurden.

Lösung 2: Kleinste Quadrate

Eine mathematisch einfache Lösung besteht darin, die Matrix zu finden, deren quadratische L 2 -Norm | | A | | 2 $\mathbb{A}$$L^2$ ist so klein wie möglich: Dies minimiert die Summe der Quadrate aller neun Übergangswahrscheinlichkeiten (einschließlich des a i i, das die Proportionen darstellt, die ihre Meinung nicht ändern). Die Lösung (auf zwei Dezimalstellen gerundet) lautet$||\mathbb{A}||_2^2 = tr(\mathbb{A}^\prime \mathbb{A})$$a_{ii}$

$$\mathbb{A} = \left( \begin{array}{ccc} 0.28 & 0.22 & 0.22 \\ 0.41 & 0.51 & 0.50 \\ 0.31 & 0.27 & 0.28 \\ \end{array} \right).$$

Wenn wir die Zeilen vergleichen, sehen wir, dass der Gegenseite dazu überredet wurden, in "for" zu konvertieren (und weitere 27 $22\%$$27\%$ ausreichend verwirrt waren, um unentschlossen zu werden), jedoch der "für" -Seite vollständig umgewandelt wurden (und weitere 31 % waren verwirrt). Die ursprünglichen Unentschlossenen tendierten dazu, sich zur "Gegenseite" zu bekehren ( 50 % gegenüber 22 % ). Jetzt ist "gegen" der klare Gewinner.$41\%$$31\%$$50\%$ $22\%$

Die Lösung mit den kleinsten Quadraten ist in der Regel mit einer großen Veränderung in jeder Gruppe verbunden. (Vorbehaltlich der Einschränkungen des Problems wird es versuchen , die Änderungen alle gleich machen .) Ob es zu einer realistischen Darstellung der Bevölkerung entspricht schwer zu bestimmen, aber es mathematisch möglich Bild nicht zeigt , was passiert ist während der Debatte.$1/3$

Lösung 3: Bestrafte kleinste Quadrate

Um die Häufigkeit zu kontrollieren und zu begrenzen, mit der Menschen ihre Meinung ändern, bestrafen wir das Ziel der kleinsten Fehlerquadrate, indem wir Begriffe einfügen, die keine Meinungsänderung begünstigen. Dies sind die Bedingungen auf den Diagonalen von . Wir könnten annehmen, dass es schwieriger ist, die Meinung von jemandem zu ändern, der nicht unentschlossen ist, also wäre es gut, letzteren zu beschneiden. Führen Sie dazu positive Gewichte ω i ein und finden Sie A für welches | | A | | 2 2 - ω 1 a 11 - ω 2 a 22 - ω 3 a 33 wird minimiert.$\mathbb{A}$$\omega_i$$\mathbb{A}$

$$||\mathbb{A}||_2^2 - \omega_1 a_{11} - \omega_2 a_{22} - \omega_3 a_{33}$$

Zum Beispiel wollen wir die Unentschlossenen um 50% downweight durch Gewichte Auswählen . Die (gerundete) Lösung ist$\omega = (1,1,1/2)$

$$\mathbb{A} = \left( \begin{array}{ccc} 0.91 & 0 & 0.17 \\ 0.03 & 0.93 & 0.23 \\ 0.06 & 0.07 & 0.60 \\ \end{array} \right).$$

Diese Lösung liegt zwischen den ersten beiden: Ein kleiner Teil der engagierten Seiten hat seine Meinung geändert oder ist unentschlossen, während der Unentschlossenen eine Entscheidung getroffen haben ( 17 % dafür und 23 % dagegen). Aber auch hier sprechen die Ergebnisse eindeutig für die "gegen" -Fraktion.$40\%$$17\%$$23\%$

Zusammenfassung

In diesem Übergangsmodell der Meinungsänderung geben die meisten Lösungsmethoden in diesem speziellen Beispiel einen Gewinn für die "gegen" -Seite an. Fehlen irgendwelche starken Meinungen über die Dynamik des Wandels, die darauf hindeuten, dass die "Gegenseite" gewonnen hat.

$(.20,.60,.20)$$(.30,.40,.30)$$20\%$$30\%$$40\%$$30\%$. Die (gerundete) Lösung der kleinsten Quadrate deutet jedoch zumindest darauf hin, dass es eine Möglichkeit gibt, wie dies geschehen könnte, bei der die Debatte die andere Seite leicht begünstigt! Es ist

$$\mathbb{A} = \left( \begin{array}{ccc} 0.32 & 0.29 & 0.32 \\ 0.36 & 0.42 & 0.36 \\ 0.32 & 0.29 & 0.32 \\ \end{array} \right).$$

$36\%$$29\%$$(36\%)$ $32\%$

zusätzliche Kommentare

$\mathbb{A}$

$\mathbb{A}$

$$\begin{equation} p(\textrm{for}_\textrm{after},\textrm{against}_{\textrm{after}},\textrm{undecided}_{\textrm{after}} \mid \textrm{for}_\textrm{before},\textrm{against}_{\textrm{before}},\textrm{undecided}_{\textrm{before}}) \end{equation}$$ und setzen Sie die Gewinnregel als Funktion der Vor-Debatten-Umfrage so, dass die vorhersagbare Gewinnwahrscheinlichkeit ist $0.5$für beide Mannschaften. Beachten Sie, dass es für die Entscheidungsregel immer noch mehrere Möglichkeiten gibt, da der Ergebnisraum zweidimensional ist. Wenn wir jedoch dem Vorhersagemodell vertrauen, spielt dies für die Fairness des Wettbewerbs keine Rolle. Man könnte zum Beispiel einfach entscheiden, dass das For-Team gewinnt, wenn das For-Against-Verhältnis nach der Debatte den prädiktiven Median überschreitet (abhängig von der Vorabumfrage).

Ideen zur Erstellung eines Vorhersagemodells

Anfangs dachte ich nur an ein "Black-Box" -Modell der Nachwahlnummern als Funktion der Vorwahlnummern und des Rauschens. Ein besserer Ansatz könnte jedoch darin bestehen, Whubers Idee zu übernehmen, die Übergangswahrscheinlichkeiten zu berücksichtigen. Der einfachste (wenn auch nicht realistische) Ansatz wäre, die Übergangswahrscheinlichkeiten als unabhängig von den vor der Debatte durchgeführten Abstimmungsergebnissen zu betrachten. Angenommen, die Übergangswahrscheinlichkeiten stammen aus Dirichlet-Verteilungen:

$$\begin{align} (P(\textrm{for} \mid \textrm{for before}),P(\textrm{ud} \mid \textrm{for before}),P(\textrm{ag} \mid \textrm{for before})) & \sim Dir(a_{ff},a_{uf},a_{af}) \\ (P(\textrm{for} \mid \textrm{ud before}),P(\textrm{ud} \mid \textrm{ud before}),P(\textrm{ag} \mid \textrm{ud before})) & \sim Dir(a_{fu},a_{uu},a_{au}) \\ (P(\textrm{for} \mid \textrm{ag before}),P(\textrm{ud} \mid \textrm{ag before}),P(\textrm{ag} \mid \textrm{ag before})) & \sim Dir(a_{fa},a_{ua},a_{aa}), \end{align}$$ where the $P$s are transition probabilities for individuals and the $a$s are hyperparameters that control how the transition probabilities vary from debate to another. The $a$s are learned from data of previous shows, either by optimizing point estimates (e.g. maximum a posteriori or maximum likelihood) these, or a full Bayesian solution that outputs a posterior distribtuion of the $a$s. One could also add some symmetry constraints if one wants to assume for and against behave similarly (before knowing the particular debate question) e.g., $a_{ff}=a_{aa}$, $a_{fu}=a_{au}$.

Given posterior distributions or point estimates of $a$s, and the distribution of individuals in current before poll (that I now assumed to be independent of the transition probabilities), it is straightforward to simulate the distribution of after-debate-poll numbers, and then pick the median of, e.g., for/against-ratio as the winning threshold.