Haben wir ein Problem mit „mitleidigen Gegenstimmen“?

Ich weiß, das klingt vielleicht nicht nach einem Thema, aber hör mir zu.

Bei Stack Overflow und hier bekommen wir Stimmen für Beiträge, dies wird alles in tabellarischer Form gespeichert.

Z.B:

post id voter id vote type datetime
------- -------- --------- --------
10 1 2 2000-1-1 10:00:01 
11 3 3 2000-1-1 10:00:01 
10 5 2 2000-1-1 10:00:01

... und so weiter. Voting Typ 2 ist eine positive, Voting Typ 3 eine negative Bewertung. Sie können eine anonymisierte Version dieser Daten unter http://data.stackexchange.com abfragen

Es wird davon ausgegangen, dass ein Beitrag mit einer höheren Wahrscheinlichkeit positiv bewertet wird, wenn er den Wert -1 oder niedriger erreicht. Dies kann einfach eine Bestätigungsverzerrung sein, oder es kann tatsächlich verwurzelt sein.

Wie würden wir diese Daten analysieren, um diese Hypothese zu bestätigen oder zu leugnen? Wie würden wir den Effekt dieser Verzerrung messen?

— Sam Saffron
quelle

Können wir ein Beispiel für die Abfrage bekommen? Nicht jeder ist mit dem Schreiben von SQL-Anweisungen vertraut. Beispieldaten zu haben könnte die Leute dazu ermutigen, damit zu spielen. +1 für die Frage.

— mpiktas

@ Jeff Votes sind anonymisiert. Sie können nur teilweise Informationen aus dem Daten-Dump abrufen. Es enthält alle Übergänge. Hier ein kurzes Beispiel. StackExchange.com/stackoverflow/q/101738 Vollständige anonymisierte Daten sind im öffentlichen Daten-Dump verfügbar

— Sam Safran

Warum nur Upvotes? Wie interessant wäre sicherlich die Wahrscheinlichkeit von Aufwärts- oder Abwärtsstimmen um einen bestimmten Wert?

— Bob Durrant

@ Bob, sicher zustimmen würden sie

— Sam Saffron

Ich habe andere Arten von Sites gesehen, die Stimmen verschleierten (dh vor dem Anzeigen ein Rauschen hinzufügten) und manchmal sogar für einen kurzen Zeitraum die Auf- und Ab-Stimmen vollständig versteckten, um verschiedene Formen von Bandwagonning, Mitleidstimmen und anderen "sozialen" Stimmen zu vermeiden. Elemente der Abstimmung.

— Glen_b

Antworten:

Sie können ein Multistate-Modell oder eine Markov-Kette verwenden (das msm-Paket in R ist eine Möglichkeit, diese anzupassen). Sie können dann prüfen, ob die Übergangswahrscheinlichkeit von -1 nach 0 größer ist als von 0 nach 1, 1 nach 2 usw. Sie können auch die durchschnittliche Zeit von -1 im Vergleich zu den anderen betrachten, um festzustellen, ob sie kürzer ist .

— Greg Snow
quelle

+1 gute Referenz. Es gibt einen Artikel im Journal of Statistical Software über das msm-Paket. Das Modell scheint für diese Art von Aufgabe ideal geeignet zu sein.

— mpiktas

Die Markov-Kettenmodellidee sieht gut aus, aber die durchschnittliche Zeit bei -1 gibt nicht die ganze Geschichte wieder. Es ist möglich (und plausibel - denken Sie an schlechte Fragen), dass man mit größerer Wahrscheinlichkeit mit -1 abgewertet wird als anderswo.

— Bob Durrant

Ich schätze, man sollte zuerst die Abstimmungsverläufe in Gruppen zusammenfassen - diejenigen, die (fast) nur positiv / negativ bewertet werden (sehr beliebte / sehr schlechte Fragen), und diejenigen, die strittiger sind. Dann können Sie Markov-Ketten auf den drei Klassen machen.

— Jonas

Experiment durchführen. Stimmt jeden Tag die Hälfte der neuen Posts zu einer bestimmten Zeit nach dem Zufallsprinzip ab.

— charles.y.zheng
quelle

Cool, wir sollten eine signifikante Zunahme der "Kritiker" -Ausweise und wahrscheinlich eine Abnahme der Motivation für neue Benutzer feststellen :-) In diesem Fall ist es besser, mit hochrangigen Benutzern zu beginnen (mit der Gefahr, das Experiment zu beeinflussen!)

— chl

Tatsächlich könnten wir es besser machen ... mit AB-Tests könnten wir die Hälfte der -1-gestimmten Frage auf der Site als 0 und die Hälfte als -1 anzeigen ... und herausfinden, ob eine der Gruppen wahrscheinlicher ist upvoted! Genial.

— Sam Saffron

Die Testidee kontrolliert die Qualität der Posts, aber (1) diejenigen, die herabgestuft werden, sollten sich im Voraus bereit erklären, am Test teilzunehmen, und (2) nach kurzer Zeit sollten die Herabstufungen entfernt werden.

— Radfahrer

+1 (und +1 zu allen Kommentaren auch hier): Ein kontrolliertes reversibles Experiment, das im Voraus allen Benutzern mitgeteilt wird, die betroffen sein könnten, und das mit ihrer Zustimmung durchgeführt wird, ist eine der stärksten Möglichkeiten, an diese Informationen zu gelangen.

— whuber

Zusammenfassung meiner Antwort. Ich mag die Markov-Kettenmodellierung, aber sie vermisst den "zeitlichen" Aspekt. Wenn Sie sich hingegen auf den zeitlichen Aspekt konzentrieren (z. B. durchschnittliche Zeit beiDies ist eine Zwischenstufe aus dem Fall, in dem Sie nur die Übergangswahrscheinlichkeit schätzen und aus dem Fall, in dem Sie nur die in einem bestimmten Zustand verbrachte Zeit messen. Ich hoffe das hilft. $-1$

$(VD_i)_{i\geq 1}$ $(S_{i})_{i\geq 1}$

Y_{t} = Y_{t}^{+} - Y_{t}^{-}

$Y_{t}=Y^+_t-Y^-_t$

Y_{t}^{+} = \sum_{i = 0}^{\infty} 1_{V D_{i} \leq t, S_{i} = 1} and Y_{t}^{-} = \sum_{i = 0}^{\infty} 1_{V D_{i} \leq t, S_{i} = - 1}

$Y^+_t=\sum_{i=0}^{\infty}1_{VD_i\leq t,S_i=1} \;\text{ and } \;Y^-_t=\sum_{i=0}^{\infty}1_{VD_i\leq t,S_i=-1}$

$\epsilon$

λ_{t}^{ϵ} = lim_{d t \to 0} \frac{1}{d t} P (Y_{t + d t}^{ϵ} - Y_{t}^{ϵ} = 1 | F_{t})

$\lambda^{\epsilon}_t=\lim_{dt\rightarrow 0} \frac{1}{dt} P(Y^{\epsilon}_{t+dt}-Y^{\epsilon}_t=1|\mathcal{F}_t)$

ϵ

$\epsilon$

-

$-$

+

$+$

F_{t}

$\mathcal{F}_t$

F_{t} = σ (Y_{t}^{+}, Y_{t}^{-}, V D_{1}, \dots, V D_{Y_{t}^{+} + Y_{t}^{-}}, S_{1}, \dots, S_{Y_{t}^{+} + Y_{t}^{-}})

$\mathcal{F}_t=\sigma \left (Y^+_t,Y^-_t,VD_1,\dots,VD_{Y^+_t+Y^-_t},S_{1},\dots,S_{Y^+_t+Y^-_t} \right )$

Aber in Anlehnung an Ihre Frage nehmen Sie implizit an, dass Dies bedeutet, dass für eine deterministische Folge existiert so dass .

P (Y_{t + d t}^{ϵ} - Y_{t}^{ϵ} = 1 | F_{t}) = P (Y_{t + d t}^{ϵ} - Y_{t}^{ϵ} = 1 | Y_{t})

$P \left ( Y^{\epsilon}_{t+dt}-Y^{\epsilon}_t=1 | \mathcal{F}_t \right )= P \left (Y^{\epsilon}_{t+dt}-Y^{\epsilon}_t=1| Y_t \right )$

ϵ = +, -

$\epsilon=+,-$

(μ_{i}^{ϵ})_{i \in Z}

$(\mu^{\epsilon}_i)_{i\in \mathbb{Z}}$

λ_{t}^{ϵ} = μ_{Y_{t}}^{ϵ}

$\lambda^{\epsilon}_t=\mu^{\epsilon}_{Y_t}$

Innerhalb dieses Formalismus kann Ihre Frage wie folgt umformuliert werden: "Es ist wahrscheinlich, dass " (oder zumindest ist der Unterschied größer als a gegebene Schwelle). $\mu^{+}_{-1} -\mu^{+}_{0}>0$

Unter dieser Annahme ist es einfach zu zeigen, dass ein [homogener Markov-Prozess] [3] auf wobei der Generator durch gegeben ist $Y_t$ $\mathbb{Z}$ $Q$

\forall i, j \in Z Q_{i, i + 1} = μ_{i}^{+} Q_{i, i - 1} = μ_{i}^{-} Q_{i i} = 1 - (μ_{i}^{+} + μ_{i}^{-}) Q_{i j} = 0 if | i - j | > 1

$\forall i,j \in \mathbb{Z}\;\;\; Q_{i,i+1}=\mu^{+}_{i}\;\; Q_{i,i-1}=\mu^{-}_{i}\;\; Q_{ii}=1-(\mu^{+}_{i}+\mu^{-}_{i}) \;\; Q_{ij}=0 \text{ if } |i-j|>1$

Beantwortung der Frage (durch Vorschlagen eines Maximum-Likelihood-Schätzwerts für das statistische Problem) Nach dieser Neuformulierung wird das Problem gelöst, indem geschätzt und ein Test auf dessen Werten erstellt wird. Lassen Sie uns den Index ohne Verlust der Allgemeinheit reparieren und vergessen . Die Schätzung von (und ) kann vor der Beobachtung von erfolgen $(\mu^{+}_i)$ $i$ $\mu^+$ $\mu^-$

$(T^{1},\eta^1),\dots,(T^{p},\eta^p)$ wobei die Länge der der im Zustand verbrachten Perioden sind (dh aufeinanderfolgende Zeiten mit ) und ist wenn die Frage positiv bewertet wurde, wenn sie negativ bewertet wurde, und wenn sie der letzte Beobachtungszustand war. $T^j$ $j^{th}$ $p$ $i$ $Y_t=i$ $\eta^j$ $+1$ $-1$ $0$

Wenn Sie den Fall mit dem letzten Beobachtungsstand vergessen, stammen die erwähnten Paare aus einer Verteilung, die von und abhängt : Sie wird verteilt als (wobei Exp eine Zufallsvariable aus einer Exponentialverteilung ist und + oder -1 ist, je nachdem, wer das Maximum realisiert). Dann können Sie das folgende einfache Lemma verwenden (der Beweis ist einfach): $\mu_i^+$ $\mu_i^-$ $(\min(Exp(\mu_i^+),Exp(\mu_i^-)),\eta)$ $\eta$

Lemma Wenn und dann ist und . $X_+\leadsto Exp(\mu_+)$ $X_{-} \leadsto Exp(\mu_{-})$ $T=\min(X_+,X_-)\leadsto Exp(\mu_++\mu_-)$ $P(X_+1<X_-)=\frac{\mu_+}{\mu_++\mu_-}$

Dies impliziert, dass die Dichte von gegeben ist durch: wobei für die Dichtefunktion einer exponentiellen Zufallsvariablen ist mit Parameter . Aus diesem Ausdruck lässt sich leicht der Maximum-Likelihood-Schätzer von und : $f(t,\epsilon)$ $(T,\eta)$

f (t, ϵ) = g_{μ_{+} + μ_{-}} (\frac{1 (ϵ = + 1) * μ_{+} + 1 (ϵ = - 1) * μ_{-}}{μ_{+} + μ_{-}})

$f(t,\epsilon)=g_{\mu_++\mu_-}\left ( \frac{1(\epsilon=+1)*\mu_++1(\epsilon=-1)*\mu_-}{\mu_++\mu_-}\right )$

g_{a}

$g_a$

a > 0

$a>0$

a

$a$

μ_{+}

$\mu_+$

μ_{-}

$\mu_-$

({\hat{μ}}_{+}, {\hat{μ}}_{-}) = a r g m i n \ln (μ_{-} + μ_{+}) ((μ_{-} + μ_{+}) \sum_{i = 1}^{p} T^{i} + p) - p_{-} \ln (μ_{-}) - p_{+} \ln (μ_{+})

$(\hat{\mu}_+,\hat{\mu}_-)=argmin \ln (\mu_-+\mu_+)\left ( (\mu_-+\mu_+)\sum_{i=1}^p T^i+p\right )- p_-\ln\left (\mu_-\right ) -p_+ \ln \left (\mu_+\right )$ wobeiund.

p_{-} = | i : δ_{i} = - 1 |

$p_-=|{i:\delta_i=-1}|$

p_{+} = | i : δ_{i} = + 1 |

$p_+=|{i:\delta_i=+1}|$

Kommentare für fortgeschrittenere Ansätze

Wenn Sie Fälle berücksichtigen möchten, bei denen der letzte beobachtete Zustand ist (sicherlich klüger, weil es bei oft Ihre letzte Punktzahl ist ...), müssen Sie die Neuzuordnung ein wenig ändern. Die entsprechende Zensur ist relativ klassisch ... $i$ $-1$

Mögliche andere Ansätze können die Möglichkeit von

Eine Intensität haben, die mit der Zeit abnimmt
Eine Intensität, die mit der Zeit abnimmt, die seit der letzten Abstimmung vergangen ist (ich bevorzuge diese. In diesem Fall gibt es klassische Methoden, um zu modellieren, wie die Dichte abnimmt ...
Sie können annehmen, dass eine glatte Funktion von $\mu_i^+$ $i$
.... Sie können andere Ideen vorschlagen!

— Robin Girard
quelle