Berechnung der Kappa-Varianz nach Cohen (und Standardfehler)

Die Kappa- Statistik ( ) wurde 1960 von Cohen [1] eingeführt, um die Übereinstimmung zwischen zwei Bewertern zu messen. Seine Varianz war jedoch seit geraumer Zeit eine Quelle von Widersprüchen.$\kappa$

Meine Frage ist, welches die beste Varianzberechnung für große Stichproben ist. Ich neige dazu zu glauben, dass das von Fleiss getestete und verifizierte [2] die richtige Wahl wäre, aber dies scheint nicht das einzige veröffentlichte zu sein, das richtig zu sein scheint (und in der gesamten neueren Literatur verwendet wird).

Im Moment habe ich zwei konkrete Möglichkeiten, um die asymptotische große Stichprobenvarianz zu berechnen:

• Die korrigierte Methode von Fleiss, Cohen und Everitt [2];
• Die Delta-Methode, die in dem Buch von Colgaton, 2009 [4] (Seite 106) zu finden ist.

Um einige dieser Verwirrungen zu veranschaulichen, hier ein Zitat von Fleiss, Cohen und Everitt [2], Hervorhebung von mir:

Viele menschliche Bemühungen wurden mit wiederholten Misserfolgen verflucht, bevor der endgültige Erfolg erreicht wurde. Die Skalierung des Mount Everest ist ein Beispiel. Die Entdeckung der Nordwestpassage ist eine Sekunde. Die Herleitung eines korrekten Standardfehlers für Kappa ist ein Drittel .

Also, hier ist eine kleine Zusammenfassung dessen, was passiert ist:

• 1960: Cohen veröffentlicht seine Arbeit "Ein Übereinstimmungskoeffizient für nominale Skalen" [1], in der er sein zufallskorrigiertes Maß für die Übereinstimmung zwischen zwei Bewertern mit dem Namen vorstellt . Er veröffentlicht jedoch falsche Formeln für die Varianzberechnungen.$\kappa$
• 1968: Everitt versucht, sie zu korrigieren, aber auch seine Formeln waren falsch.
• 1969: Fleiss, Cohen und Everitt veröffentlichen die korrekten Formeln in der Veröffentlichung "Large Sample Standard Errors Of Kappa and Weighted Kappa" [2].
• 1971: Fleiss veröffentlicht unter demselben Namen eine weitere Statistik (jedoch eine andere) mit falschen Formeln für die Abweichungen.$\kappa$
• 1979: Fleiss Nee und Landis veröffentlichen die korrigierten Formeln für Fleiss ' .$\kappa$

Betrachten Sie zunächst die folgende Notation. Diese Notation impliziert, dass der Summationsoperator auf alle Elemente in der Dimension angewendet werden sollte, über die der Punkt platziert wird:

$\ \ \ p_{i.} = \displaystyle\sum_{j=1}^{k} p_{ij}$ $\ \ \ p_{.j} = \displaystyle\sum_{i=1}^{k} p_{ij}$

Nun kann man Kappa wie folgt berechnen:

$\ \ \ \hat\kappa = \displaystyle\frac{p_o-p_c}{1-p_e}$

In welchem

$\ \ \ p_o = \displaystyle\sum_{i=1}^{k} p_{ii}$ ist die beobachtete Übereinstimmung, und

$\ \ \ p_c = \displaystyle\sum_{i=1}^{k} p_{i.} p_{.i}$ ist die Zufallsvereinbarung.

Bisher ist die korrekte Varianzberechnung für Cohen's gegeben durch:$\kappa$

$\ \ \ \newcommand{\var}{\mathrm{var}}\widehat{\var}(\hat{\kappa}) = \frac{1}{N(1-p_c)^4} \{ \displaystyle\sum_{i=1}^{k} p_{ii}[(1-p_o) - (p_{.i} + p_{i.})(1-p_o)]^2 \\ \ \ \ + (1-p_o)^2 \displaystyle\sum_{i=1}^{k} \displaystyle\sum_{j=1 \atop i\not=j}^{k} p_{ij} (p_{.i} + p_{j.})^2 - (p_op_c-2p_c+p_o)^2 \}$

und unter der Nullhypothese ist gegeben durch:

$\ \ \ \widehat{\var}(\hat{\kappa}) = \frac{1}{N(1-p_c)^2} \{ \displaystyle\sum_{i=1}^{k} p_{.i}p_{i.} [1- (p_{.i} + p_{i.})^2] + \displaystyle\sum_{i=1}^{k} \displaystyle\sum_{j=1, i\not=j}^{k} p_{.i}p_{j.}(p_{.i} + p_{j.})^2 - p_c^2 \}$

Die Congalton-Methode scheint auf der Delta-Methode zur Ermittlung von Varianzen zu beruhen (Agresti, 1990; Agresti, 2002). Ich bin mir jedoch nicht sicher, was die Delta-Methode ist oder warum sie angewendet werden muss. Die Varianz nach dieser Methode ist gegeben durch:$\kappa$

$\ \ \ \widehat{\var}(\hat{\kappa}) = \frac{1}{n} \{ \frac{\theta_1 (1-\theta_1)}{(1-\theta_2)^2} + \frac{2(1-\theta_1)(2\theta_1\theta_2-\theta_3)}{(1-\theta_2)^3} + \frac{(1-\theta_1)^2(\theta_4-4\theta_2^2)}{(1-\theta_2)^4} \}$

in welchem

$\ \ \ \theta_1 = \frac{1}{n} \displaystyle\sum_{i=1}^{k} n_{ii}$

$\ \ \ \theta_2 = \frac{1}{n^2} \displaystyle\sum_{i=1}^{k} n_{i+}n_{+i}$

$\ \ \ \theta_3 = \frac{1}{n^2} \displaystyle\sum_{i=1}^{k} n_{ii}(n_{i+} + n_{+i})$

$\ \ \ \theta_4 = \frac{1}{n^3} \displaystyle\sum_{i=1}^{k} \displaystyle\sum_{j=1}^{k} n_{ij}(n_{j+} + n_{+i})^2$

(Congalton verwendet ein anstelle eines , Aber es scheint dasselbe zu bedeuten. Außerdem gehe ich davon aus, dass eine Zählmatrix sein sollte, dh die Verwirrungsmatrix, bevor sie durch die Anzahl der Stichproben dividiert wird verwandt mit der Formel )$+$$.$$n_{ij}$$p_{ij} = \frac{n_{ij}}{\mathrm{samples}}$

Ein anderer seltsamer Teil ist, dass Colgatons Buch das Originalpapier von Cohen zu zitieren scheint, aber die von Fleiss et al. Veröffentlichten Korrekturen der Kappa-Varianz nicht zu zitieren scheint, nicht bevor er sich mit gewichtetem Kappa befasst. Vielleicht wurde seine erste Veröffentlichung geschrieben, als die wahre Formel für Kappa noch in Unordnung war?

Kann jemand erklären, warum diese Unterschiede? Oder warum sollte jemand die Delta-Methodenvarianz anstelle der korrigierten Version von Fleiss verwenden?

[1]: Joseph L. Fleiss; Cohen, Jacob; Everitt, BS; Große Stichproben-Standardfehler von Kappa und gewichtetem Kappa. Psychological Bulletin, Band 72 (5), November 1969, 323-327. doi: 10.1037 / h0028106

[2]: Cohen, Jacob (1960). Ein Übereinstimmungskoeffizient für nominale Skalen. Pädagogische und psychologische Messung 20 (1): 37–46. DOI: 10.1177 / 001316446002000104.

[3]: Alan Agresti, Categorical Data Analysis, 2. Auflage. John Wiley and Sons, 2002.

[4]: Russell G. Congalton und Green, K .; Bewertung der Genauigkeit von fernerkundeten Daten: Prinzipien und Praktiken, 2. Auflage. 2009.

Ich weiß nicht, welche der beiden Methoden zur Berechnung der Varianz zu bevorzugen ist, aber ich kann Ihnen eine dritte, praktische und nützliche Methode zur Berechnung des Vertrauens / der glaubwürdigen Intervalle unter Verwendung der Bayes'schen Schätzung von Cohens Kappa anbieten.

Der unten stehende R- und JAGS- Code generiert MCMC-Beispiele aus der posterioren Verteilung der glaubwürdigen Werte von Kappa unter Berücksichtigung der Daten.

library(rjags)
library(coda)
library(psych)

# Creating some mock data
rater1 <- c(1, 2, 3, 1, 1, 2, 1, 1, 3, 1, 2, 3, 3, 2, 3) 
rater2 <- c(1, 2, 2, 1, 2, 2, 3, 1, 3, 1, 2, 3, 2, 1, 1) 
agreement <- rater1 == rater2
n_categories <- 3
n_ratings <- 15

# The JAGS model definition, should work in WinBugs with minimal modification
kohen_model_string <- "model {
  kappa <- (p_agreement - chance_agreement) / (1 - chance_agreement)
  chance_agreement <- sum(p1 * p2)

  for(i in 1:n_ratings) {
    rater1[i] ~ dcat(p1)
    rater2[i] ~ dcat(p2)
    agreement[i] ~ dbern(p_agreement)
  }

  # Uniform priors on all parameters
  p1 ~ ddirch(alpha)
  p2 ~ ddirch(alpha)
  p_agreement ~ dbeta(1, 1)
  for(cat_i in 1:n_categories) {
    alpha[cat_i] <- 1
  }
}"

# Running the model
kohen_model <- jags.model(file = textConnection(kohen_model_string),
                 data = list(rater1 = rater1, rater2 = rater2,
                   agreement = agreement, n_categories = n_categories,
                   n_ratings = n_ratings),
                 n.chains= 1, n.adapt= 1000)

update(kohen_model, 10000)
mcmc_samples <- coda.samples(kohen_model, variable.names="kappa", n.iter=20000)

Das folgende Diagramm zeigt ein Dichtediagramm der MCMC-Proben aus der posterioren Verteilung von Kappa.

Mit den MCMC-Stichproben können wir nun den Medianwert als Schätzung von Kappa verwenden und die 2,5% - und 97,5% -Quantile als 95% -Vertrauens- / Glaubwürdigkeitsintervall verwenden.

summary(mcmc_samples)$quantiles
##      2.5%        25%        50%        75%      97.5% 
## 0.01688361 0.26103573 0.38753814 0.50757431 0.70288890 

Vergleichen Sie dies mit den nach Fleiss, Cohen und Everitt berechneten "klassischen" Schätzungen:

cohen.kappa(cbind(rater1, rater2), alpha=0.05)
##                  lower estimate upper
## unweighted kappa  0.041     0.40  0.76

Persönlich würde ich das Bayes'sche Konfidenzintervall dem klassischen Konfidenzintervall vorziehen, zumal ich glaube, dass das Bayes'sche Konfidenzintervall bessere Eigenschaften für kleine Stichproben hat. Ein häufiges Problem bei Bayes-Analysen besteht darin, dass Sie vorhergehende Vorurteile bezüglich der Verteilung der Parameter angeben müssen. Glücklicherweise ist es in diesem Fall einfach, "objektive" Prioritäten zu konstruieren, indem einfach gleichmäßige Verteilungen über alle Parameter vorgenommen werden. Dies sollte das Ergebnis des Bayes'schen Modells einer "klassischen" Berechnung des Kappa-Koeffizienten sehr ähnlich machen.

Verweise

Sanjib Basu, Mousumi Banerjee und Ananda Sen (2000). Bayesianische Inferenz für Kappa aus Einzel- und Mehrfachstudien. Biometrics . 56, Nr. 2 (Juni 2000), S. 577-582