Als «agreement-statistics» getaggte Fragen

Übereinstimmung ist der Grad, in dem zwei Bewerter, Instrumente usw. denselben Wert angeben, wenn sie auf dasselbe Objekt angewendet werden. Für diese Aufgabe wurden spezielle statistische Methoden entwickelt.

2
Ist Joel Spolskys "Hunting of the Snark" eine nachträgliche statistische Inhaltsanalyse?
Wenn Sie in letzter Zeit die Community-Bulletins gelesen haben, haben Sie wahrscheinlich The Hunting of the Snark gesehen, einen Beitrag auf dem offiziellen StackExchange-Blog von Joel Spolsky, dem CEO des StackExchange-Netzwerks. Er diskutiert eine statistische Analyse, die an einer Stichprobe von SE-Kommentaren durchgeführt wurde, um deren "Freundlichkeit" aus der Perspektive …
2
Zuverlässigkeit zwischen Bewertern für Ordnungs- oder Intervalldaten
Welche Zuverlässigkeitsmethoden zwischen Bewertern eignen sich am besten für Ordnungs- oder Intervalldaten? Ich glaube, dass "Joint Probability of Agreement" oder "Kappa" für Nenndaten ausgelegt sind. Während "Pearson" und "Spearman" verwendet werden können, werden sie hauptsächlich für zwei Bewerter verwendet (obwohl sie für mehr als zwei Bewerter verwendet werden können). Welche …
5
Wie gehe ich bei der Benotung von studentischen Arbeiten am besten mit den Auswirkungen von unterschiedlich großzügigen Markern um?
Rund 600 Studierende haben eine Punktzahl für ein umfangreiches Assessment, bei dem von einer guten Zuverlässigkeit / Validität ausgegangen werden kann. Die Bewertung wird mit 100 Punkten bewertet, und es handelt sich um einen vom Computer bewerteten Multiple-Choice-Test. Diese 600 Schüler haben auch Punkte für eine zweite, kleinere Bewertung. In …
2
Interrater-Zuverlässigkeit für Ereignisse in einer Zeitreihe mit Unsicherheit über die Ereigniszeit
Ich habe mehrere unabhängige Programmierer, die versuchen, Ereignisse in einer Zeitreihe zu identifizieren. In diesem Fall sehen sie sich ein Video von Gesprächen von Angesicht zu Angesicht an, suchen nach bestimmten nonverbalen Verhaltensweisen (z. B. Kopfnicken) und codieren die Zeit und die Kategorie der einzelnen Ereignisse Veranstaltung. Diese Daten könnten …
2
Wie kann ich diese Daten verwenden, um Marker mit unterschiedlicher Großzügigkeit bei der Bewertung von Studienarbeiten zu kalibrieren?
12 Lehrer unterrichten 600 Schüler. Die 12 von diesen Lehrern unterrichteten Kohorten haben eine Größe von 40 bis 90 Schülern, und wir erwarten systematische Unterschiede zwischen den Kohorten, da Doktoranden überproportional bestimmten Kohorten zugeordnet wurden. Frühere Erfahrungen haben gezeigt, dass die Absolventen im Durchschnitt erheblich höher sind als die Studenten. …
1
Berechnung der Interrater-Zuverlässigkeit in R mit variabler Anzahl von Bewertungen?
Wikipedia schlägt vor, dass eine Möglichkeit, die Zuverlässigkeit zwischen Bewertern zu untersuchen, darin besteht, ein Zufallseffektmodell zur Berechnung der Korrelation zwischen Klassen zu verwenden . Das Beispiel der Intraclass-Korrelation spricht vom Betrachten σ2ασ2α+σ2ϵσα2σα2+σϵ2\frac{\sigma_\alpha^2}{\sigma_\alpha^2+\sigma_\epsilon^2} von einem Modell Yij=μ+αi+ϵijYij=μ+αi+ϵijY_{ij} = \mu + \alpha_i + \epsilon_{ij} "wobei Y ij die j- te Beobachtung …
4
Matthews Korrelationskoeffizient mit Mehrfachklasse
Der Matthews-Korrelationskoeffizient ( MCCMCC\textrm{MCC} ) ist eine Messung zur Messung der Qualität einer binären Klassifikation ([Wikipedia] [1]). MCCMCC\textrm{MCC} Formulierung wird für die binäre Klassifizierung unter Verwendung von wahr-positiven ( T.P.TPTP ), falsch positiven ( F.P.FPFP ), falsch negativen ( F.N.FNFN ) und wahr-negativen ( T.N.TNTN ) Werten angegeben, wie nachstehend …
3
Ein konkretes Beispiel ist die Durchführung einer SVD, um fehlende Werte zu unterstellen
Ich habe die großartigen Kommentare zum Umgang mit fehlenden Werten vor dem Anwenden von SVD gelesen, möchte aber anhand eines einfachen Beispiels wissen, wie dies funktioniert: Movie1 Movie2 Movie3 User1 5 4 User2 2 5 5 User3 3 4 User4 1 5 User5 5 1 5 Wenn ich in der …
8 r  missing-data  data-imputation  svd  sampling  matlab  mcmc  importance-sampling  predictive-models  prediction  algorithms  graphical-model  graph-theory  r  regression  regression-coefficients  r-squared  r  regression  modeling  confounding  residuals  fitting  glmm  zero-inflation  overdispersion  optimization  curve-fitting  regression  time-series  order-statistics  bayesian  prior  uninformative-prior  probability  discrete-data  kolmogorov-smirnov  r  data-visualization  histogram  dimensionality-reduction  classification  clustering  accuracy  semi-supervised  labeling  state-space-models  t-test  biostatistics  paired-comparisons  paired-data  bioinformatics  regression  logistic  multiple-regression  mixed-model  random-effects-model  neural-networks  error-propagation  numerical-integration  time-series  missing-data  data-imputation  probability  self-study  combinatorics  survival  cox-model  statistical-significance  wilcoxon-mann-whitney  hypothesis-testing  distributions  normal-distribution  variance  t-distribution  probability  simulation  random-walk  diffusion  hypothesis-testing  z-test  hypothesis-testing  data-transformation  lognormal  r  regression  agreement-statistics  classification  svm  mixed-model  non-independent  observational-study  goodness-of-fit  residuals  confirmatory-factor  neural-networks  deep-learning 
1
Wie kann eine Interrater-Zuverlässigkeit mit mehreren Bewertern, verschiedenen Bewertern pro Teilnehmer und möglichen Änderungen im Laufe der Zeit durchgeführt werden?
Die Teilnehmer wurden zweimal bewertet, wobei die 2 Bewertungen durch 3 Jahre getrennt waren. Bei den meisten Teilnehmern wurden die Bewertungen von verschiedenen Bewertern vorgenommen, bei einigen (<10%) führte derselbe Bewerter beide Bewertungen durch. Insgesamt gab es 8 Bewerter, von denen 2 zu beiden Zeitpunkten Bewertungen abgaben. Da die Bewertungen …
2
Was ist bei geringer Interrater-Zuverlässigkeit (ICC) zu tun?
Hintergrund: Acht Ärzte bewerteten jeweils die gleichen 54 Patienten anhand einer Überzeugungsmaßnahme (1-7 Likert-Skala). Die mittlere Punktzahl für das Überzeugungsmaß wird schließlich das Ergebnismaß meines Experiments sein. Die Interrater-Zuverlässigkeit wurde als Intraclass-Korrelationskoeffizient (ICC) unter Verwendung des Zwei-Wege-Zufallseffektmodells mit Konsistenz quantifiziert. Leider war die Interrater-Zuverlässigkeit der acht Ärzte gering (ICC = …
3
Bland-Altman-Diagramm (Tukey Mean-Difference) für unterschiedliche Skalen
Ich finde, dass Bland-Altman-Diagramme zum Vergleich zweier Methoden bei der Beurteilung der Übereinstimmung äußerst nützlich sind. Ich bin jedoch gespannt, ob es eine ähnliche Methode oder Transformation gibt, die verwendet werden kann, wenn die Skalen der beiden Methoden nicht identisch sind, aber dennoch dasselbe zugrunde liegende Phänomen messen. Zum Beispiel …
Durch die Nutzung unserer Website bestätigen Sie, dass Sie unsere Cookie-Richtlinie und Datenschutzrichtlinie gelesen und verstanden haben.
Licensed under cc by-sa 3.0 with attribution required.