Ich würde lieber auf der Grundlage der Methodik selbst antworten, als wie man die Situation "behebt". In einem anderen Zusammenhang half ich bei der Arbeit an einem Rating- und Klassifizierungssystem und stellte fest, dass die Übereinstimmung zwischen den Bewertern enttäuschend niedrig war. Es wurden zwei Wege in Betracht gezogen
- Ändern Sie, wie Ratingvereinbarungen definiert wurden, und identifizieren Sie diejenigen, die die Aufgabe zu "verstehen" schienen, oder
- Verfeinern Sie die verwendeten Definitionen zusammen mit den Anleitungen und Beispielen für die Bewerter, damit diese leichter verstehen, wie die Dinge zu bewerten sind.
Im ersten Szenario konnten die gesamte Methodik und die Ergebnisse einfach deshalb verschwendet werden, weil die Zuverlässigkeit zwischen den Bewertern gering war. Es zeigte an, dass entweder die ursprünglichen Definitionen schlecht waren oder dass die Bewerter schlechte Anweisungen erhielten. Wenn ich diesen Weg ging, hatte ich sicher Probleme.
Im zweiten Fall war die Übereinstimmung zwischen den Bewertern sehr gut. Da sie eine ganze Reihe von Punkten bewertet haben, konnten sie auch Feedback geben, wenn sie der Meinung waren, dass die ursprünglichen Definitionen und Anleitungen unzureichend waren. Am Ende war die Methodik sehr reproduzierbar.
Auf dieser Grundlage würde ich Ihre Gruppe von Bewertern noch nicht ändern, sondern zu den ursprünglichen Definitionen und Leitlinien zurückkehren. Jedes Basteln nach der Bewertung ist ein Problem, kann jedoch als Qualitätsprüfung hilfreich sein. Es gibt manchmal Bewerter, die tun, was sie wollen, unabhängig von der gegebenen Anleitung. Mit guten statistischen Methoden ist es einfach, sie zu identifizieren und ihre Beiträge angemessen zu gewichten.
Wenn ich mich irre und Sie nicht vorhaben, weitere Daten zu sammeln, dh Ihre Daten sind bereits gesammelt und erledigt, können Sie PCA oder ähnliches tun und prüfen, ob Sie ein Gefühl dafür bekommen, wie sich die Daten unterscheiden Ärzte (oder Patienten) Cluster.
Waren die Patienten allen Ärzten gleichzeitig ausgesetzt (z. B. durch eine Videoaufzeichnung) oder wurden sie nacheinander ausgesetzt und hatten die Möglichkeit, ihre Präsentation bei jeder Interaktion zu ändern? In letzterem Fall kann es zu Problemen mit den Patienten und nicht mit den Ärzten kommen.