Wie bringe ich eine Gruppe von Personen dazu, eine Reihe von Objekten gemeinsam zu ordnen?

Ich arbeite für eine Organisation, die rund 180 Schulen im ganzen Land beaufsichtigt. Wir sammeln regelmäßig Ergebnisdaten von diesen Schulen und ordnen sie ein. Ich wurde gebeten, eine Umfrage beim nationalen Büro (ca. 100 Personen) durchzuführen, um festzustellen, welche Schulen am besten und am schlechtesten wahrgenommen werden, basierend auf dem nicht datenbasierten Eindruck des Personals von der Schulqualität.

Einige zusätzliche Informationen:

• Nicht alle Mitarbeiter kennen alle Schulen. Wenn Sie gefragt werden, ob Sie eine Schule bewerten möchten, muss "Ich weiß nichts über diese Schule" eine Option sein.
• Einige Mitarbeiter arbeiten mit einer bestimmten Untergruppe von Schulen, sodass das Wissen dieser Mitarbeiter für diese bestimmten Schulen hervorragend ist.

Mein erster Ansatz wäre, zufällig Gruppen von ungefähr 10 Schulen zu generieren, wobei jede Schule in ungefähr 6 Gruppen besteht. Bitten Sie dann jeden Mitarbeiter, jeden Satz zu bewerten und anzugeben, welche Schulen unbekannt sind. Ich könnte dann das Ranking für jede Schule über ihre Sets mitteln und dieses als globales Ranking verwenden.

Ist das oben beschriebene Verfahren praktikabel? Gibt es einen besseren Weg? Wenn dies funktionieren würde, wie viele Datenpunkte benötige ich für jede Schule, damit das aggregierte Ranking repräsentativ ist?

Sie können ein Bradley-Terry-Luce- Modell verwenden, das auf paarweisen Vergleichen basiert. Generieren Sie zufällig (oder auf andere Weise) eine Reihe von Schulpaaren und lassen Sie jeden Mitarbeiter mehrere Paare betrachten und Ihnen sagen, welches Paar besser ist (oder ein "Ich weiß nicht", wenn er mit einer oder beiden Schulen nicht vertraut ist ). Fügen Sie diese Daten dann in das Modell ein, um das Ranking zu erhalten.

Für diese Modelle gibt es ein BradleyTerry2-Paket für R.