Wie bestelle oder rangiere ich eine Gruppe von Experten?

Ich habe eine Datenbank mit einer großen Anzahl von Experten auf einem Gebiet. Für jeden dieser Experten habe ich eine Vielzahl von Attributen / Datenpunkten wie:

Anzahl Jahre Erfahrung.
Lizenzen
Anzahl der Bewertungen
Textinhalt dieser Bewertungen
Die 5-Sterne-Bewertung für jede dieser Bewertungen für eine Reihe von Faktoren wie Geschwindigkeit, Qualität usw.
Auszeichnungen, Assoziationen, Konferenzen usw.

Ich möchte diesen Experten eine Bewertung von 10 geben, basierend auf ihrer Wichtigkeit. Einige der Datenpunkte fehlen möglicherweise für einige Experten. Meine Frage ist nun, wie ich auf einen solchen Algorithmus komme. Kann mich jemand auf relevante Literatur hinweisen?

Ich bin auch besorgt, dass sich die Zahlen wie bei allen Bewertungen / Bewertungen in der Nähe einiger Werte zusammenballen könnten. Zum Beispiel könnten die meisten von ihnen eine 8 oder eine 5 bekommen. Gibt es eine Möglichkeit, kleine Unterschiede in einen größeren Unterschied in der Punktzahl für nur einige der Attribute hervorzuheben.

Einige andere Diskussionen, die ich mir vorgestellt habe, könnten relevant sein:

rating valuation

— Sidmitra
quelle

Dies ist nur möglich, wenn Sie zu einem objektiven Kriterium kommen. Wahrscheinlich können die meisten möglichen Bewertungen mit einer Kombination Ihrer Parameter erstellt werden.

Antworten:

Menschen haben zahlreiche Systeme erfunden, um Dinge (wie Experten) nach mehreren Kriterien zu bewerten: Eine Liste finden Sie auf der Wikipedia-Seite zur Entscheidungsanalyse nach mehreren Kriterien . Dort nicht gut vertreten ist jedoch eine der vertretbarsten Methoden: die Multi-Attribut-Bewertungstheorie. Dies umfasst eine Reihe von Methoden zur Bewertung von Kompromissen zwischen Kriteriensätzen, um (a) einen geeigneten Weg zum erneuten Ausdrücken von Werten der einzelnen Variablen zu bestimmen und (b) die erneut ausgedrückten Werte zu gewichten, um eine Bewertung für das Ranking zu erhalten . Die Prinzipien sind einfach und vertretbar, die Mathematik ist unanfechtbar und die Theorie hat nichts Besonderes. Mehr Menschen sollten diese Methoden kennen und praktizieren, anstatt willkürliche Bewertungssysteme zu erfinden.

— whuber
quelle

Kennen Sie das R-Paket dafür?

— user333

@user Nein, und ich bezweifle, dass es einen gibt. Übrigens gibt es hier keine magische Software-Kugel: Fast die gesamte Arbeit besteht darin, die Probleme zu durchdenken und bestimmte Kompromisse auf kontrollierte Weise zu untersuchen.

— whuber

Letztendlich ist dies möglicherweise nicht nur eine statistische Übung. PCA ist eine sehr leistungsfähige quantitative Methode, mit der Sie eine Bewertung oder Gewichtung für die ersten Hauptkomponenten generieren können, die Sie für das Ranking verwenden können. Es ist jedoch sehr schwierig zu erklären, was die Hauptkomponenten sind. Sie sind quantitative Konstrukte. Sie sind keine dialektischen. Daher ist es manchmal nicht möglich zu erklären, was sie wirklich bedeuten. Dies gilt insbesondere dann, wenn Sie ein Publikum haben, das nicht quantitativ ist. Sie werden keine Ahnung haben, wovon Sie sprechen. Und denken Sie an Ihre PCA als eine kryptische Black Box.

Stattdessen würde ich einfach alle relevanten Variablen ausrichten und ein Gewichtungssystem verwenden, das auf dem basiert, was man für die Gewichtung hält.

Ich denke, wenn Sie dies für Außenstehende, Kunden und Benutzer entwickeln, wäre es großartig, wenn Sie die Flexibilität der Entscheidung über die Gewichtung der Benutzer einbetten könnten.
Einige Benutzer schätzen jahrelange Erfahrung möglicherweise viel mehr als Zertifizierung und umgekehrt. Wenn Sie diese Entscheidung ihnen überlassen können. Auf diese Weise ist Ihr Algorithmus keine Black Box, die sie nicht verstehen und mit der sie nicht vertraut sind. Sie halten es völlig transparent und überlassen es ihnen, basierend auf ihrer eigenen relativen Bewertung dessen, worauf es ankommt.

— Sympa
quelle

@ Gaetan Nun, für PCA müssen Sie eine geeignete numerische Codierung für Variablen wie "Textinhalt" finden ...

— chl

Das ist nicht das Thema, das ich anspreche. PCA kann Dummy-Variablen verarbeiten, wie Sie vorschlagen. PCA ist auf diese Weise unglaublich leistungsfähig und flexibel. Aber es ist die Interpretation der Hauptkomponenten, die wirklich herausfordernd wird. Nehmen wir an, die erste Hauptkomponente beginnt wie folgt: 0,02 Jahre Erfahrung - 0,4 Textinhalte von Rezensionen + 0,01 Assoziationen ... Vielleicht können Sie es erklären. Eine Expertenleistung ist proportional zur jahrelangen Erfahrung, aber umgekehrt proportional zum Textinhalt der Bewertungen? Es scheint absurd. PCA führt jedoch häufig zu kontraintuitiven Ergebnissen.

— Sympa

@Gaetan Trotzdem bekräftige ich meine Meinung, dass das Problem darin besteht, wie Sie Ihre Variablen darstellen (oder wie Sie eine nützliche Metrik finden). Ich stimme Ihnen in Bezug auf die Schwierigkeit zu, eine lineare Kombination von Variablen zu interpretieren, wenn es sich um nicht kontinuierliche Messungen oder eine Mischung von Datentypen handelt. Aus diesem Grund habe ich in einem anderen Kommentar vorgeschlagen, nach alternativen faktoriellen Methoden zu suchen. Die Entwicklung von Bewertungsregeln auf der Grundlage von Benutzerpräferenzen oder Expertenprüfungen (wie dies bei der klinischen Bewertung der Fall ist) erfordert jedoch auch eine statistische Validierung (zumindest um die Zuverlässigkeit der Bewertungen sicherzustellen).

— Chl

@Gaetan, ja, einige Ihrer Kommentare sind sehr sinnvoll, und Sie sagen zu Recht, dass es sich nicht nur um eine statistische Übung handelt, sondern um subjektivere Elemente. Der Grund dafür ist, dass die Absicht aus Sicht des Benutzers / Kunden unterschiedlich sein kann. Angenommen, er sucht nach einem Experten, dann füge ich nur Filter hinzu, damit er Experten auswählen kann> X Jahre Erfahrung und so weiter. Nehmen wir an, er ist auf 2 Experten eingegrenzt und möchte einen unabhängigen Vergleich. Ich suche also nur nach einer generischen Methode, um zwei Experten zu vergleichen.

— Sidmitra

+1 für den Hinweis, dass dies keine statistische Übung ist. Bestenfalls kann PCA Beziehungen innerhalb eines bestimmten Datensatzes beschreiben und möglicherweise die Daten vereinfachen, indem nahezu kollinearen Beziehungen identifiziert werden. Es ist nicht ersichtlich , wie es uns darüber informieren können , wie man Rang die Experten.

— whuber

Denken Sie, dass Sie all diese Attribute quantifizieren könnten?

Wenn ja, würde ich vorschlagen, eine Hauptkomponentenanalyse durchzuführen. In dem allgemeinen Fall, in dem alle Korrelationen positiv sind (und wenn dies nicht der Fall ist, können Sie mithilfe einer Transformation leicht dorthin gelangen), kann die erste Hauptkomponente als Maß für die Gesamtbedeutung des Experten betrachtet werden, da sie gewichtet ist Mittelwert aller Attribute (und die Gewichte würden die entsprechenden Beiträge der Variablen werden - unter diesem Blickwinkel ist das Verfahren selbst wird offenbaren die Wichtigkeit jedes Attribut). Die Punktzahl, die jeder Experte in der ersten Hauptkomponente erreicht, ist das, was Sie benötigen, um sie zu bewerten.

— George Dontas
quelle

Das sieht gut aus, aber werden nicht einfach Attribute mit der höchsten Varianz und die größten Cluster kreuzkorrelierter Attribute ausgewählt?

Alternativ kann eine Mehrfachkorrespondenzanalyse oder eine Mehrfachfaktoranalyse für gemischte Daten durchgeführt werden (wenn die numerische Rekodierung für einige Variablen nicht realistisch ist), und der Rest Ihrer Idee (Berechnung der Faktorwerte und Betrachtung der variablen Belastungen in der 1. Dimension) gilt auch.

— Chl

Es scheint mir, dass die erste Komponente lediglich eine starke Richtung der Gemeinsamkeit unter den Experten aufzeigen wird. Wie könnte es uns jedoch sagen, wer besser und wer schlechter ist? Dies erfordert zusätzliche Informationen über die Beziehungen zwischen diesen Variablen und die Qualität, ein "guter" oder "schlechter" Experte zu sein. Wenn wir glauben, dass alle Variablen monoton mit Gut oder Böse verbunden sind, kann uns PCA vielleicht helfen, die Grenzen extremer (oder vielleicht nur abgelegener!) Experten zu erkunden. Achtung - auch die Annahme der Monotonie ist verdächtig.

— whuber

@whuber ich verstehe den Punkt, danke. Vielleicht könnten Sie dies in Ihrer eigenen Antwort hinzufügen (was sehr begrüßt wird)?

— Chl