Ideale Teilnehmerzahl zur Bewertung des Entwicklungsansatzes / der Softwarearchitektur

Für meine Diplomarbeit habe ich einen Entwicklungsansatz erstellt (bestehend aus Schemata, einer Anwendungsvorlage und Prototypcode), der die Entwicklung und Anpassung von Anwendungen für eine bestimmte Plattform erleichtern soll.

Ich habe Interviews mit Entwicklern dieser Plattform geführt, um meinen Ansatz zu bewerten. Bisher gab es 5 Befragte, und das Feedback, das ich von ihnen erhalten habe, ist für meinen Umfang ausreichend, würde ich sagen.

In meiner Arbeit möchte ich jedoch meine Entscheidung begründen, dass 5 Bewerter ausreichen. Gibt es wissenschaftliche Untersuchungen oder Arbeiten, die eine bestimmte Anzahl von Bewertern für einen solchen eher theoretischen Ansatz vorschlagen?

Ich kenne Nielsens Arbeit zur heuristischen Usability-Bewertung, die besagt, dass Sie mit 5 Teilnehmern etwa 75% aller Probleme beim Testen der Software-Usability / UI entdecken .

Aber wie gesagt, mein Ansatz ist kein spezifisches Softwareprodukt, das evaluiert werden muss, sondern nur das Modell selbst, weshalb ich nach Forschung in diesem Bereich suche.

reference-request software-engineering empirical-research

— Saschoar
quelle

Es scheint mit der Komplexität der Software und der "Abdeckung" der Benutzer in Zusammenhang zu stehen, die die Funktionen der Software auswählen (ähnlich wie "Testabdeckung", außer dass Benutzer, nicht Code, als Tester angesehen werden). Sie könnten einen einzelnen Benutzer alle Funktionen auswählen lassen und eine hohe "Abdeckung" erzielen, oder viele Benutzer, die nicht alle Funktionen so stark "abdecken". Vielleicht möchten Sie in einen anderen Blickwinkel wechseln und sich auf alle Funktionen Ihres Codes konzentrieren und darauf, welche tatsächlich "berührt" (getestet) wurden.

— vzn

Sind Ihre Interviews qualitativer oder quantitativer Natur?

— Raphael

Sie waren qualitativer.

— Saschoar

"Gibt es wissenschaftliche Forschungen oder Arbeiten, die eine bestimmte Anzahl von Bewertern für einen solchen eher theoretischen Ansatz vorschlagen?"

Es gibt eine statistische Methode zur Berechnung der richtigen Probengröße für ein Experiment.
Diese Methode wird als "Leistungsanalyse" bezeichnet [1]. Es berechnet die minimale Stichprobengröße, die erforderlich ist, um zu überprüfen, ob die Ergebnisse eines Experiments statistisch signifikant sind. Bei diesem Ansatz wird davon ausgegangen, dass Sie mindestens zwei Gruppen haben. Eine Kontrollgruppe und eine Versuchsgruppe (dh die Kontrollgruppe verwendet die Plattform ohne Ihre Änderungen, die Versuchsgruppe verwendet die Plattform mit Ihren Änderungen).

Obwohl es einen wissenschaftlichen Prozess zur Berechnung der richtigen Stichprobengröße gibt, ist dieser Ansatz für Ihre Studie wahrscheinlich übertrieben. Nielsen [2] stellt fest, dass die heuristische Auswertung nur eine "billige und schnelle" Methode zur einfachen Auswertung ist. Daher glaube ich, dass Sie eine Stichprobengröße von 5 unter Berufung auf Nielsen rechtfertigen können. Wenn Sie jedoch Ihren Bewertungsprozess standardisieren und einen statistischen Ansatz verwenden möchten, empfehle ich Ihnen, sich mit der Leistungsanalyse zu befassen.

Dieses Online-Tool zur Berechnung der Leistung könnte Sie interessieren .

— Camille
quelle