Wie bekommt man nützliche Daten von Spieletestern? [geschlossen]

Es gibt ein paar Arten von Rückmeldungen, die Sie von Spieletestern erhalten können, und ich frage mich, wie Sie am besten Daten für jeden von ihnen sammeln können ...

1. Absturzberichte. Wenn mein C ++ - Spiel abstürzt, während jemand es spielt, wie kann ich am besten sicherstellen, dass ich darüber Bescheid weiß und noch besser ... was hat es verursacht? Sogar etwas so Einfaches wie die Datei- und Zeilennummer zu bekommen, die einen Absturz verursacht hat, wäre unglaublich hilfreich.

2. Design-Feedback. Wie kann ich herausfinden, wenn ein Spieletester das Spiel spielt, ob sie Spaß haben, warum sie Spaß haben, warum sie keinen Spaß haben und was wir Zeit für die Anpassung verwenden sollten?

Ich gehe davon aus, dass es sich um On-Site-Playtester und nicht um Internet-Beta-Tester handelt.

Regel 1: Hilf ihnen nicht . Frustration sollte das Beste sein, worauf Sie achten sollten. Die ideale Situation wäre ein Zwei-Wege-Spiegel mit Ihrem Team auf der einen Seite und dem Testgerät auf der anderen Seite mit einer Videokamera im Gesicht und einer weiteren auf dem Bildschirm. Offensichtlich ist dies für die meisten Menschen nicht machbar, also tu das Beste, was du kannst. Nur Ihre Designer sitzen zu lassen und zu beobachten, wo Menschen stecken bleiben, ist eine sehr nützliche Information. Sie werden ihnen nicht über die Schulter stehen, wenn sie das Spiel mit nach Hause nehmen. Wenn Sie also Ratschläge dazu geben, wie Sie bestimmte Abschnitte bestehen, erhalten Sie nicht die Informationen, die Sie benötigen. Bearbeiten : Eine andere Art, es auszudrücken, ist die folgende: Glaube nicht, dass sie "falsch spielen".

Regel 2: Gib ihnen nicht, was sie wollen . Nach einer Spieltest-Sitzung haben Sie eine Art Fragebogen, den sie ausfüllen. Die konkreten Vorschläge, die sie haben, sollten normalerweise nicht zum Nennwert genommen werden. Normalerweise gibt es eine Grundursache, die die meisten Antworten auslöst, und sie wissen einfach nicht, wie sie es ausdrücken sollen. Wenn Sie das herausfinden können, sind Sie besser dran. Obwohl ich im Moment Probleme habe, konkrete Beispiele zu finden.

Regel 3: Daten sind König . Wenn Sie können (und dies ist wirklich ein weiterer Artikel auf der Wunschliste, ehrlich gesagt), verfolgen Sie alles, was Sie können. Verfolge, wo Spieler sterben. Verfolgen Sie, wo ihnen die Munition einer bestimmten Waffe ausgeht. Verfolgen Sie, welche Pickups sie vermissen. Verfolgen Sie, welche Upgrades sie kaufen. Verfolge, welche Feinde ihnen Schaden zufügen. Dies sind natürlich FPS-spezifische Beispiele, aber ich bin mir sicher, dass es für jedes Spiel, das Sie spielen, domänenspezifische Beispiele gibt. Wenn jeder etwas tut oder nicht, sollten Sie sich diese Bereiche in der Regel etwas genauer ansehen.

Grundsätzlich ist es dir egal, was der Spieler denkt . Du interessierst dich dafür, rohe Zahlen für das zu bekommen, was Spieler tun . Du brauchst jungfräuliche Augen, um dein Spiel zu sehen und dir zu sagen, was sie frustriert und wozu sie angehalten werden.

Untersuchen Sie bei Abstürzen die Minidumps . Sie sind nicht perfekt, aber ein sehr nützliches Werkzeug, um herauszufinden, wo Abstürze sind.

Ziehen Sie auch ein integriertes Tool zur Fehlerberichterstattung in Betracht. Etwas, bei dem der Benutzer einen Screenshot machen, eine Beschreibung hinzufügen und ihn automatisch aus dem Spiel heraus per E-Mail an jemanden senden kann. Idealerweise mit einem Schnappschuss der Welt (dh QuickSave oder eine Art Speicherauszug), wenn Ihr Spiel dies unterstützt.

Die Daten zu erweitern ist ein bisschen Königssensiment (+1 an Tetrad!):

Untersuchen Sie die Aufnahme und Wiedergabe :

• Wenn Ihr Spiel deterministisch und rahmenbasiert ist, müssen Sie möglicherweise nur einen anfänglichen Zufallsstartwert und ein Tupel speichern, (key/button state, joystick/mouse coords, frame #)wenn sich der Eingabestatus ändert. Die Wiedergabe ist so einfach wie das Umleiten Ihrer Eingabe in diesen Stream. (Wir haben dies in der Vergangenheit für viele Platform-Jumping-Spiele getan.)
• Wenn Ihr Spiel über gut definierte APIs oder Nachrichtensysteme zum Ausführen von Aktionen verfügt (rundenbasiertes Strategiespiel, Kartenspiel, Brettspiel oder ähnliches), können Sie möglicherweise nur API-Aufrufe oder Nachrichten an einem bestimmten Punkt abholen . (Wir haben dies für ein Kartenspiel für eine Handheld-Plattform gemacht.)
• Auf manchen Systemen ist es schwieriger (weniger deterministische, Thread- oder willkürliche Zeitschrittsysteme können problematisch sein), aber es kann sich trotzdem lohnen, die Daten aufzuzeichnen. Sie können für einige Verwendungszwecke "nahe genug" Ergebnisse erhalten.

Ein "Replay" -System, das auf diesen Methoden basiert, hat eine Reihe von Vorteilen:

• Verwenden Sie es, um Abstürze in einem Debug oder in einer auf andere Weise instrumentierten Build oder Umgebung zu reproduzieren.
• Laden Sie Wiederholungen unter einem Profilerstellungs-Build, und rufen Sie Leistungs- oder Ressourcennutzungsdaten ab.
• Verkabeln Sie es mit dem Spiel, um "Sofortwiedergabe" zu ermöglichen, möglicherweise mit einer anderen Kamera oder einem anderen Zeitschritt.
• Richten Sie ein Demo-Gameplay im "Anziehungsmodus" ein, wenn der Benutzer nichts in einem Menü tut.
• Setzen Sie es als Rauchprobe auf Ihr Build-System: Wenn ich diese Wiedergabe ohne Absturz durchspielen kann, ist es wahrscheinlich ein guter Build.
• Sehen Sie sich Beispiele von Spielern an, um zu sehen, was sie getan und was nicht.

Verdrahten Sie statt eines aufgezeichneten Streams eine zufällige Eingabe , und Sie haben einen großartigen Affentest , den Sie über Nacht oder immer dann, wenn Ihre Entwicklungsmaschinen nicht in Betrieb sind, einweichen lassen können.

Führen Sie als Nächstes eine Ereignisaufzeichnung durch . Beginnen Sie für eine hypothetische FPS mit etwas wie "Zeit T: X tötete Y an Punkt Z mit Waffe W": Schreiben Sie es in ein Protokoll.

Wenn Sie einige Daten erfasst haben, finden Sie heraus, wie Sie die Erfassung automatisieren können . Es muss während der Entwicklung nicht elegant sein:

• Verbindung zu einem SQL Server herstellen und Zeilen einfügen,
• feuere und vergesse UDP Pakete auf einem einfachen syslog-ish Server,
• E-Mail das Protokoll das nächste Mal, wenn das Spiel startet,
• Wickeln Sie die ausführbare Datei einfach in ein Shell-Skript oder eine Batch-Datei, die eine .log-Datei umbenennt und auf ein gemeinsames Laufwerk kopiert.
• (später für Produktivversionen) Verwenden Sie die Windows-Fehlerberichterstattung oder einen ähnlichen Dienst, um Absturzdaten zu erfassen ...

Ist eigentlich egal, solange du Daten sammeln kannst.

Jetzt erweitern: Crash-Dumps, Stack-Traces und Eingabe- oder Ereignisaufzeichnungen sammeln. Fügen Sie weitere Ereignisse und Datenquellen hinzu:

• Probiere die Position oder die Hand des Spielers alle 10 Sekunden aus und zeichne sie auf eine Karte. "Hey, niemand benutzt diese Ecke, für die ich eine Woche lang Modellierzeit aufgewendet habe, um dort ein Powerup zu platzieren."
• getFreeMemoryBytes() jede halbe Minute
• getFPS() regelmäßig
• Machen Sie ein Foto oder ein Video von dem, was der Benutzer über eine Webcam tut (ideal für automatisierte Usability-Tests - natürlich nur mit Erlaubnis und Verständnis des Benutzers)
• Systeminformationen abrufen (erneut mit Benutzerberechtigung)

Das "Plotten auf einer Karte" -Ding kann nach einer Weile wirklich fantastisch werden: Stellen Sie sich eine Luftaufnahme einer RTS- oder FPS-Karte vor. Setzen Sie einen Schieberegler darauf, der die Zeit seit Spielbeginn darstellt. Wählen Sie einen Ereignistyp ("Gold bekommen", "jemanden getötet", was auch immer). Wählen Sie einen Datensatz aus: vielleicht ein Spiel, vielleicht 500 Spiele in den letzten Monaten. Ziehen Sie den Schieberegler nach rechts und beobachten Sie, wie die Aktivität auf der Karte angezeigt wird.

Und wenn Sie keine guten Bibliotheken finden, die Ihnen bei diesen Dingen helfen können (es gibt jedoch hier und da einige!), Denken Sie darüber nach, Ihre eigenen zu rollen: Es ist eine gute Lernerfahrung, und es muss nicht besonders elegant sein um nützlich zu sein.

Holen Sie sich die Daten und finden Sie heraus, was Sie damit tun sollen. =)

Natürlich hängt dies stark davon ab, ... a) welche Art von Tests Sie durchführen möchten und b) welche Art von Spielen Sie testen und c) welche Art von Testern und Infrastrukturen Ihnen zur Verfügung stehen ...

Es ist auch sehr unterschiedlich, wenn Sie a) die Funktionalität testen, b) das Gleichgewicht herstellen und c) das Spieldesign testen

Aber im Allgemeinen sollten Sie diese Aspekte berücksichtigen ...

* a) Die richtige Person für den Job auswählen Klingt zu einfach, um es zu erwähnen, aber ich habe es schon oft gesehen und habe es einfach wieder live gesehen. Wie immer gibt es erhebliche Unterschiede zwischen den Menschen in Bezug darauf, wie gut sie in verschiedenen Berufen sind. Einige Leute, die bereit oder vielleicht bereit sind, Tests durchzuführen, spielen möglicherweise nicht gründlich genug, um ungewöhnliche (oder sogar einfache) Fehler zu finden. Einige können die Fehler nicht gut beschreiben. Einige können Balancing-Probleme besser testen, andere sind auffälliger für visuelle Schwächen, andere sind kreativer beim Spielen auf ungewöhnliche Weise und finden versteckte / seltene Fehler, andere achten auf technische oder visuelle Qualität, andere verstehen Aspekte besser der Spielmechanik und möglicherweise sogar in der Lage, sinnvolle Änderungen vorzuschlagen (wenn Sie möchten, dass Ihre Tester das tun;).

* b) Verwenden Sie eine Ausgabe-Tracker / Bug-Tracker Software Diese Tools können Ihre Probleme bei der Organisation , sondern auch nicht nur dazu beitragen , die Qualität der Ausgabe Ihrer Tester bei der Erhöhung von ihnen einen Rahmen zu Arbeit innerhalb und durch das Lernen von Feedback geben sie bekommen von Entwicklern über ihre Probleme. Es hilft, die Qualität der Ausgabe Ihrer Tester viel schneller zu verbessern, als wenn Sie ohne sie arbeiten. (Es hilft auch sehr bei Remote-Testern) Eine typische Software, die von Spielestudios verwendet wird, ist zB Mantis, JIRA (und natürlich viele andere). Siehe Wikipedia für eine allgemeine Liste und auch diesen Beitrag über SO.

c) Hinzufügen von Ingame-Testwerkzeugen Typisch sind Verknüpfungen zum Testen bestimmter Ebenen oder Abschnitte des Spiels. Den Testern zusätzliche Informationen während des Spiels anzeigen, damit sie diese zu Fehlerberichten hinzufügen können. Dies kann die Position in einer Ebene, die Anzahl der aktiven Objekte in einer Szene, die Anzahl der aktuell verwendeten Textur-RAMs oder Paletten sein, was für die Entwickler hilfreich ist.

d) Kombinieren Sie erfahrene Tester mit frischem Blut. Es ist immer eine gute Sache, Tester zu haben, die sehr erfahren mit Ihrem Spiel sind und die typischen Probleme kennen und wissen, wie sie (erneut) getestet werden können. Gleichzeitig möchten Sie ab und zu neue "jungfräuliche" Spieler, insbesondere zum Balancieren.

e) Einen Testmanager beauftragen Jemand, der den Prozess koordiniert und auf das jeweilige Spiel, die aktuellen Prioritäten und die verfügbaren Tester und Testumgebungen zuschneidet.

f) Haben Sie ein Testplandokument Dies wäre einen zusätzlichen Beitrag wert.

Wie von Tetrad erwähnt, holen Sie sich so viele objektive Daten wie möglich. Es ist nicht sehr schwierig, bestimmte Ereignisse zu speichern und diese alle in eine .csv-Datei zu kopieren. Und sobald Sie es in Excel haben, können Sie es studieren, grafisch darstellen und plotten, bis die Kühe nach Hause kommen.

Haben Sie auch spezielle Fragen, die Sie beantworten möchten. Wissenschaftler setzen sich nicht einfach hin, machen Experimente und "machen Wissenschaft". Sie haben spezifische, messbare Fragen, zu denen sie Daten benötigen. Sie werden oft das meiste aus dem Spieltest herausholen, wenn Sie den gleichen Ansatz wählen. Der Versuch herauszufinden, ob Ihr Spiel "gut" ist, ist sehr schwer zu quantifizieren. Es kann jedoch tatsächlich bewertet werden, ob die einfache Tutorial-Mission nur die erwarteten 5 Minuten in Anspruch nimmt oder ob die Tester Schwierigkeiten haben, ein bestimmtes Rätsel zu lösen.

Manchmal ist es am effektivsten, iterativ in kurzen Bursts zu testen. Lassen Sie ein paar Tester morgens etwa eine Stunde gehen, nehmen Sie einige Änderungen an den von ihnen identifizierten Problemen vor und melden Sie sich am nächsten Morgen erneut bei neuen Testern an. Natürlich muss man sich ein Feature ansehen, das klein genug ist, um sich an einem Nachmittag zu verbessern. Aber für ein Problem, das besonders hartnäckig ist, kann diese Methode sehr erfolgreich sein.

Stimmen Sie auf jeden Fall der Regel Nr. 1 von Tetrad zu. Hilf ihnen nicht. Ich würde sagen, eine Einschränkung ist, ihnen zu erklären, dass Sie ihnen nicht helfen werden, und wenn sie Hilfe benötigen, fragen Sie bitte. Auf diese Weise wird der Spieler nicht frustriert.

Der Fragebogen sollte offene Fragen stellen, anstatt einfache Ja / Nein-Fragen. Je nach Alter und Anzahl der Tester können dies ausgefüllte Formulare sein oder Sie können Fragen stellen. Es ist auch wichtig, Fragen zu ihrer Geschichte und ihrer Vertrautheit mit dem Genre des Spiels zu stellen, das Sie testen lassen. Dies fügt den spezifischen Antworten zu Ihrem Spiel einen Kontext hinzu.

Wenn mein Spiel abstürzt, erhalte ich glücklicherweise einen Überblick über den Fehler, sodass ich ein Bild davon machen und notieren kann, was der Spieler getan hat. Normalerweise teste ich jüngere Altersgruppen. Wenn wir einen Sturz bekommen, muss ich ihnen unbedingt erklären, dass sie einen tollen Job machen - sie können sich nach einer Unterbrechung des Spiels aufregen. Spieletester haben sich wirklich als großartig erwiesen, wenn es darum geht, obskure Fehler zu finden, bei denen das Entwicklerteam das Spiel niemals "richtig" spielen würde.

Es ist möglich, Code zu schreiben, der Abstürze abfängt und den Aufrufstapel protokolliert. Das kann bei Fehlerberichten sehr hilfreich sein. Es hilft auch, eine nützliche Protokolldatei zu erstellen. Sie können den Benutzer auffordern, diese Dateien beim nächsten Abspielen zu senden, oder Sie können ein eigenständiges Tool verwenden, das nach dem Schließen des Spiels ausgeführt wird oder abstürzt, wenn Sie möchten.

Bei Absturzberichten sollten Sie sich auf bezahlte QA-Mitarbeiter verlassen, nicht auf Testpersonen. QA ist jemand, den Sie speziell für die Fähigkeit einstellen, Fehler zu finden und auf sinnvolle Weise zu melden. Ein guter Tester ist Gold wert (und kostet im Vergleich zu Programmierern nur ein Zehntel Gold).

Wenn Sie besorgt sind über "oh, was ist, wenn sie versehentlich einen Absturz entdecken, möchten wir das nicht verpassen, nur weil sie nicht darauf testen" ... genau dafür ist die Protokollierung gedacht. Ein ausreichend gutes Protokollierungssystem sollte genügend Spielelemente aufzeichnen, um einen Absturz exakt reproduzieren zu können.

Für Design-Feedback gibt es keinen Ersatz dafür, dass Ihre Game-Designer sie tatsächlich spielen sehen (oder einen Videorecorder verwenden, wenn Sie müssen usw.). Verlassen Sie sich nicht auf das Gedächtnis oder die Meinung des Testers, die beide notorisch arm sind. Aber wenn Sie sie in Echtzeit spielen sehen, ist es offensichtlich, wenn Sie nur auf ihre Gesichts- und Körperhaltung schauen, ob sie verlobt, gelangweilt oder frustriert sind.