Muster von Mausklicks (oder Tastenkombinationen) und Vorhersage der Aktivität des Computerbenutzers

es möglich, die Aktivität des Computerbenutzers vorherzusagen, basierend ausschließlich auf dem zeitlichen Muster der Mausklicks (eine Liste der )? $[t_1,t_2,t_3,\ldots]$

Zum Beispiel aus: Arbeiten oder Zeit auf Facebook verbringen, Fotos ansehen oder ein Computerspiel spielen.

Wenn es sich um feinkörnigere Vorhersagen handelt (z. B. StarCraft gegen Counter Strike gegen SimCity), bin ich ebenfalls interessiert.

Während (wohl) man hören kann, dass jemand spielt (aufgrund schneller und stoßartiger Klicks) oder Fotos ansieht (gleich große Klicks), bin ich interessiert, ob es zu diesem Thema objektivere Erkenntnisse (Veröffentlichungen, Recherchen in Blogs usw.) gibt .

BEARBEITEN:

Ich interessiere mich gleichermaßen für die Tastaturklicks (ohne zu unterscheiden, welche Taste gedrückt wird) oder den kombinierten Ansatz (Maus + Tastatur).

time-series signal-processing pattern-recognition

— Piotr Migdal
quelle

Was ist, wenn Sie mit der Tastatur spielen? : D

— nico

@nico Eigentlich ist das Muster der Tastaturklicks (ohne zu unterscheiden, welche Taste gedrückt wird) ebenso interessant.

— Piotr Migdal

Tolle Frage, ich wünschte, ich hätte die Zeit, mich selbst zu untersuchen. Ich bin zuversichtlich, dass es nachvollziehbar ist. Hast du irgendwelche Daten?

Ihr Signal ist eine mehrdimensionale ( D für Tasten) binäre Zeitreihe; Jedes Bit zeigt an, ob die Taste gedrückt ist oder nicht. Sie können die Position des Cursors auch als 2D-Trajektorie in den Feature-Vektor integrieren. Vermutlich haben Sie Trainingsdaten für jede Aktivität. Dies bedeutet, dass Sie ein Klassifizierungsproblem haben. $n$ $n$

Sie können die Dimensionalität reduzieren, indem Sie die Trajektorie approximieren und effizient codieren (Referenzen auf Anfrage) und die erste Differenz der Mausklickfrequenz verwenden (dh wenn sich die Häufigkeit der Klicks nicht ändert, speichern Sie Null). Ich würde auch die Verteilung der Zwischenankunftszeit der Klicks schätzen, um zu sehen, ob Sie daraus klassifizieren können.

Einen Sprung in die Literatur finden Sie unter Aktivitätserkennung mit Blickbewegungen und traditionellen Interaktionen . Weitere Hinweise finden Sie in den Communities "Ubiquitous / Pervasive Computing" und "Mensch-Computer-Interaktion".

Um Daten zu erhalten, empfehle ich, sie selbst mit einem Keylogger zu generieren . Ich schlage vor, in einem Forum im Zusammenhang mit Computersicherheit oder Hacking um Hilfe zu bitten. Die meisten von ihnen protokollieren die Tastatur, aber möglicherweise gibt es auch etwas für die Maus. Andernfalls können Sie Ihre eigene Software schreiben .

— Emre
quelle

Gute Vorschläge, aber ist dies nicht eher ein Kommentar als eine Antwort, da die OP-Frage nur beantwortet wird, wenn Sie der Meinung sind, dass der von Ihnen angegebene Link eine teilweise Antwort ist?

— Michael R. Chernick

Die Antwort ist nicht der Link; Es sind die Absätze davor: Ich erklärte, wie man das Problem angeht, und schlug den Merkmalsvektor vor. Wenn es keine gute Trennung bietet, können wir die Feinheiten des Klassifizierungsalgorithmus diskutieren.

— Emre

Ich denke, das ist eine teilweise Antwort. Die Vermutung ist, dass die Aktivität umso größer ist, je höher die Häufigkeit von Mausklicks ist. aber was macht Aktivität aus? Paasive Dinge wie Lesen können als Aktivität betrachtet werden und Scrollen ist eine Aktivität. Keiner von beiden beinhaltet Mausklicks. Die eigentliche Frage ist, sobald wir eine klare Definition dessen haben, was Aktivität ausmacht, brauchen wir eine unabhängige Methode, um sie zu messen und dann zu sehen, ob sie mit der Häufigkeit von Mausklicks korreliert. Dies liegt wahrscheinlich daran, dass das Schlafen vor dem Computer oder das Anstarren zu Inaktivität und ohne Mausklick führt.

— Michael R. Chernick

Auf der anderen Seite ist schnelles Tippen eine schwere Form der Aktivität, beinhaltet jedoch überhaupt kein falsches Klicken.

— Michael R. Chernick

@ Emmre Danke für deine Vorschläge, insb. der Artikel. Ich bin jedoch interessiert, ob es tatsächlich funktioniert (ich glaube - ja). Ich habe kein Datum, daher wären auch Links zu solchen wünschenswert.

— Piotr Migdal