eyetracking | Sebastian Sauer Academic

Performanz in Echtzeit vorhersagen auf Basis von Pupillendaten

Sun, 01 Oct 2017 00:00:00 +0000

Fragestellung

Lässt sich die Performanz von Computer-Arbeitenden anhand der dynamischen Veränderung der Pupillengröße vorhersagen (vgl. Buettner et al. 2015)?

Untersuchungsdesign

In einer Beobachtungsstudie im Labor wurden N = 129 Probanden untersucht. Gemessen wurde primär die kontinuierliche Veränderung der Puppillengröße als Prädiktor für den Erfolg in drei verschiedenen realistischen Aufgaben von computerbezogenen Aufgaben aus einem Wirtschaftskontext.

Ergebnisse

Ein Algorithmus aus dem Maschinellen Lernen (Random Forests) sagte die Performanz überzufällig gut vorher. Dieser Erfolg ist beachtenswert, da die Vorhersage ex-ante verlief: Die Pupillendilation während der Bearbeitung sagte den Erfolg am Ende der Bearbeitungszeit vorher.

Limitationen

Zwar wurden eine Reihe von Störvariablen (z.B. Streulicht) im Labor kontrolliert, aber personengebundene Störvariablen könnten ebenfalls die Vorhersage beeinflusst haben. Das Aufgabenszenario war praxisnah gestaltet, aber die ökologische Validität einer Laborsituation ist eingeschränkt.

Theoretische/Praktische Implikationen

Der Grad von kognitiven Belastung bei Computerarbeit ist ein ausschlaggebender Faktor für die Performanz der Nutzer; Über-, Fehl- aber auch Unterbelastung können die Performanz von Nutzern begrenzen. Der Messung der kognitiven Belastung kommt daher hohe praktische Bedeutung bei Mensch-Maschine-Interaktionen zu. Gelänge es, die kognitive Belastung valide, praktikabel und in Echtzeit zu messen, so könnte die Nutzer-Performanz u.U. gesteigert werden. So könnte z.B. die Fehlerrate bei Fluglotsen verringert werden. Darüber hinaus sind genaue Vorhersagen sind ein Schlüssel zum besseren Verständnis der psycho-physiologischen Abläufe bei kognitiver Belastung.

Relevanz/Beitrag

Bislang liegen nur wenige Studien vor, die anhand einer größeren Stichprobe und in einem praxisnahem Design, Nutzer-Performanz in Echtzeit vorhersagen. Der Nutzen von alternativen prädiktiven Algorithmen wird durch den Vorhersageerfolg in dieser Studie demonstriert; damit ist zu hoffen, dass Maschinelles Lernen in anderen Forschungsgebieten zu verbesserten Vorhersageerfolgen führt.

Literatur

Buettner, Ricardo, Sebastian Sauer, Christian Maier, and Andreas Eckhardt. 2015. “Towards Ex Ante Prediction of User Performance: A Novel Neurois Methodology Based on Real-Time Measurement of Mental Effort.” In System Sciences (Hicss), 2015 48th Hawaii International Conference on, 533–42. IEEE.

Das Böse. Psychologie eines Phänomens.

Mon, 01 May 2017 00:00:00 +0000

Reproducible paper writing: Some practical recommendations

Sat, 01 Oct 2016 00:00:00 +0000

Abstract

Reproducible Paper Writing

Scientiﬁc publications should both announce a result and convince readers that the result is correct (Mesirov, 2010). Reproducibility refers to methods which help the reader to convince themselves by own means that a given result is plausible, at least. Thus, reproducibility, as opposed to replicability, is particularly important because successfully replicating a study is not neccessarily possible even if the study was well conducted (Peng, 2015). In any case, a reanalysis of the data must result in similar or identical results.

The current “reproducibility crisis” (Open Science Collaboration, 2015) is partly due to a lack of technical and statistical skills (Peng, 2015). Thus better technical skills for reproducible paper writing and data analyses may provide a remedy to the reproducibility crisis. In this talk, we present a method that is well-suited for writing reproducible academic papers. This method is a combination of Latex, R, Knitr, Git, and Pandoc. These software tools are robust, well established and not more than reasonable complex. Additional approaches, such as using word processors (MS Word), Markdown, or online collaborative writing tools (Authorea) are presented brieﬂy. The presentation is based on a practical software demonstration. A Github repository for easy reproducibility is provided.

REFERENCES

Mesirov, J. P. (2010). COMPUTER SCIENCE. Accessible Reproducible Research. Science, 327(5964), 10.1126/science.1179653. http://doi.org/10.1126/ science.1179653

Open Science Collaboration. (2015). Estimating the reproducibility of psychological science. Science, 349(6251). http://doi.org/10.1126/science.aac4716

Peng, R. (2015). The reproducibility crisis in science: A statistical counterattack. Signiﬁcance, 12(3), 30–32. http://doi.org/10.1111/j.1740-9713.2015.00827.x