Sonntag, 31.8.2014, 14:00 – 17:30
Titel: Bummler und Schummler – wie effizient ist mein UI? Bearbeitungszeiten verstehen mit Survival-Analyse
Von: Bernard Rummel, Global Design Enablement, SAP AG

Bearbeitungs- und Reaktionszeiten sind – auch in unmoderierten Online-Studien – relativ leicht zu messen und werden daher häufig verwendet, um die Effizienz von Anwendungen zu beurteilen und Investitionen in UI-Design zu rechtfertigen. Was nach objektiver Messung aussieht, hat aber einige methodische Tücken. Wie kann man Ausreißer oder gar Täuschungsversuche erkennen? Was kann man tun, wenn nicht alle Testteilnehmer die gestellte Aufgabe lösen? Mit welchen Parametern kann man Zeitdaten sinnvoll vergleichen? Da Zeiten selten normalverteilt sind, geben Mittelwert und Standardabweichung oft ein schiefes Bild.

Dieses Tutorial gibt eine Einführung in einfache Methoden der Survival-Analyse, die für Gebrauchstauglichkeitsstudien besonders geeignet sind. Teilnehmer lernen Besonderheiten von typischen Zeitverteilungen kennen. Es wird gezeigt, wie man mithilfe von Probability Plots auffällige Daten schnell erkennen, Verteilungen identifizieren und ihre Parameter bestimmen sowie technische Performance und Effizienz des UI-Designs getrennt beurteilen kann – und zwar auch dann, wenn nicht alle Teilnehmer die gestellte Aufgabe gelöst haben.

Das Tutorial wendet sich an Praktiker im Bereich Gebrauchstauglichkeit, aber auch Studenten und Doktoranden, die empirisch mit Zeitdaten arbeiten. Für die praktischen Übungen sind eigene Daten der Teilnehmer willkommen!

Warum Survival-Analyse, wenn es nicht ums Überleben geht?

Survival-Modelle werden typischerweise zur Analyse von Ausfallzeiten verwendet, also für die Zeit bis zum Versagen einer technischen Komponente. Die Mathematik und einige zentrale Konzepte lassen sich gut auf Studien zur Mensch-Computer-Interaktion übertragen, wann immer es um Zeitintervalle zwischen definierten Ereignissen geht – Reaktionszeiten, Bearbeitungszeiten, Verweildauer auf Webseiten etc.

Zeitintervalle sind selten normalverteilt, da es negative Zeiten nicht gibt, und bei den meisten Prozessen deutlich verlängerte Zeiten nicht selten sind. Damit sind viele statistische Standardverfahren, die Normalverteilungen voraussetzen, nicht ohne weiteres anwendbar. Andererseits können typische Zeitverteilungen mit Parametern beschrieben werden, die aussagekräftiger sind als Mittelwert und Standardabweichung.

Schnelle Verteilungsprüfung mit Probability Plots

Probability Plotting ist eine Standardtechnik in der technischen Zuverlässigkeitsanalyse, die sich gut auf Bearbeitungszeitdaten aus Tests zur Gebrauchstauglichkeit übertragen lässt. Die Methode ist beschrieben z.B. in NIST/SEMATECH (2012). Im Tutorial wird behandelt, wie man mit Probability Plots effizient Ausreißer identifizieren, Verteilungstyp ermitteln und Verteilungsparameter bestimmen kann (s.a. Rummel, in Vorbereitung).

Umgang mit Abbrechern: das Censoring-Konzept

Nicht immer können alle Probanden eine gestellte Aufgabe lösen. Manche scheitern an einem Zeitlimit, andere an der Aufgabe selbst. Es kann auch vorkommen, dass zufällig auftretende technische Probleme zum Abbruch der Testsitzung führen. Üblicherweise werden die Zeitdaten solcher Teilnehmer verworfen. Damit geht jedoch Information verloren: bis zum Abbruch haben diese Teilnehmer die Aufgabe ja eindeutig nicht gelöst. Mit geeigneten Zusatzannahmen kann man hier das Censoring-Konzept aus der Survival- Analyse anwenden (Rummel, in Vorbereitung) – auch dort kommt es häufig vor, dass einige Teile zum Studienende noch nicht ausgefallen sind. Methoden zum Umgang mit Censoring im Bereich von Gebrauchstauglichkeitsstudien werden im Tutorial besprochen.

Lösungsrate und Lösungsfreie Zeit

Häufig findet man in Gebrauchstauglichkeitsstudien Bearbeitungszeiten, die exponentialverteilt sind – jedoch mit der Besonderheit, dass die Exponentialverteilung um eine Konstante t0 verschoben ist. Diese Zeit t0, in der kein Testteilnehmer die gestellte Aufgabe lösen kann, wird in typischen Testszenarien größtenteils durch Systemreaktionszeiten und den Zeitverbrauch mechanischer Prozesse – Tastatureingaben und Mausklicks – bestimmt. Für die darauf aufsetzende Exponentialverteilung gilt, dass der Prozentsatz Teilnehmer, die die Aufgabe lösen, pro Zeitintervall konstant ist. Diese Lösungsrate lambda bildet vor allem die Aufgabenschwierigkeit und das mehr oder weniger zufällige Auftreten von Gebrauchstauglichkeitsproblemen ab. Kennt man t0 und lambda, lassen sich Lösungsraten zu bestimmten Zeiten im Dreisatz berechnen. Ist die Lösungsrate variabel, d.h. es liegt keine Exponentialverteilung vor, kann daraus auf bestimmte Eigenschaften der Aufgabe bzw. der Benutzungsoberfläche geschlossen werden (Rummel, in Vorbereitung).

Vergleichende Analyse

Statistische Standardverfahren wie Varianzanalyse und t-Test sind nur eingeschränkt anwendbar, wenn keine normalverteilten Daten vorliegen. Sofern man eine Lognormalverteilung vorfindet, kann man durch Logarithmieren der Zeitdaten zu validen Analysen kommen. Im Fall einer Exponentialverteilung sind mit den Parametern t0 und lambda weitere, qualitativ ergiebigere Aussagen möglich; zum Beispiel lässt sich damit beantworten, inwieweit ein klareres Interaktionsdesign Abstriche in der Systemperformance oder längere Klickpfade rechtfertigt.

Implementierung in Tabellenkalkulationsprogrammen

Anand von Microsoft Excel wird die Implementierung von Probability Plots in Spreadsheet- Programmen demonstriert. Zu praktischen Übungen sind eigene Daten der Teilnehmer willkommen.

Literaturverzeichnis

NIST/SEMATECH (2012). e-Handbook of Statistical Methods. Letzter Zugriff Mai 2014 von http://www.itl.nist.gov/div898/handbook/. National Institute of Standards and Technology

Rummel, B. (in Vorbereitung). Probability Plotting: A Tool for Analyzing Task Completion Times.
Journal of Usability Studies