Sonntag, 31.8.2014, 9:00 – 12:30
von Gerd Szwillus, Universität Paderborn

Card Sorting ist eine Web Design/Usability-Methode zum Optimieren der Webnavigation bzw. der Informationsarchitektur. Das Tutorium deckt diese praktische Standardverwendung von Card Sorting ab, bietet aber auch eine ausführliche Darstellung von alternativen Nutzungsansätzen. Im Bereich der Auswertung von Experimenten gibt es interessante Alternativen zur üblicherweise eingesetzten Clusteranalyse, sowie eine reichhaltige Palette an unterstützenden Werkzeugen. Die Teilnehmer gewinnen fundierte Kenntnisse über das Verfahren selbst, die möglichen Anwendungsgebiete, Alternativen der Auswertung, Erfahrungen und moderne Varianten sowie Softwarewerkzeuge und können sich anhand einer ausführlichen, kommentierten Literaturliste weitergehend informieren. Wo immer es sich anbietet, werden den Teilnehmern konkrete Erfahrungen – insbesondere durch Demonstrationen von Werkzeugen – vermittelt.

Inhaltsbeschreibung und didaktische Konzeption

Card Sorting (Spencer 2009) (Hudson 2012) ist eine weit verbreitete Methode, um die in Informationsarchitekturen von Webauftritten verwendeten Kategorisierungen experimentell zu überprüfen. Das Grundprinzip besteht darin, geeigneten Versuchspersonen Begriffe auf Karten zu präsentieren und diese anschließend in semantisch zusammenhängende Gruppen sortieren zu lassen. Zur Auswertung wird für jedes Kartenpaar ausgezählt, von wie vielen Versuchspersonen die zwei Karten in die gleiche Gruppe sortiert wurden. Die Auszählung ergibt somit für je zwei Karten ein Maß von „semantischer Nähe“ oder „Ähnlichkeit“, das zwischen 0% (nie zusammen) und 100% (immer zusammen) variieren kann. Mit verschiedenen statistischen Methoden können anschließend semantisch als ähnlich empfundene Gruppen ermittelt werden, etwa durch Clusteranalyse (Jain und Dubes 1988). Die gefundenen Cluster sind in der Folge gute Kandidaten um in Menüs zusammengefasst zu werden, da aus dem Card-Sorting-Experiment geschlossen werden kann, dass die meisten Benutzer die Items ebenfalls als semantisch zusammenhängend empfinden.

Eine der wichtigsten Unterscheidungen bei der Durchführung von Card-Sorting-Experimenten ist es, ob man den Versuchspersonen feste benannte Gruppen vorgibt (sogenanntes „Closed Card Sorting“) oder ob man den Versuchspersonen neben der reinen Gruppierung der Karten auch die Benennung der gebildeten Gruppen aufträgt („Open Card Sorting“) (Spencer 2009). Erstere Variante ist vor allem dann angebracht, wenn eine bereits existierende Gruppierung überprüft werden soll: So kann man damit etwa die Plausibilität der Zuordnung von Menüitems zu Menüköpfen testen, um zu prüfen, ob die Benutzer ein Item schnell und ohne Irritationen unter dem entsprechenden Menükopf finden werden. Das offene Card Sorting wird typischerweise eingesetzt, wenn man noch keine oder nur vage Vorstellungen hat, wie Gruppen benannt werden sollen. Dadurch, dass man Vorschläge für Gruppennamen bei den Versuchspersonen „einsammeln“ kann, entstehen Ideen für plausible Benennungen, etwa zur Nutzung als Textanker für Webnavigation oder Menüköpfe. Erwähnt sei auch, dass es nicht nur die Unterscheidung zwischen der offenen und der geschlossenen Variante sondern interessante Zwischenformen gibt. Meist findet in einem Entwicklungsprozess auch nicht nur ein einziges Card-Sorting-Experiment statt, sondern mehrere Experimente werden in Schritten eines zusammenhängenden Prozesses organisiert.

Bei der Auswertung beherrscht die Clusteranalyse zwar den „Markt“, es gibt aber darüber hinaus interessante alternative Auswertungsmethoden, die andere Aspekte des erhobenen Versuchsmaterials deutlich machen. Erwähnt sei hier vor allem die multidimensionale Skalierung (Giguère 2006), welche einen intuitiv-visuellen Auswertungsansatz bietet. Einen völlig anderen Ansatz bietet die Methode des „UW Card Sort Analyzer“ (Deibel et al. 2005), die sich auf Ähnlichkeiten zwischen Versuchspersonen und nicht zwischen Karten bezieht.

Während anfangs Card-Sorting-Experimente mit physischen Karten auf großen Tischen durch Bildung von echte Kartenstapeln durchgeführt wurden (Robertson 2001), haben sich inzwischen eine Reihe von Softwarewerkzeugen etabliert, die die Durchführung – und vor allem das Auszählen und Auswerten – erheblich erleichtern. Exemplarisch seien das kostenlose Desktop-Werkzeug xSort (Enough Pepper 2012), die ebenfalls kostenlose Webapplikation WeCaSo (Vdovkin 2009) aus dem akademischen Bereich und die kommerziell angebotene Webapplikation OptimalSort (Optimal Workshop 2010) genannt. Es gibt große Unterschiede zwischen diesen Werkzeugen unter anderem beim Grad der Unterstützung bei der Auswertung.

In jüngster Zeit hat sich auch das sogenannte Reverse-Card-Sorting unter dem Begriff des „Tree Testing“ (OBrien 2009) etabliert. Dabei durchlaufen die Versuchspersonen einen hierarchisch gegliederten Begriffsbaum auf der Suche nach vorgegebenen Informationsitems. Der durchlaufene Pfad wird aufgezeichnet, so dass aus dem Web hinlänglich bekannte Navigationsprobleme wie Verlaufen, im Kreis laufen oder Aufgeben und somit problematische Navigationsstrukturen erkennbar werden.

Card-Sorting-Verfahren werden jedoch auch noch in anderem Kontext und mit anderen Intentionen eingesetzt. So hat eine große Studie (Anderson et al. 2004) zur Untersuchung von Programmierfähigkeiten von Programmieranfängern Card-Sorting-Experimente verwendet, um Kategorisierungsfähigkeiten der Versuchspersonen zu ermitteln. In einer anderen Studie (Klippel et al. 2011) wurden Experimente mit animierten, graphischen „Karten“ verwendet, um das Verständnis von Versuchspersonen von geographisch-klimatischen Zusammenhängen zu ermitteln. Das Tutorium wird sich neben typischen Anwendungen auch mit exotischeren Einsatzfeldern von Card Sorting befassen.

Veranstalter

Der Veranstalter ist seit mehreren Jahren mit dem Verfahren des Card Sorting vertraut. Zum einen wird das Verfahren seit vielen Jahren in einschlägigen universitären Usability-Vorlesungen mit Übungen präsentiert und durchgeführt. Zum anderen entstand in der Arbeitsgruppe des Vortragenden im Rahmen von mehreren Studentenprojekten die Webapplikation WeCaSo (Vdovkin 2009), sowie die Auswertungssoftware Casolysis (Emmrich und Szwillus 2008), die es erlaubt

• Card-Sorting-Experimente im Web sehr einfach aufzusetzen und Teilnehmer durch Versenden einer URL zur Teilnahme einzuladen,
• offenes und geschlossenes Card Sorting durchzuführen,
• sowohl die Variante hierarchisches als auch „multiple-insert“ Card Sorting durchzuführen,
• und derartige Experimente komfortabel auszuwerten.

Darüber hinaus wird in der Arbeitsgruppe an der Entwicklung von Auswertungssoftware für Reverse-Card-Sorting-Experimente (Barbula 2011) gearbeitet. Einen ersten Schritt in diese Richtung stellt ReCaLys (Brumberg 2013) dar, welches Verhaltensanalysen beim Durchlaufen von Navigationshierarchien erlaubt.

Zielgruppe

Das Tutorium ist für alle Hörer interessant, die an der Entwicklung von Webseiten und entsprechender Informationsarchitekturen beteiligt sind. Hier erweist sich Card Sorting als sehr effiziente und elegante Methode um schnell Problemfälle zu erkennen. Das Tutorium bietet dieser Zielgruppe die Möglichkeit, anhand von schon durchgeführten Studien, an Vorschlägen für Card-Sorting-Prozesse und durch Sichtung verschiedener Auswertungsverfahren, den eigenen Einsatz der Methode zu planen. Da es hierbei nicht nur um Navigationsstrukturen im Web, sondern auch um Dialogstrukturen in komplexen Benutzungsschnittstellen geht, kann man sagen, dass eine solide Kenntnis des Card Sorting für alle interessant ist, die sich um gute Usability bemühen.

Literatur

Anderson, Richard; Anderson, Ruth; Deibel, Katherine (2004): Analyzing concept groupings of introductory computer programming students. University of Washington, Seattle, WA, USA. Department of Computer Science and Engineering. Online verfügbar unter http://www.cs.washington.edu/research/edtech/publications/aad03-cardsort.pdf, zuletzt geprüft am 12.4.13.

Barbula, Alexander (2011): Integration hierarchischer Sortierung, Multiple-Insert und Reverse-Card-Sorting in eine klassische Card-Sorting-Applikation. Bachelorarbeit. Universität Paderborn, Paderborn. Institut für Informatik.

Brumberg, Daniel (2013): Entwicklung einer Java-Anwendung zur Auswertung von Reverse-Card-Sorting-Versuchen. Bachelorarbeit. Universität Paderborn, Paderborn. Institut für Informatik.

Deibel, Katherine; Anderson, Richard; Anderson, Ruth (2005): Using edit distance to analyze card sorts. In: Expert Systems 22 (3), S. 129–138. DOI: 10.1111/j.1468-0394.2005.00304.x.

Emmrich, Sebastian; Szwillus, Gerd (2008): Auswertung von Card-Sorting-Experimenten mit Casolysis. In: Michael Herczeg und M. C. Kindsmüller (Hg.): Mensch & Computer 2008. Viel Mehr Interaktion. Mensch und Computer 2008. Lübeck, 7.-10.09.2008. München: Oldenbourg.

Enough Pepper (Hg.) (2012): xSort. xSort is a free card sorting application for Mac OS X aimed at user experience professionals and social scientists. Enough Pepper Lda. Online verfügbar unter http://www.xsortapp.com/, zuletzt geprüft am 8.4.13.

Giguère, Gyslain (2006): Collecting and analyzing data in multidimensional scaling experiments. A guide for psychologists using SPSS. In: Tutorials in Quantitative Methods for Psychology 2 (1), S. 26–37.

Hudson, William (2012): Card Sorting. In: The Encyclopedia of Human-Computer Interaction, Chapter 22. Online verfügbar unter http://www.interaction-design.org/encyclopedia/card_sorting.html, zuletzt geprüft am 6. 3. 13.

Jain, Anil K.; Dubes, Richard C. (1988): Algorithms for clustering data. Englewood Cliffs, N.J: Prentice Hall.

Klippel, Alexander; Weaver, Chris; Robinson, Anthony C. (2011): Analyzing Cognitive Conceptualizations Using Interactive Visual Environments. In: Cartography and Geographic Information Science 38 (1), S. 52–68. DOI: 10.1559/1523040638152.

OBrien, Dave (2009): Tree Testing. A quick way to evaluate your IA. Hg. v. Boxes and Arrows. Online verfügbar unter http://boxesandarrows.com/tree-testing/.

Optimal Workshop (Hg.) (2010): Optimal Sort. Online Card Sorting Software. Online verfügbar unter http://www.optimalworkshop.com/optimalsort.htm, zuletzt geprüft am 18.6.12.

Robertson, James (2001): Information design using card sorting. Step Two Designs. Online verfügbar unter http://www.steptwo.com.au/papers/cardsorting, zuletzt geprüft am 19.04.2013.

Spencer, Donna (2009): Card Sorting: Rosenfeld Media.

Vdovkin, Andreas (2009): Entwicklung einer webbasierten Card-Sorting-Applikation. Bachelorarbeit. Universität Paderborn, Paderborn. Institut für Informatik.