Auch unsere Kunden wünschen zunehmend die Sicherheit und die Bestätigung, dass unsere Resultate nicht nur visuell ansprechend, sondern auch benutzerfreundlich sind. Dafür bevorzugen wir weder die Zusammenarbeit mit einem Usability Labor oder Tests im mobilen Namics Testlabor – vielmehr wählen wir je nach Projekt die effizienteste Variante um Problemstellen aufzudecken.
Meine wichtigste Erkenntnis aus den Tests der vergangenen Jahre: das Wertvollste an Usability Tests ist die Möglichkeit Benutzern bei der Bedienung zuzuschauen und mit eigenen Augen die Problemstellen zu sehen. (Seeing is Believing)
Das «neue Labor zur Erforschung der Usability» in Brig geht hier meines Erachtens einen falschen Weg. Technik, Statistische Auswertungen und Zahlen sollen Sicherheit geben und die Labor-Resultate beweisen.
Das „Institut für Fernstudien- und eLearningforschung“ IFeL in Brig (VS) hat ein Usability Lab zur Untersuchung der Benutzerfreundlichkeit von ICT-Produkten gegründet.
Für die Analyse des Benutzerverhaltens auf mehreren Ebenen hat das Labor einen eigenen Multifunktionsansatz entwickelt, der zahlreiche Methoden und Daten von der Blickrichtungsregistrierung bis zur Analyse der Logfiles kombiniert. (…)
[From ICT News - In Brig steht ein Labor zur Erforschung der Usability - Netzwoche ]
Sämtliche Methoden, die hierzu angewendet werden sind alte Bekannte – schon alleine das lässt mich zweifeln:
- eye gaze analysis (measuring attentional control),
- verbal reports (measuring cognitive processes),
- logfile analysis (assessing human computer interaction),
- retrospective interviews (measuring acceptance and emotional reactions)
- performance characteristics (achievements, errors, failure, success).
Des weiteren ist in der Beschreibung der Methoden zu lesen:
In the past years, usability research was dominated by qualitative studies. The IFeL multifunctional analysis enables the possibility to combine qualitative and quantitative data based on a comprehensive psychological model of human action.
Der massive konzeptionelle Fehler daran ist aber die nicht ausreichend grosse Menge an Testpersonen – zumindest in finanzierbaren Umfang – für jegliche quantitative Auswertung.
Um überhaupt zwei Iterationen eines Systems miteinander vergleichen zu können bräuchte es in meinem Laien-Verständnis von Statistik mindestens 30 bis 50 Testpersonen. Erst dadurch könnten die Unterschiede von verschiedenen Testpersonen ausgeglichen werden.
In der Methodenbeschreibung unter Verbal Reports wird dies sogar als problematisch erkannt:
There are also inter-individual differences: Some subjects like thinking aloud and they are allowed to talk as much as they like, while for other subjects it is disturbing and they talk very little.
Komplett unterschlagen werden: Unterschiede des getesteten Systeme (Live Website vs. Prototyp), Unterschiede in der Beurteilung von Fehlern oder die Vergleichbarkeit von Interviews durch unterschiedliche Fragestellung oder Dialog mit den Testpersonen.
Immerhin wird durch solche Ausbildungsangebote deutlich, dass Usability zu einer essentiellen Komponente in der Entwicklung von Informations und Kommunikationstechnologie (ICT) gewachsen ist – inhaltlich sind die Methoden des IFeL auf der falschen Spur.
Jakob Nielsen sagt, dass schon eine Handvoll User genügen. Zehn sind besser als gar keine, Trends können mit der gebotenen Vorsicht auch dann beobachtet werden. Ich sehe darum in dem quantitativ-pragmatischen Ansatz keinen konzeptionellen Fehler und würde die Arbeit die IFeL auch nicht pauschal disqualifizieren aufgrund von Pressetexten ihrer Website.
Jegliche quantitative Beurteilung ist nur durch den Vergleich der Zahlen von vorher und nachher möglich. Hierdurch soll eine Sicherheit in der Beurteilung von Testresultaten erreicht werden – und darin besteht meines Erachtens der konzeptionelle Fehler.
Ist schneller wirklich besser?
IFeL führt ihre quantitativen Messungen auf einem respektablen qualitativen Niveau durch, das selbst nie erreichen würde.
Mein Kritikpunkt: die Idee jeglicher quantitativen Messung ist ohne ausreichende Masse und Vergleichbarkeit unmöglich. Hierzu fehlt im Ansatz der fünf Methoden (Eye Tracking, Think-Aloud, Zeit und Anzahl Klicks, Debriefing Interview, Task Performance) eine entscheidende Neuerung – und die müsste auch in einer Pressemitteilung erkennbar sein.
Was wäre beispielsweise mit der Integration von A/B-Testmethode in Usabilitytests und entsprechend grosser Menge Testkandidaten – beispielsweise über http://feedbackarmy.com ?
Alleine die Quantifizierung klassischer Methoden korrekt zu interpretieren ist problematischer als man denkt – daher meine Empfehlung: lieber auf die (falsche) Sicherheit von Zahlen verzichten und selbst zuschauen!