Auch unsere Kunden wünschen zunehmend die Sicherheit und die Bestätigung, dass unsere Resultate nicht nur visuell ansprechend, sondern auch benutzerfreundlich sind. Dafür bevorzugen wir weder die Zusammenarbeit mit einem Usability Labor oder Tests im mobilen Namics Testlabor – vielmehr wählen wir je nach Projekt die effizienteste Variante um Problemstellen aufzudecken.
Meine wichtigste Erkenntnis aus den Tests der vergangenen Jahre: das Wertvollste an Usability Tests ist die Möglichkeit Benutzern bei der Bedienung zuzuschauen und mit eigenen Augen die Problemstellen zu sehen. (Seeing is Believing)
Das «neue Labor zur Erforschung der Usability» in Brig geht hier meines Erachtens einen falschen Weg. Technik, Statistische Auswertungen und Zahlen sollen Sicherheit geben und die Labor-Resultate beweisen.
Das „Institut für Fernstudien- und eLearningforschung“ IFeL in Brig (VS) hat ein Usability Lab zur Untersuchung der Benutzerfreundlichkeit von ICT-Produkten gegründet.
Für die Analyse des Benutzerverhaltens auf mehreren Ebenen hat das Labor einen eigenen Multifunktionsansatz entwickelt, der zahlreiche Methoden und Daten von der Blickrichtungsregistrierung bis zur Analyse der Logfiles kombiniert. (…)
[From ICT News - In Brig steht ein Labor zur Erforschung der Usability - Netzwoche ]
Sämtliche Methoden, die hierzu angewendet werden sind alte Bekannte – schon alleine das lässt mich zweifeln:
- eye gaze analysis (measuring attentional control),
- verbal reports (measuring cognitive processes),
- logfile analysis (assessing human computer interaction),
- retrospective interviews (measuring acceptance and emotional reactions)
- performance characteristics (achievements, errors, failure, success).
Des weiteren ist in der Beschreibung der Methoden zu lesen:
In the past years, usability research was dominated by qualitative studies. The IFeL multifunctional analysis enables the possibility to combine qualitative and quantitative data based on a comprehensive psychological model of human action.
Der massive konzeptionelle Fehler daran ist aber die nicht ausreichend grosse Menge an Testpersonen – zumindest in finanzierbaren Umfang – für jegliche quantitative Auswertung.
Um überhaupt zwei Iterationen eines Systems miteinander vergleichen zu können bräuchte es in meinem Laien-Verständnis von Statistik mindestens 30 bis 50 Testpersonen. Erst dadurch könnten die Unterschiede von verschiedenen Testpersonen ausgeglichen werden.
In der Methodenbeschreibung unter Verbal Reports wird dies sogar als problematisch erkannt:
There are also inter-individual differences: Some subjects like thinking aloud and they are allowed to talk as much as they like, while for other subjects it is disturbing and they talk very little.
Komplett unterschlagen werden: Unterschiede des getesteten Systeme (Live Website vs. Prototyp), Unterschiede in der Beurteilung von Fehlern oder die Vergleichbarkeit von Interviews durch unterschiedliche Fragestellung oder Dialog mit den Testpersonen.
Immerhin wird durch solche Ausbildungsangebote deutlich, dass Usability zu einer essentiellen Komponente in der Entwicklung von Informations und Kommunikationstechnologie (ICT) gewachsen ist – inhaltlich sind die Methoden des IFeL auf der falschen Spur.
