Usability Testing und Engineering

Mit Usability Testing und Engineering werden Verfahren bezeichnet, mit denen die Gebrauchstauglichkeit eines elektronischen Systems oder eines Gegenstandes bestimmt wird.

Usability – eine Definition

Der Begriff Usability wird heutzutage in vielen verschiedenen Bereichen angewandt. Allgemein einig ist man sich insofern, dass es sich bei diesem Begriff um ein sehr facettenreiches Konstrukt handelt. Aus diesem Grund wird oft auf folgende Definition der Internationalen Organisation für Standardisierung (ISO 9241) zurückgegriffen:

„Usability eines Produktes ist das Ausmaß, in dem es von einem bestimmten Benutzer verwendet werden kann, um bestimmte Ziele in einem bestimmten Kontext effektiv, effizient und zufrieden stellend zu erreichen.“ ISO 9241

Nähere Betrachtung einiger Aussagen dieser Definition:

• Usability bezeichnet demnach nicht allein die Eigenschaft des Produktes, sondern das Attribut einer Interaktion eines Benutzers mit einem Produkt innerhalb eines bestimmten Kontextes

• Die Usability eines Produktes kann nicht ohne weiteres auf andere Benutzer des gleichen Produktes übertragen werden

• Die Effektivität ist ein wesentlicher Bestandteil, d.h. der Nutzer sollte mit Hilfe des Produktes in der Lage sein, genaue und komplette Ergebnisse zu erzielen

• Der Arbeitsaufwand, den der Benutzer in die Anwendung investiert, sollte in Relation zum Ergebnis stehen (minimaler Input – maximaler Output)

Notwendige Elemente zur Bestimmung der Usability

• eine Beschreibung der Zielsetzung der Interaktion

• eine Beschreibung der Zielgruppe (Benutzer)

• eine Beschreibung der Aufgaben (d.h. der Handlungen, die auszuführen sind, um ein Ziel zu erreichen)

• eine Beschreibung der Ausstattung (insbesondere Hardware und Software)

• eine Beschreibung der Umgebung (d.h. der relevanten Eigenschaften der physikalischen und sozialen Umwelt; z.B. Organisationsstruktur, Raumtemperatur, etc.)

• Usability Messgrößen (d.h. messbare Attribute, die sich auf Effizienz, Effektivität und Zufriedenheit beziehen; z.B. benötigte Zeit, Fehlerraten, Fragebögen, etc.)

Nicht alle diese Aspekte zählen bei jeder Analyse in gleichem Maße. Jede Situation verlangt eine spezifische Gewichtung der einzelnen Faktoren. Entscheidend für eine sinnvolle Anwendung der einzelnen Elemente ist eine hinreichend detaillierte Beschreibung, so dass alle Faktoren, die einen Einfluss auf die Usability nehmen, identifiziert und behandelt werden können.

Usability nach Nielsen

„Usability is the measure of quality of the user experience when interacting with something – whether a Web Site, a traditional software application, or any other device the user can operate in some way or another.“ (Jakob Niesen, 1998)

Der Begriff Usability in der Forschung

In der angewandten Forschung bezeichnet Usability den Versuch, wissenschaftliche Erkenntnisse möglichst praxisorientiert in den Design- und Entwicklungsprozesse technischer Gerätschaften zu integrieren. Ziel dieser Forschung ist es, dem späteren Endnutzer ein einfach und gut zu bedienendes Produkt anbieten zu können.

Von Usability zu Usability Engineering

Die Qualität einer Software wurde ursprünglich nach einem sehr einfachen Prinzip bewertet. Hat sich ein Produkt auf dem Markt durchgesetzt, galt es automatisch als gelungen. Das Hauptaugenmerk lag in der Betrachtung der Computer-Mensch-Schnittstelle. Um aber nicht nur den praktischen Erfordernissen einer Software gerecht zu werden, sondern das Produkt auch einer wissenschaftlichen Überprüfung zu unterziehen, entstand das so genannte Usability Engineering.

Der Prozess des Usability Engineering setzt sich aus folgenden Abläufen zusammen:

• das allgemeine Ziel Usability sollte je nach der spezifischen Situation in konkrete Eigenschaften oder Attribute unterteilt werden können

• diese Attribute sollten messbar sein

• es sollte möglich sein, kritische Werte für die Attribute angeben zu können

• durch einen Vergleich der gemessenen oder beobachteten Ist- und Soll-Werte sollte eine Beurteilung der Usability möglich sein

Der gesamte Vorgang wird als Prozess des Usability Engineering bezeichnet (diese Darstellung ist natürlich stark vereinfacht, da es sich beim Usability Engineering um einen sich ständig wiederholenden Prozess handelt).

Eine Definition

Usability Engineering ist ein Prozess, in dessen Verlauf die Usability eines Produktes definiert, gemessen und verbessert wird.

Der Ablauf

Um mit Hilfe des Usability Engineering festellen zu können, ob die Usability einer Software den gewünschten Anforderungen entspricht, müssen die Ziele der Usability klar definiert werden.

Ziele festlegen

Das entscheidende Element des Usability Engineering sind die angestrebten Ziele. Zum einen spiegeln sie die Wertehaltung der Verantwortlichen wider, zum anderen dienen sie der Entscheidungsgrundlage nach Beendigung der Testphase.

• Benutzerbeschreibung

Die Usability-Ziele sollen relevante Eigenschaften der Kategorien von Benutzertypen widerspiegeln. Diese Eigenschaften können sehr unterschiedlichen Charakters sein, z.B. Alter, Benutzungshäufigkeit oder frühere Erfahrung mit ähnlicher Software. Sind die Eigenschaften der Anwender(-gruppen) sehr verschieden, kann es sinnvoll sein, die Zielgruppen in verschiedene Kategorien aufzuteilen (z.B. Anfänger und Experten).

Produkt kann aber auch speziell für Gelegenheitsnutzer konzipiert sein (z.B. Fahrkartenautomaten an Bushaltestellen oder Bahnhöfen). Diese Zielgruppen haben in der Regel kaum Erfahrung mit der Verwendung des Produktes und weiterhin fehlt es ihnen oft an der nötigen Zeit, die Bedienung ausführlich zu lernen.

Aus diesem Grund muss ein so genanntes Benutzerprofil erstellt werden, dass bei der Entwicklung und der Festsetzung der Ziele seine Berücksichtigung findet.

• Aufgabenanalyse

Die Hauptaufgabe ist es herauszufinden, zu welchem Zweck ein Produkt eingesetzt wird, wie dieser Zweck momentan erreicht wird und welchen Einfluss das aktuell und das in Zukunft eingesetzte Produkt darauf haben wird.

Das Ziel der Aufgabenanalyse ist es, die Hauptaufgaben und ihre Häufigkeit zu bestimmen. Die verwendeten Techniken reichen davon von einfacher Beobachtung der Benutzer im Arbeitsumfeld über Befragung der Zielgruppe bis hin zur detaillierten Videoanalyse des Arbeitsablaufes.

Grundsätzlich werden in der frühen Phase einer Produktentwicklung Techniken eingesetzt, die einen Überblick über die Haupttätigkeiten vermitteln sollen. Detaillierte Analysen finden erst zu einem späteren Zeitpunkt statt.

• Usability-Attribute

In der Definition von Usability wurde bereits festgelegt, dass wesentliche Attribute Effizienz, Effektivität und Zufriedenheit sind. Diese Attribute werden in diesem Schritt in Attribute (zweiter Ordnung) zerlegt.

Beispiele für solche Usability-Kriterien sind Fehlerrate, Flexibilität oder Erlernbarkeit. Wesentlich ist, dass diese Kriterien in messbare Größen verwandelt werden können (Operationalisierung), denn nur so kann ein brauchbares Ergebnis erzielt werden. Für diese Messgrößen gibt es kritische Werte, die als Entscheidungsgrundlage für spätere Schritte dienen werden.

• Messinstrumente

Ein Messinstrument beschreibt die Methode, mit deren Hilfe Werte zu einem Usability-Attribut gewonnen werden. Als Aussage erhält man immer quantitative Ausprägungen des untersuchten Attributs, die sowohl subjektiver Art (z.B. Zufriedenheitsdaten) als auch objektiver Art (z.B. Zeitaufwand oder Fehlerhäufigkeit) sein können.

Typische Messinstrumente sind Protokollierungssoftware, bzw. –Videos, Benchmarkaufgaben oder Fragebögen.

• Messgrößen

Generell ist es, wie oben schon erwähnt, situationsabhängig, welche Messgrößen eingesetzt werden. Soll zum Beispiel die Bedienungssoftware für den Tower eines Flughafens überprüft werden, ist es mit Sicherheit sinnvoller, die Häufigkeit bestimmter Bedienungsfehler in kritischen Situationen zu überprüfen als in aufwendigen Fragebögen die Zufriedenheit der Techniker herauszufinden.

• Kritischer Level

Kritische Werte definieren den Bereich akzeptierter Ausprägungen eines Attributs. Diese Werte können unterschiedlich formuliert werden.

Zum einen können absolute Grenzwerte angegeben werden wie: „Ein Benutzer x sollte in der Lage sein, die Aufgabe y mit weniger als drei Fehlern abschließen zu können“.

Auch der relative Vergleich zu einem anderen Produkt kann ausschlaggebend sein: „Im Zeitraum X sollte der Benutzer bei Produkt A weniger Fehler machen als Produkt B.“

Kritische Werte entstehen aus verschiedenen Erhebungen wie Marktforschungsdaten, Expertenurteile, Usability Tests, Feldstudien, usw.

• Usability Probleme

Während der Interaktion eines Testteilnehmers mit dem zu untersuchenden Produkt werden neben den quantitativen Messgrößen auch qualitative Beobachtungen gemacht, wie z.B.: „Wie reibungslos funktioniert die Bedienbarkeit? Gibt es Probleme bei der Interaktion des Teilnehmers mit der Software? Existieren Verständnisprobleme bei der Bedienbarkeit?

All diese Beobachtungen liefern Zusatzinformationen hinsichtlich der Usability und sollten daher Berücksichtigung finden.

Der Usability Test

Der Usability Test ist der wichtigste Bestandteil des Usability Engineering. Können die festgesetzten Ziele im Vergleich mit der realen Anwendung – repräsentiert durch das Verhalten der beschriebenen Zielgruppe – erfüllt werden?

Allgemein

Der Begriff Usability Test beschreibt einen Vorgang, während dessen überprüft wird, ob die festgelegten Usability-Ziele erreicht worden sind. Der Begriff „Test“ ist dabei ein generischer Ausdruck für eine Vielzahl verschiedener Methoden, die dabei zum Einsatz kommen können. Eine Methode kann zum Beispiel ein einfacher Fragebogen sein, aber auch eine komplizierte Laboruntersuchung. Den Ablauf eines Tests kann man grob in folgende Phasen unterteilen:

1. Vorbereitung
2. Einführung
3. Test
4. Abschlussbesprechung
5. Analyse
6. Bericht

Vorbereitung

Bei der Zielsetzung wurden bereits die relevanten Benutzereigenschaften sowie die Ergebnisse der Aufgabenanalyse festgelegt. Sie bilden die Grundlage für das weitere Vorgehen.

Testmethoden:

Genau wie bei der Festlegung der Aufgaben ist bei der Auswahl der Testmethoden darauf zu achten, dass sie der Usability-Zielsetzung entsprechen.

Testmaterial und Einrichtung:

Natürlich muss das Testexperiment genauestens und sehr sorgfältig vorbereitet sein. Alle relevanten Arbeitsmittel müssen vorhanden sein und die Einrichtung muss den gewünschten Bedingungen entsprechen.

Teilnehmer:

Alle Teilnehmer müssen die für den Test wesentlichen Charakteristiken aufweisen, um ein verwertbares Testergebnis zu liefern. Die falsche Auswahl an Personen würde ein verfälschtes und somit unbrauchbares Ergebnis des Tests zur Folge haben.

Weiterhin sind folgende Überlegungen in die Auswahl zu integrieren:

• Sind die Gedankengänge des Benutzers relevant? Dann sollten Think-Aloud-Protokolle angefertigt werden.

• Ist es wichtig, dass die Testumgebung der Arbeitsumgebung des Benutzers angeglichen wird?

• Wenn fehler- oder zeitabhängige Messgrößen erhoben werden sollen, sollte die Interaktion zwischen Testleiter und Versuchsperson minimiert werden

• Eventuell sind auch Videoaufnahmen zur späteren Analyse hilfreich

Einführung

Bevor der eigentliche Test beginnt, müssen die Testteilnehmer in den Ablauf und die Aufgabenstellung des Tests eingewiesen werden. Die Personen sollten neben der Dauer und dem Zweck des Versuchs ebenfalls darüber informiert werden, dass z.B. die Bedienbarkeit einer Software getestet werden soll und nicht die Fähigkeiten der Testperson im Umgang mit dem Programm. Natürlich sind vor Testbeginn auch alle rechtlichen Aspekte zu beachten, z.B. das die Daten vertraulich behandelt werden.

Test

Generell unterscheiden sich verschiedene Untersuchungen hinsichtlich Dauer, Zweck, Methode, usw.. Dennoch gibt es bestimmte Richtlinien, an denen sich jeder Test orientieren sollte:

1. Zum einen sollten die Testteilnehmer nicht durch z.B. Tipps oder Hinweise dritter Personen beeinflusst werden, da man sonst ein verfälschtes Ergebnis erhält.
2. Bei so genannten Think-Aloud-Tests kann es durchaus hilfreich sein, den Teilnehmer durch Fragen wie „Was denken sie gerade“ zum lauten Denken zu animieren. So können z.B. Probleme bei der Benutzer-Software-Interaktion viel besser festgestellt werden.

Abschlussbesprechung

Je nach Versuchsanordnung werden die Teilnehmer nach dem Test zu einem abschließenden Gespräch oder zum Ausfüllen eines Fragebogens gebeten. So erhält der Testleiter eventuell wichtige Daten, die er bei einer neuen Versuchsreihe verwenden kann (z.B. Verbesserungsvorschläge der Teilnehmer, die im ersten Test keine Berücksichtigung gefunden haben, aber relevant für ein brauchbares Ergebnis sind).

Analyse

Einfache Analyse: Usability-Tests liefern in der Regel drei verschiedene Daten-Typen:

• quantitative Attributsausprägungen

• qualitative Problembeschreibungen

• subjektive, durch Fragebögen erhobene Daten

Diese Daten zeigen, ob die Usability-Ziele erfüllt worden sind, an welcher Stelle die Bedienungsprobleme liegen und für wie schwerwiegend diese Probleme erachtet werden.

Videoanalyse: Videosequenzen können hilfreich sein, um spezielle Bedienprobleme zu visualisieren.

Bericht

Der Abschlussbericht soll natürlich der Zielgruppe angepasst sein (z.B. technische Details interessieren die Programmierer, nur indirekt das Management). Er sollte grundsätzlich eine Zusammenfassung der erhaltenen Ergebnisse, der angewandten Methoden und Empfehlungen für die Produktverbesserung beinhalten. Subjektive Meinungen (z.B. durch persönliche Wertehaltungen) haben in einem solchen Bericht keinen Platz.

Verschiedene Testmethoden

Expertenorientierte Methoden:

• Heuristische Evaluation

Bei dieser Methode beurteilt eine kleine Gruppe von Gutachtern (meist mit sog. Expertenwissen) die Benutzerschnittstelle eines Produkts und überprüft, inwieweit diese mit bestimmten Usability Prinzipien (Heuristiken) übereinstimmen.

• Checklisten und Guidelines

Siehe z.B. Keevil Usability Index für kommerzielle Webseiten [ http://usability.is.uni-sb.de/beitrag/web_usability_index.pdf ]

• Kosten-Nutzen-Analyse

Diese Analyse soll den finanziellen Mehrwert bestimmen, der auf das Usability Engineering zurückzuführen ist. Es wird überprüft, ob die Kosten für Usability Engineering und –Tests im Verhältnis zum daraus entstehenden finanziellen Nutzen stehen (z.B. Steigerung der Verkaufszahlen des Produktes).

Benutzerorientierte Methoden:

• Produkttests im Usability Labor

In einem speziell vorbereiteten Labor werden benutzerorientierte Methoden als Tests mit echten Benutzern durchgeführt.

• Produkttests mit der Plus-Minus-Methode

Die Testpersonen arbeiten mit dem Produkt und bewerten bestimmte Eigenschaften. Positive Produkteigenschaften werden mit einem Plus gekennzeichnet, negative Eigenschaften mit einem Minus.

• Produkttests mit Hilfe der Fokusgruppe

Bei diesem Testverfahren diskutieren die Teilnehmer über vorgegebene Fragen zu einem Produkt und bewerten bestimmte Eigenschaften oder Funktionen.

• Produkttests mit der Think-Aloud-Methode

Die Teilnehmer werden durch Fragen wie „Was denken sie gerade“ zum lauten Denken zu animiert. So können z.B. Probleme bei der Benutzer-Software-Interaktion viel besser festgestellt werden, da man den Gedankengängen des Nutzers beim Arbeiten mit dem Produkt folgen kann.

Weitere Methoden:

• Zu den Methoden siehe auch Eichingers Online-Skript (Link defekt!).

Referenzen

• Arbeitsbereich Usability Engineering des Fachbereichs Informationswissenschaft der Universität des Saarlandes. Online verfügbar unter: http://usability.is.uni-sb.de

• Eberleh, E.; Oberquelle, H.; Oppermann, R. (Hrsg., 1994): Einführung in die Software-Ergonomie. Gestaltung graphisch-interaktiver Systeme: Prinzipien, Werkzeuge, Lösungen. Mensch-Computer-Kommunikation: Grundwissen, Band 1 von 2, Berlin, New York: Walter de Gruyter

• Eichinger, Online-Skript Usability

• Harms, Ilse; Luckhardt, Heinz-Dirk (2003): Labels als Mittel der Informationsarchitektur - über die effiziente Repräsentation von Inhalten im WWW. In: Magazin Forschung, hrsg v. Universität des Saarlandes, Band 1. Online verfügbar unter: http://www.uni-saarland.de/mediadb/profil/veroeffentlichungen/ffmagazin/1-2003/7.pdf

• Nielsen, Jakob (2000): Web Design: Erfolg des Einfachen, dtsch. Übers.: Mediaphor Informationsgesellschaft mbH; München: Markt + Technik

• Nielsen, J.; Landauer, T. K. (1993): A mathematical model of the finding of usability problems. Proceedings of INTERCHI 93, p. 206-213. New York: ACM.

• Rechenkompass, der (Hrsg., 2003): Softwareergonomie. Online verfügbar unter: http://home.nordwest.net/hgm/ergo/index.html

• useit.com: Jakob Nielsen's Website. Online verfügbar unter: http://www.useit.com

Verwandte Begriffe

• Usability
• Informationspräsentation
• Informationssystem
• Hypermedia
• Softwareergonomie