Usability Testing und Engineering
Inhaltsverzeichnis
Usabiltiy – eine Defintion
Der Begriff Usability wird heutzutage in vielen verschiedenen Bereichen angewandt. Allgemein einig ist man sich insofern, dass es sich bei diesem Begriff um ein sehr facettenreiches Konstrukt handelt. Aus diesem Grund wird oft auf folgende Definition der Internationalen Organisation für Standardisierung (ISO 9241) zurückgegriffen:
„Usability eines Produktes ist das Ausmaß, in dem es von einem bestimmten Benutzer verwendet werden kann, um bestimmte Ziele in einem bestimmten Kontext effektiv, effizient und zufriedenstellend zu erreichen.“
Nähere Betrachtung einiger Aussagen dieser Definition:
- Usability bezeichnet demnach nicht allein die Eigenschaft des Produktes, sondern das Attribut einer Interaktion eines Benutzers mit einem Produkt innerhalb eines bestimmten Kontextes
- Die Usability eines Produktes kann nicht ohne weiteres auf andere Benutzer des geichen Produktes übertragen werden
- Die Effektivität ist ein wesentlicher Bestandteil, d.h. der Nutzer sollte mit Hilfe des Produktes in der Lage sein, genaue und komplette Ergebnisse zu erzielen
- Der Arbeitsaufwand, den der Benutzer in die Anwendung investiert, sollte in Relation zum Ergebnis stehen (minimaler Input – maximaler Output)
Notwendige Elemente zur Bestimmung der Usability
- eine Beschreibung der Zielsetzung der Interaktion
- eine Beschreibung der Zielgruppe (Benutzer)
- eine Beschreibung der Aufgaben (d.h. der Handlungen, die auszuführen sind, um ein Ziel zu erreichen)
- eine Beschreibung der Ausstattung (insbesondere Hardware und Software)
- eine Beschreibung der Umgebung (d.h. der relevanten Eigenschaften der physikalischen und sozialen Umwelt; z.B. Organisationsstruktur, Raumtemperatur, etc.)
- Usability Messgrößen (d.h. messbare Attribute, die sich auf Effizienz, Effektivität und Zufriedenheit beziehen; z.B. benötigte Zeit, Fehlerraten, Fragebögen, etc.)
Nicht alle diese Aspekte zählen bei jeder Analyse in gleichem Maße. Jede Situation verlangt eine spezifische Gewichtung der einzelnen Faktoren. Entscheidend für eine sinnvolle Anwendung der einzelnen Elemente ist eine hinreichend detaillierte Beschreibung, so dass alle Faktoren, die einen Einfluss auf die Usability nehmen, identifiziert und behandelt werden können.
Usability nach Nielsen
„Usabiity is the measure of quality of the user experience when interacting with something – whether a Web Site, a tradiotional software application, or any other device the user can operate in some way or another.“ (Jakob Niesen, 1998)
Der Begriff Usability in der Forschung
In der angewandten Forschung bezeichnet Usabiltiy den Versuch, wissenschaftliche Erkenntnisse möglichst praxisorientiert in den Design- und Entwicklungsprozesse technischer Gerätschaften zu integrieren. Ziel dieser Forschung ist es, dem späteren Endnutzer ein einfach und gut zu bedienendes Produkt anbieten zu können.
Von Usability zu Usability Engineering
Die Qualität einer Software wurde ursprünglich nach einem sehr einfachen Prinzip bewertet. Hat sich ein Produkt auf dem Markt durchgesetzt, galt es automatisch als gelungen. Das Hauptaugenmerk lag in der Betrachtung der Computer-Mensch-Schnittstelle. Um aber nicht nur den praktischen Erfordernissen einer Software gerecht zu werden, sondern das Produkt auch einer wissenschaftlichen Überprüfung zu unterziehen, entstand das sogenannte Usability Engineering.
Der Prozess des Usability Engineering setzt sich aus folgenden Abläufen zusammen:
- das allgemeine Ziel Usability sollte je nach der spezifischen Situation in konkrete Eigenschaften oder Attribute unterteilt werden können
- diese Attribute sollten meßbar sein
- es sollte möglich sein, kritische Werte für die Attribute angeben zu können
- durch einen Vergleich der gemessenen oder beobachteten Ist- und Soll-Werte sollte eine Beurteilung der Usability möglich sein
Der gesamte Vorgang wird als Prozess des Usability Engineering bezeichnet (diese Darstellung ist natürlich stark vereinfacht, da es sich beim Usability Engineering um einen sich ständig wiederholdenden Prozess handelt).
Eine Definition
Usability Engineering ist ein Prozess, in dessen Verlauf die Usability eines Produktes definiert, gemessen und verbessert wird.
Der Ablauf
Um mit Hilfe des Usabilty Enginerring festellen zu können, ob die Usability einer Software den gewünschten Anforderungen entspricht, müssen die Ziele der Usability klar definiert werden.
Ziele festlegen
Das entscheidende Element des Usability Engineering sind die angestrebten Ziele. Zum einen spiegeln sie die Wertehaltung der Verantwortlichen wider, zum Anderen dienen sie der Entscheidungsgrundlage nach Beendigung der Testphase.
- Benutzerbeschreibung
Die Usability-Ziele sollen relevante Eigenschaften der Kategorien von Benutzertypen widerspiegeln. Diese Eigenschaften können sehr unterschiedlichen Charakters sein, z.B. Alter, Benutzungshäufigkeit oder frühere Erfahrung mit ähnlicher Software. Sind die Eigenschaften der Anwender(-gruppen) sehr verschieden, kann es sinnvoll sein, die Zielgruppen in verschiedene Kategorien aufzuteilen (z.B. Anfänger und Experten).
Ein Produkt kann aber auch speziell für Gelegenheitsnutzer konzipiert sein (z.B. Fahrkartenautomaten an Bushaltestellen oder Bahnhöfen). Diese Zielgruppen haben in der Regel kaum Erfahrung mit der Verwendung des Produktes und weiterhin fehlt es ihnen oft an der nötigen Zeit, die Bedienung ausführlich zu lernen. Aus diesem Grund muss ein sogenanntes Benutzerprofil erstellt werden, dass bei der Entwicklung und der Festsetzung der Ziele seine Berücksichtigung findet.
- Aufgabenanalyse
Die Hauptaufgabe ist es herauszufinden, zu welchem Zweck ein Produkt eingesetzt wird, wie dieser Zweck momentan erreicht wird und welchen Einfluss das aktuell und das in Zukunft eingesetzte Produkt darauf haben wird. Das Ziel der Aufgabenanalyse ist es, die Hauptaufgaben und ihre Häufigkeit zu bestimmen. Die verwendeten Techniken reichen davon von einfacher Beobachtung der Benutzer im Arbeitsumfeld über Befragung der Zielgruppe bis hin zur detaillierten Videoanalyse des Arbeitsablaufes. Grundsätzlich werden in der frühen Phase einer Produktentwicklung Techniken eingesetzt, die einen Überblick über die Haupttätigkeiten vermitteln sollen. Detaillierte Analysen finden erst zu einem späteren Zeitpunkt statt.
- Usability-Attribute
In der Definition von Usability wurde bereits festgelegt, dass wesentliche Attribute Effizienz, Effektivität und Zufriedenheit sind. Diese Attribute werden in diesem Schritt in Attribute (zweiter Ordnung) zerlegt. Beispiele für solche Usability-Kriterien sind Fehlerrate, Flexibilität oder Erlernbarkeit. Wesentlich ist, dass diese Kriterien in messbare Größen verwandelt werden können (Operationalisierung), denn nur so kann ein brauchbares Ergebnis erzielt werden. Für diese Messgrößen gibt es kritische Werte, die als Entscheidungsgrundlage für spätere Schritte dienen werden.
- Messinstrumente
Ein Messinstrument beschreibt die Methode, mit deren Hilfe Werte zu einem Usability-Attribut gewonnen werden. Als Aussage erhält man immer quantitative Ausprägungen des untersuchten Attributs, die sowohl subjektiver Art (z.B. Zufriedenheitsdaten) als auch objektiver Art (z.B. Zeitaufwand oder Fehlerhäufigkeit) sein können. Typische Messinstrumente sind Protokollierungssoftware, bzw. –videos, Benchmarkaufgaben oder Fragebögen.
- Messgrößen
Generell ist es, wie oben schon erwähnt, situationsabhängig, welche Messgrößen eingesetzt werden. Soll zum Beispiel die Bedienungssoftware für den Tower eines Flughafens überprüft werden, ist es mit Sicherheit sinnvoller, die Häufigkeit bestimmter Bedienungsfehler in kritischen Situationen zu überprüfen als in aufwendigen Fragebögen die Zufriedenheit der Techniker herauszufinden.
- Kritischer Level
Kritische Werte definieren den Bereich akzeptierter Ausprägungen eines Attributs. Diese Werte können unterschiedlich formuliert werden. Zum einen können absolute Grenzwerte angegeben werden wie: „Ein Benutzer x sollte in der Lage sein, die Aufgabe y mit weniger als drei Fehlern abschließen zu können“. Auch der relative Vergleich zu einem anderen Produkt kann ausschlaggebend sein: „Im Zeitraum X sollte der Benutzer bei Produkt A weniger Fehler machen als Produkt B.“ Kritische Werte entstehen aus verschiedenen Erhebungen wie Marktforschungsdaten, Expertenurteile, Usability Tests, Feldstudien, usw.
- Usability Probleme
Während der Interaktion eines Testteilnehmers mit dem zu untersuchenden Produkt werden neben den quantitativen Messgrößen auch qualitative Beobachtungen gemacht, wie z.B.: „Wie reibungslos funktioniert die Bedienbarkeit? Gibt es Probleme bei der Interaktion des Teilnehmers mit der Software? Existieren Verständnisprobleme bei der Bedienbarkeit?“ All diese Beobachtungen liefern Zusatzinformationen hinsichtlich der Usability und sollten daher Berücksichtigung finden.
Der Usability Test
Der Usability Test ist der wichtigste Bestandteil des Usability Engineering. Können die festgesetzten Ziele im Vergleich mit der realen Anwendung – repräsentiert durch das Verhalten der beschriebenen Zielgruppe – erfüllt werden?
Allgemein Der Begriff Usability Test beschreibt einen Vorgang, während dessen überprüft wird, ob die festgelegten Usability-Ziele erreicht worden sind. Der Begriff „Test“ ist dabei ein generischer Ausdruck für eine Vielzahl verschiedener Methoden, die dabei zum Einsatz kommen können. Eine Methode kann zum Beispiel ein einfacher Fragebogen sein, aber auch eine komplizierte Laboruntersuchung. Den Ablauf eines Tests kann man grob in folgende Phasen unterteilen:
- Vorbereitung
- Einführung
- Test
- Abschlussbesprechung
- Analyse
- Bericht
Vorbereitung
Bei der Zielsetzung wurden bereits die relevanten Benutzereigenschaften sowie die Ergebnisse der Aufgabenanalyse festgelegt. Sie bilden die Grundlage für das weitere Vorgehen.
Testmethoden:
Genau wie bei der Festlegung der Aufgaben ist bei der Auswahl der Testmethoden darauf zu achten, dass sie der Usability-Zielsetzung entsprechen.
Testmaterial und Einrichtung:
Natürlich muss das Testexperiment genauestens und sehr sorgfältig vorbereitet sein. Alle relevanten Arbeitsmittel müssen vorhanden sein und die Einrichtung muss den gewünschten Bedingungen entsprechen.
Teilnehmer:
Alle Teilnehmer müssen die für den Test wesentlichen Charakteristiken aufweisen, um ein verwertbares Testergebnis zu liefern. Die falsche Auswahl an Personen würde ein verfälschtes und somit unbrauchbares Ergebnis des Tests zur Folge haben.
Weiterhin sind folgende Überlegungen in die Auswahl zu integrieren:
- Sind die Gedankengänge des Benutzers relevant? Dann sollten Think-Aloud-Protokolle angefertigt werden.
- Ist es wichtig, dass die Testumgebung der Arbeitsumgebung des Benutzers angeglichen wird?
- Wenn fehler- oder zeitabhängige Messgrößen erhoben werden sollen, sollte die Interaktion zwischen Testleiter und Versuchsperson minimiert werden
- Eventuell sind auch Videoaufnahmen zur späteren Analyse hilfreich
Einführung
Bevor der eigentliche Test beginnt, müssen die Testteilnehmer in den Ablauf und die Aufgabenstellung des Tests eingewiesen werden. Die Personen sollten neben der Dauer und dem Zweck des Versuchs ebenfalls darüber informiert werden, dass z.B. die Bedienbarkeit einer Software getestet werden soll und nicht die Fähigkeiten der Testperson im Umgang mit dem Programm. Natürlich sind vor Testbeginn auch alle rechtlichen Aspekte zu beachten, z.B. das die Daten vertraulich behandelt werden.
Abschlussbesprechung
Je nach Versuchsanordnung werden die Teilnehmer nach dem Test zu einem abschließenden Gespräch oder zum Ausfüllen eines Fragebogens gebeten. So erhält der Testleiter eventuell wichtige Daten, die er bei einer neuen Versuchsreihe verwenden kann (z.B. Verbesserungsvorschläge der Teilnehmer, die im ersten Test keine Berücksichtigung gefunden haben, aber relevant für ein brauchbares Ergebnis sind).
