Usability Testing und Engineering: Unterschied zwischen den Versionen

Aus InfoWissWiki - Das Wiki der Informationswissenschaft
Zur Navigation springen Zur Suche springen
 
(39 dazwischenliegende Versionen von 8 Benutzern werden nicht angezeigt)
Zeile 1: Zeile 1:
 +
[[definition::Mit '''Usability Testing und Engineering''' werden Verfahren bezeichnet, mit denen die Gebrauchstauglichkeit eines elektronischen Systems oder eines Gegenstandes bestimmt wird]].
  
 
+
==''' Usability – eine Definition '''==
 
 
==''' Usabiltiy – eine Definition '''==
 
 
 
  
 
Der Begriff Usability wird heutzutage in vielen verschiedenen Bereichen angewandt. Allgemein einig ist man sich insofern, dass es sich bei diesem Begriff um ein sehr facettenreiches Konstrukt handelt. Aus diesem Grund wird oft auf folgende Definition der Internationalen Organisation für Standardisierung (ISO 9241) zurückgegriffen:
 
Der Begriff Usability wird heutzutage in vielen verschiedenen Bereichen angewandt. Allgemein einig ist man sich insofern, dass es sich bei diesem Begriff um ein sehr facettenreiches Konstrukt handelt. Aus diesem Grund wird oft auf folgende Definition der Internationalen Organisation für Standardisierung (ISO 9241) zurückgegriffen:
  
 
+
''''' „Usability eines Produktes ist das Ausmaß, in dem es von einem bestimmten Benutzer verwendet werden kann, um bestimmte Ziele in einem bestimmten Kontext effektiv, effizient und zufrieden stellend zu erreichen.“ ''''' ISO 9241
''''' „Usability eines Produktes ist das Ausmaß, in dem es von einem bestimmten Benutzer verwendet werden kann, um bestimmte Ziele in einem bestimmten Kontext effektiv, effizient und zufriedenstellend zu erreichen.“ ''''' ISO 9241
 
 
 
  
 
Nähere Betrachtung einiger Aussagen dieser Definition:
 
Nähere Betrachtung einiger Aussagen dieser Definition:
*: Usability bezeichnet demnach nicht allein die Eigenschaft des Produktes, sondern das Attribut einer Interaktion eines Benutzers         mit einem Produkt innerhalb eines bestimmten Kontextes
+
:* Usability bezeichnet demnach nicht allein die Eigenschaft des Produktes, sondern das Attribut einer Interaktion eines Benutzers mit einem Produkt innerhalb eines bestimmten Kontextes
  
*: Die Usability eines Produktes kann nicht ohne weiteres auf andere Benutzer des geichen Produktes übertragen werden
+
:* Die Usability eines Produktes kann nicht ohne weiteres auf andere Benutzer des gleichen Produktes übertragen werden
 
 
*: Die Effektivität ist ein wesentlicher Bestandteil, d.h. der Nutzer sollte mit Hilfe des Produktes in der Lage sein, genaue und          komplette Ergebnisse zu erzielen
 
 
 
*: Der Arbeitsaufwand, den der Benutzer in die Anwendung investiert, sollte in Relation zum Ergebnis stehen (minimaler Input – maximaler Output)
 
  
 +
:* Die Effektivität ist ein wesentlicher Bestandteil, d.h. der Nutzer sollte mit Hilfe des Produktes in der Lage sein, genaue und komplette Ergebnisse zu erzielen
  
 +
:* Der Arbeitsaufwand, den der Benutzer in die Anwendung investiert, sollte in Relation zum Ergebnis stehen (minimaler Input – maximaler Output)
  
 
=== Notwendige Elemente zur Bestimmung der Usability ===
 
=== Notwendige Elemente zur Bestimmung der Usability ===
 +
                                                         
 +
:* eine Beschreibung der Zielsetzung der Interaktion
  
*:* eine Beschreibung der Zielsetzung der Interaktion
+
:* eine Beschreibung der Zielgruppe (Benutzer)
  
*:* eine Beschreibung der Zielgruppe (Benutzer)
+
:* eine Beschreibung der Aufgaben (d.h. der Handlungen, die auszuführen sind, um ein Ziel zu erreichen)
  
*:* eine Beschreibung der Aufgaben (d.h. der Handlungen, die auszuführen sind, um ein Ziel zu erreichen)
+
:* eine Beschreibung der Ausstattung (insbesondere Hardware und Software)
  
*:* eine Beschreibung der Ausstattung (insbesondere Hardware und Software)
+
:* eine Beschreibung der Umgebung (d.h. der relevanten Eigenschaften der physikalischen und sozialen Umwelt; z.B. Organisationsstruktur, Raumtemperatur, etc.)
  
*:* eine Beschreibung der Umgebung (d.h. der relevanten Eigenschaften der physikalischen und sozialen Umwelt; z.B. Organisationsstruktur, Raumtemperatur, etc.)
+
:* Usability Messgrößen (d.h. messbare Attribute, die sich auf Effizienz, Effektivität und Zufriedenheit beziehen; z.B. benötigte Zeit, Fehlerraten, Fragebögen, etc.)
 
 
*:* Usability Messgrößen (d.h. messbare Attribute, die sich auf Effizienz, Effektivität und Zufriedenheit beziehen; z.B. benötigte Zeit, Fehlerraten, Fragebögen, etc.)
 
  
 
Nicht alle diese Aspekte zählen bei jeder Analyse in gleichem Maße. Jede Situation verlangt eine spezifische Gewichtung der einzelnen Faktoren. Entscheidend für eine sinnvolle Anwendung der einzelnen Elemente ist eine hinreichend detaillierte Beschreibung, so dass alle Faktoren, die einen Einfluss auf die Usability nehmen, identifiziert und behandelt werden können.
 
Nicht alle diese Aspekte zählen bei jeder Analyse in gleichem Maße. Jede Situation verlangt eine spezifische Gewichtung der einzelnen Faktoren. Entscheidend für eine sinnvolle Anwendung der einzelnen Elemente ist eine hinreichend detaillierte Beschreibung, so dass alle Faktoren, die einen Einfluss auf die Usability nehmen, identifiziert und behandelt werden können.
Zeile 40: Zeile 34:
 
=== Usability nach Nielsen ===
 
=== Usability nach Nielsen ===
  
''' „Usability is the measure of quality of the user experience when interacting with something – whether a Web Site, a tradiotional software application, or any other device the user can operate in some way or another.“ (Jakob Niesen, 1998) '''
+
''' „Usability is the measure of quality of the user experience when interacting with something – whether a Web Site, a traditional software application, or any other device the user can operate in some way or another.“ (Jakob Niesen, 1998) '''
 
 
  
 
=== Der Begriff Usability in der Forschung ===
 
=== Der Begriff Usability in der Forschung ===
  
In der angewandten Forschung bezeichnet Usabiltiy den Versuch, wissenschaftliche Erkenntnisse möglichst praxisorientiert in den Design- und Entwicklungsprozesse technischer Gerätschaften zu integrieren. Ziel dieser Forschung ist es, dem späteren Endnutzer ein einfach und gut zu bedienendes Produkt anbieten zu können.
+
In der angewandten Forschung bezeichnet Usability den Versuch, wissenschaftliche Erkenntnisse möglichst praxisorientiert in den Design- und Entwicklungsprozesse technischer Gerätschaften zu integrieren. Ziel dieser Forschung ist es, dem späteren Endnutzer ein einfach und gut zu bedienendes Produkt anbieten zu können.
 
 
 
 
 
 
 
 
 
 
  
 
==''' Von Usability zu Usability Engineering '''==
 
==''' Von Usability zu Usability Engineering '''==
 
  
 
Die Qualität einer Software wurde ursprünglich nach einem sehr einfachen Prinzip bewertet. Hat sich ein Produkt auf dem Markt durchgesetzt, galt es automatisch als gelungen. Das Hauptaugenmerk lag in der Betrachtung der Computer-Mensch-Schnittstelle.
 
Die Qualität einer Software wurde ursprünglich nach einem sehr einfachen Prinzip bewertet. Hat sich ein Produkt auf dem Markt durchgesetzt, galt es automatisch als gelungen. Das Hauptaugenmerk lag in der Betrachtung der Computer-Mensch-Schnittstelle.
Um aber nicht nur den praktischen Erfordernissen einer Software gerecht zu werden, sondern  das Produkt auch einer wissenschaftlichen Überprüfung zu unterziehen, entstand das sogenannte Usability Engineering.
+
Um aber nicht nur den praktischen Erfordernissen einer Software gerecht zu werden, sondern  das Produkt auch einer wissenschaftlichen Überprüfung zu unterziehen, entstand das so genannte Usability Engineering.
  
 
Der Prozess des Usability Engineering setzt sich aus folgenden Abläufen zusammen:
 
Der Prozess des Usability Engineering setzt sich aus folgenden Abläufen zusammen:
*: das allgemeine Ziel Usability sollte je nach der spezifischen Situation in konkrete Eigenschaften oder Attribute unterteilt werden können
+
:* das allgemeine Ziel Usability sollte je nach der spezifischen Situation in konkrete Eigenschaften oder Attribute unterteilt werden können
 
 
*: diese Attribute sollten meßbar sein
 
 
 
*: es sollte möglich sein, kritische Werte für die Attribute angeben zu können
 
  
*: durch einen Vergleich der gemessenen oder beobachteten Ist- und Soll-Werte sollte eine Beurteilung der Usability möglich sein
+
:* diese Attribute sollten messbar sein  
  
Der gesamte Vorgang wird als Prozess des Usability Engineering bezeichnet (diese Darstellung ist natürlich stark vereinfacht, da es sich beim Usability Engineering um einen sich ständig wiederholdenden Prozess handelt).
+
:* es sollte möglich sein, kritische Werte für die Attribute angeben zu können
  
 +
:* durch einen Vergleich der gemessenen oder beobachteten Ist- und Soll-Werte sollte eine Beurteilung der Usability möglich sein
  
 +
Der gesamte Vorgang wird als Prozess des Usability Engineering bezeichnet (diese Darstellung ist natürlich stark vereinfacht, da es sich beim Usability Engineering um einen sich ständig wiederholenden Prozess handelt).
  
 
=== Eine Definition ===
 
=== Eine Definition ===
  
 
Usability Engineering ist ein Prozess, in dessen Verlauf die Usability eines Produktes definiert, gemessen und verbessert wird.
 
Usability Engineering ist ein Prozess, in dessen Verlauf die Usability eines Produktes definiert, gemessen und verbessert wird.
 
  
 
=== Der Ablauf ===
 
=== Der Ablauf ===
  
Um mit Hilfe des Usabilty Enginerring festellen zu können, ob die Usability einer Software den gewünschten Anforderungen entspricht, müssen die Ziele der Usability klar definiert werden.
+
Um mit Hilfe des Usability Engineering festellen zu können, ob die Usability einer Software den gewünschten Anforderungen entspricht, müssen die Ziele der Usability klar definiert werden.
 
 
  
 
=== Ziele festlegen ===
 
=== Ziele festlegen ===
  
Das entscheidende Element des Usability Engineering sind die angestrebten Ziele. Zum einen spiegeln sie die Wertehaltung der Verantwortlichen wider, zum Anderen dienen sie der Entscheidungsgrundlage nach Beendigung der Testphase.
+
Das entscheidende Element des Usability Engineering sind die angestrebten Ziele. Zum einen spiegeln sie die Wertehaltung der Verantwortlichen wider, zum anderen dienen sie der Entscheidungsgrundlage nach Beendigung der Testphase.
 
 
 
 
*: Benutzerbeschreibung
 
 
 
Die Usability-Ziele sollen relevante Eigenschaften der Kategorien von Benutzertypen widerspiegeln. Diese Eigenschaften können sehr unterschiedlichen Charakters sein, z.B. Alter, Benutzungshäufigkeit oder frühere Erfahrung mit ähnlicher Software. Sind die Eigenschaften der Anwender(-gruppen) sehr verschieden, kann es sinnvoll sein, die Zielgruppen in verschiedene Kategorien aufzuteilen (z.B. Anfänger und Experten).
 
 
 
Ein Produkt kann aber auch speziell für Gelegenheitsnutzer konzipiert sein (z.B. Fahrkartenautomaten an Bushaltestellen oder Bahnhöfen). Diese Zielgruppen haben in der Regel kaum Erfahrung mit der Verwendung des Produktes und weiterhin fehlt es ihnen oft an der nötigen Zeit, die Bedienung ausführlich zu lernen.
 
Aus diesem Grund muss ein sogenanntes Benutzerprofil erstellt werden, dass bei der Entwicklung und der Festsetzung der Ziele seine Berücksichtigung findet.
 
 
 
 
 
*: Aufgabenanalyse
 
 
 
Die Hauptaufgabe ist es herauszufinden, zu welchem Zweck ein Produkt eingesetzt wird, wie dieser Zweck momentan erreicht wird und welchen Einfluss das aktuell und das in Zukunft eingesetzte Produkt darauf haben wird.
 
Das Ziel der Aufgabenanalyse ist es, die Hauptaufgaben und ihre Häufigkeit zu bestimmen. Die verwendeten Techniken reichen davon von einfacher Beobachtung der Benutzer im Arbeitsumfeld über Befragung der Zielgruppe bis hin zur detaillierten Videoanalyse des Arbeitsablaufes.
 
Grundsätzlich werden in der frühen Phase einer Produktentwicklung  Techniken eingesetzt, die einen Überblick über die Haupttätigkeiten vermitteln sollen. Detaillierte Analysen finden erst zu einem späteren Zeitpunkt statt.
 
 
 
 
 
*: Usability-Attribute
 
  
In der Definition von Usability wurde bereits festgelegt, dass wesentliche Attribute Effizienz, Effektivität und Zufriedenheit sind. Diese Attribute werden in diesem Schritt in Attribute (zweiter Ordnung) zerlegt.
+
:* Benutzerbeschreibung
Beispiele für solche Usability-Kriterien sind Fehlerrate, Flexibilität oder Erlernbarkeit. Wesentlich ist, dass diese Kriterien in messbare Größen verwandelt werden können (Operationalisierung), denn nur so kann ein brauchbares Ergebnis erzielt werden. Für diese Messgrößen gibt es kritische Werte, die als Entscheidungsgrundlage für spätere Schritte dienen werden.
 
  
 +
::Die Usability-Ziele sollen relevante Eigenschaften der Kategorien von Benutzertypen widerspiegeln. Diese Eigenschaften können sehr unterschiedlichen Charakters sein, z.B. Alter, Benutzungshäufigkeit oder frühere Erfahrung mit ähnlicher Software. Sind die Eigenschaften der Anwender(-gruppen) sehr verschieden, kann es sinnvoll sein, die Zielgruppen in verschiedene Kategorien aufzuteilen (z.B. Anfänger und Experten).
  
*: Messinstrumente
+
:: Produkt kann aber auch speziell für Gelegenheitsnutzer konzipiert sein (z.B. Fahrkartenautomaten an Bushaltestellen oder Bahnhöfen). Diese Zielgruppen haben in der Regel kaum Erfahrung mit der Verwendung des Produktes und weiterhin fehlt es ihnen oft an der nötigen Zeit, die Bedienung ausführlich zu lernen.<br>
 +
::Aus diesem Grund muss ein so genanntes Benutzerprofil erstellt werden, dass bei der Entwicklung und der Festsetzung der Ziele seine Berücksichtigung findet.
  
Ein Messinstrument beschreibt die Methode, mit deren Hilfe Werte zu einem Usability-Attribut gewonnen werden. Als Aussage erhält man immer quantitative Ausprägungen des untersuchten Attributs, die sowohl subjektiver Art (z.B. Zufriedenheitsdaten) als auch objektiver Art (z.B. Zeitaufwand oder Fehlerhäufigkeit) sein können.
+
:* Aufgabenanalyse
Typische Messinstrumente sind Protokollierungssoftware, bzw. –videos, Benchmarkaufgaben oder Fragebögen.
 
  
 +
::Die Hauptaufgabe ist es herauszufinden, zu welchem Zweck ein Produkt eingesetzt wird, wie dieser Zweck momentan erreicht wird und welchen Einfluss das aktuell und das in Zukunft eingesetzte Produkt darauf haben wird.<br>
 +
::Das Ziel der Aufgabenanalyse ist es, die Hauptaufgaben und ihre Häufigkeit zu bestimmen. Die verwendeten Techniken reichen davon von einfacher Beobachtung der Benutzer im Arbeitsumfeld über Befragung der Zielgruppe bis hin zur detaillierten Videoanalyse des Arbeitsablaufes.<br>
 +
::Grundsätzlich werden in der frühen Phase einer Produktentwicklung  Techniken eingesetzt, die einen Überblick über die Haupttätigkeiten vermitteln sollen. Detaillierte Analysen finden erst zu einem späteren Zeitpunkt statt.
  
*: Messgrößen
+
:* Usability-Attribute
  
Generell ist es, wie oben schon erwähnt, situationsabhängig, welche Messgrößen eingesetzt werden. Soll zum Beispiel die Bedienungssoftware für den Tower eines Flughafens überprüft werden, ist es mit  Sicherheit sinnvoller, die Häufigkeit bestimmter Bedienungsfehler in kritischen Situationen zu überprüfen als in aufwendigen Fragebögen die Zufriedenheit der Techniker herauszufinden.
+
::In der Definition von Usability wurde bereits festgelegt, dass wesentliche Attribute Effizienz, Effektivität und Zufriedenheit sind. Diese Attribute werden in diesem Schritt in Attribute (zweiter Ordnung) zerlegt.<br>
 +
::Beispiele für solche Usability-Kriterien sind Fehlerrate, Flexibilität oder Erlernbarkeit. Wesentlich ist, dass diese Kriterien in messbare Größen verwandelt werden können (Operationalisierung), denn nur so kann ein brauchbares Ergebnis erzielt werden. Für diese Messgrößen gibt es kritische Werte, die als Entscheidungsgrundlage für spätere Schritte dienen werden.
  
 +
:* Messinstrumente
  
*: Kritischer Level
+
::Ein Messinstrument beschreibt die Methode, mit deren Hilfe Werte zu einem Usability-Attribut gewonnen werden. Als Aussage erhält man immer quantitative Ausprägungen des untersuchten Attributs, die sowohl subjektiver Art (z.B. Zufriedenheitsdaten) als auch objektiver Art (z.B. Zeitaufwand oder Fehlerhäufigkeit) sein können.<br>
 +
::Typische Messinstrumente sind Protokollierungssoftware, bzw. –Videos, Benchmarkaufgaben oder Fragebögen.
  
Kritische Werte definieren den Bereich akzeptierter Ausprägungen eines Attributs. Diese Werte können unterschiedlich formuliert werden.
+
:* Messgrößen
Zum einen können absolute Grenzwerte angegeben werden wie: „Ein Benutzer x sollte in der Lage sein, die Aufgabe y mit weniger als drei Fehlern abschließen zu können“.
 
Auch der relative Vergleich zu einem anderen Produkt kann ausschlaggebend sein: „Im Zeitraum X sollte der Benutzer bei Produkt A weniger Fehler machen als Produkt B.“
 
Kritische Werte entstehen aus verschiedenen Erhebungen wie Marktforschungsdaten, Expertenurteile, Usability Tests, Feldstudien, usw.
 
 
 
 
 
*: Usability Probleme
 
 
 
Während der Interaktion eines Testteilnehmers mit dem zu untersuchenden Produkt werden neben den quantitativen Messgrößen auch qualitative Beobachtungen gemacht, wie z.B.: „Wie reibungslos funktioniert die Bedienbarkeit? Gibt es Probleme bei der Interaktion des Teilnehmers mit der Software? Existieren  Verständnisprobleme bei der Bedienbarkeit?“
 
All diese Beobachtungen liefern Zusatzinformationen hinsichtlich der Usability und sollten daher Berücksichtigung finden.
 
  
 +
::Generell ist es, wie oben schon erwähnt, situationsabhängig, welche Messgrößen eingesetzt werden. Soll zum Beispiel die Bedienungssoftware für den Tower eines Flughafens überprüft werden, ist es mit  Sicherheit sinnvoller, die Häufigkeit bestimmter Bedienungsfehler in kritischen Situationen zu überprüfen als in aufwendigen Fragebögen die Zufriedenheit der Techniker herauszufinden.
  
 +
:* Kritischer Level
  
 +
::Kritische Werte definieren den Bereich akzeptierter Ausprägungen eines Attributs. Diese Werte können unterschiedlich formuliert werden.<br>
 +
::Zum einen können absolute Grenzwerte angegeben werden wie: „Ein Benutzer x sollte in der Lage sein, die Aufgabe y mit weniger als drei Fehlern abschließen zu können“.<br>
 +
::Auch der relative Vergleich zu einem anderen Produkt kann ausschlaggebend sein: „Im Zeitraum X sollte der Benutzer bei Produkt A weniger Fehler machen als Produkt B.“<br>
 +
::Kritische Werte entstehen aus verschiedenen Erhebungen wie Marktforschungsdaten, Expertenurteile, Usability Tests, Feldstudien, usw.
  
 +
:* Usability Probleme
  
 +
::Während der Interaktion eines Testteilnehmers mit dem zu untersuchenden Produkt werden neben den quantitativen Messgrößen auch qualitative Beobachtungen gemacht, wie z.B.: „Wie reibungslos funktioniert die Bedienbarkeit? Gibt es Probleme bei der Interaktion des Teilnehmers mit der Software? Existieren  Verständnisprobleme bei der Bedienbarkeit?<br>
 +
::All diese Beobachtungen liefern Zusatzinformationen hinsichtlich der Usability und sollten daher Berücksichtigung finden.
  
 
==''' Der Usability Test '''==  
 
==''' Der Usability Test '''==  
 
  
 
Der Usability Test ist der wichtigste Bestandteil des Usability Engineering. Können die festgesetzten Ziele im Vergleich mit der realen Anwendung – repräsentiert durch das Verhalten der beschriebenen Zielgruppe – erfüllt werden?
 
Der Usability Test ist der wichtigste Bestandteil des Usability Engineering. Können die festgesetzten Ziele im Vergleich mit der realen Anwendung – repräsentiert durch das Verhalten der beschriebenen Zielgruppe – erfüllt werden?
  
 
Allgemein
 
Allgemein
 +
 
Der Begriff Usability Test beschreibt einen Vorgang, während dessen überprüft wird, ob die festgelegten Usability-Ziele erreicht worden sind. Der Begriff „Test“ ist dabei ein generischer Ausdruck für eine Vielzahl verschiedener Methoden, die dabei zum Einsatz kommen können. Eine Methode kann zum Beispiel ein einfacher Fragebogen sein, aber auch eine komplizierte Laboruntersuchung.  
 
Der Begriff Usability Test beschreibt einen Vorgang, während dessen überprüft wird, ob die festgelegten Usability-Ziele erreicht worden sind. Der Begriff „Test“ ist dabei ein generischer Ausdruck für eine Vielzahl verschiedener Methoden, die dabei zum Einsatz kommen können. Eine Methode kann zum Beispiel ein einfacher Fragebogen sein, aber auch eine komplizierte Laboruntersuchung.  
 
Den Ablauf eines Tests kann man grob in folgende Phasen unterteilen:
 
Den Ablauf eines Tests kann man grob in folgende Phasen unterteilen:
Zeile 150: Zeile 121:
 
#  Analyse
 
#  Analyse
 
#  Bericht
 
#  Bericht
 
 
  
 
=== Vorbereitung ===
 
=== Vorbereitung ===
  
 
Bei der Zielsetzung wurden bereits die relevanten Benutzereigenschaften sowie die Ergebnisse der Aufgabenanalyse festgelegt. Sie bilden die Grundlage für das weitere Vorgehen.
 
Bei der Zielsetzung wurden bereits die relevanten Benutzereigenschaften sowie die Ergebnisse der Aufgabenanalyse festgelegt. Sie bilden die Grundlage für das weitere Vorgehen.
 
  
 
Testmethoden:
 
Testmethoden:
  
 
Genau wie bei der Festlegung der Aufgaben ist bei der Auswahl der Testmethoden darauf zu achten, dass sie der Usability-Zielsetzung  entsprechen.
 
Genau wie bei der Festlegung der Aufgaben ist bei der Auswahl der Testmethoden darauf zu achten, dass sie der Usability-Zielsetzung  entsprechen.
 
  
 
Testmaterial und Einrichtung:
 
Testmaterial und Einrichtung:
  
 
Natürlich muss das Testexperiment genauestens und sehr sorgfältig vorbereitet sein. Alle relevanten Arbeitsmittel müssen vorhanden sein und die Einrichtung muss den gewünschten Bedingungen entsprechen.
 
Natürlich muss das Testexperiment genauestens und sehr sorgfältig vorbereitet sein. Alle relevanten Arbeitsmittel müssen vorhanden sein und die Einrichtung muss den gewünschten Bedingungen entsprechen.
 
  
 
Teilnehmer:
 
Teilnehmer:
  
 
Alle Teilnehmer müssen die für den Test wesentlichen Charakteristiken aufweisen, um ein verwertbares Testergebnis zu liefern. Die falsche Auswahl an Personen würde ein verfälschtes und somit unbrauchbares Ergebnis des Tests zur Folge haben.
 
Alle Teilnehmer müssen die für den Test wesentlichen Charakteristiken aufweisen, um ein verwertbares Testergebnis zu liefern. Die falsche Auswahl an Personen würde ein verfälschtes und somit unbrauchbares Ergebnis des Tests zur Folge haben.
 
  
 
Weiterhin sind folgende Überlegungen in die Auswahl zu integrieren:
 
Weiterhin sind folgende Überlegungen in die Auswahl zu integrieren:
*: Sind die Gedankengänge des Benutzers relevant? Dann sollten Think-Aloud-Protokolle angefertigt werden.
+
:* Sind die Gedankengänge des Benutzers relevant? Dann sollten Think-Aloud-Protokolle angefertigt werden.
  
*: Ist es wichtig, dass die Testumgebung der Arbeitsumgebung des Benutzers angeglichen wird?
+
:* Ist es wichtig, dass die Testumgebung der Arbeitsumgebung des Benutzers angeglichen wird?
  
*:Wenn fehler- oder zeitabhängige Messgrößen erhoben werden sollen, sollte die Interaktion zwischen Testleiter und Versuchsperson minimiert werden
+
:* Wenn fehler- oder zeitabhängige Messgrößen erhoben werden sollen, sollte die Interaktion zwischen Testleiter und Versuchsperson minimiert werden
 
 
*: Eventuell sind auch Videoaufnahmen zur späteren Analyse hilfreich
 
  
 +
:* Eventuell sind auch Videoaufnahmen zur späteren Analyse hilfreich
  
 
=== Einführung ===
 
=== Einführung ===
Zeile 187: Zeile 151:
 
Bevor der eigentliche Test beginnt, müssen die Testteilnehmer in den Ablauf und die Aufgabenstellung des Tests eingewiesen werden. Die Personen sollten neben der Dauer und dem Zweck des Versuchs ebenfalls darüber informiert werden, dass z.B. die Bedienbarkeit einer Software getestet werden soll und nicht die Fähigkeiten der Testperson im Umgang mit dem Programm.
 
Bevor der eigentliche Test beginnt, müssen die Testteilnehmer in den Ablauf und die Aufgabenstellung des Tests eingewiesen werden. Die Personen sollten neben der Dauer und dem Zweck des Versuchs ebenfalls darüber informiert werden, dass z.B. die Bedienbarkeit einer Software getestet werden soll und nicht die Fähigkeiten der Testperson im Umgang mit dem Programm.
 
Natürlich sind vor Testbeginn auch alle rechtlichen Aspekte zu beachten, z.B. das die Daten vertraulich behandelt werden.
 
Natürlich sind vor Testbeginn auch alle rechtlichen Aspekte zu beachten, z.B. das die Daten vertraulich behandelt werden.
 
  
 
=== Test ===
 
=== Test ===
Zeile 194: Zeile 157:
  
 
# Zum einen sollten die Testteilnehmer nicht durch z.B. Tipps oder Hinweise dritter Personen beeinflusst werden, da man sonst ein verfälschtes Ergebnis erhält.
 
# Zum einen sollten die Testteilnehmer nicht durch z.B. Tipps oder Hinweise dritter Personen beeinflusst werden, da man sonst ein verfälschtes Ergebnis erhält.
# Bei sogenannten Think-Aloud-Tests kann es durchaus hilfreich sein, den Teilnehmer durch Fragen wie „Was denken sie gerade“ zum lauten Denken zu animieren. So können z.B. Probleme bei der Bentuzer-Software-Interaktion viel besser festgestellt werden.
+
# Bei so genannten Think-Aloud-Tests kann es durchaus hilfreich sein, den Teilnehmer durch Fragen wie „Was denken sie gerade“ zum lauten Denken zu animieren. So können z.B. Probleme bei der Benutzer-Software-Interaktion viel besser festgestellt werden.
 
 
  
 
=== Abschlussbesprechung ===
 
=== Abschlussbesprechung ===
  
 
Je nach Versuchsanordnung werden die Teilnehmer nach dem Test zu einem abschließenden Gespräch oder zum Ausfüllen eines Fragebogens gebeten. So erhält der Testleiter eventuell wichtige Daten, die er bei einer neuen Versuchsreihe verwenden kann (z.B. Verbesserungsvorschläge der Teilnehmer, die im ersten Test keine Berücksichtigung gefunden haben, aber relevant für ein brauchbares Ergebnis sind).
 
Je nach Versuchsanordnung werden die Teilnehmer nach dem Test zu einem abschließenden Gespräch oder zum Ausfüllen eines Fragebogens gebeten. So erhält der Testleiter eventuell wichtige Daten, die er bei einer neuen Versuchsreihe verwenden kann (z.B. Verbesserungsvorschläge der Teilnehmer, die im ersten Test keine Berücksichtigung gefunden haben, aber relevant für ein brauchbares Ergebnis sind).
 
  
 
=== Analyse ===
 
=== Analyse ===
Zeile 206: Zeile 167:
 
Einfache Analyse:
 
Einfache Analyse:
 
Usability-Tests liefern in der Regel drei verschiedene Daten-Typen:
 
Usability-Tests liefern in der Regel drei verschiedene Daten-Typen:
*: quantitative Attributsausprägungen  
+
:* quantitative Attributsausprägungen  
  
*: qualitative Problembeschreibungen
+
:* qualitative Problembeschreibungen
  
*: subjektive, durch Fragebögen erhobene Daten  
+
:* subjektive, durch Fragebögen erhobene Daten  
  
 
Diese Daten zeigen, ob die Usability-Ziele erfüllt worden sind, an welcher Stelle die Bedienungsprobleme liegen und für wie schwerwiegend diese Probleme erachtet werden.
 
Diese Daten zeigen, ob die Usability-Ziele erfüllt worden sind, an welcher Stelle die Bedienungsprobleme liegen und für wie schwerwiegend diese Probleme erachtet werden.
 
  
 
Videoanalyse:
 
Videoanalyse:
 
Videosequenzen können hilfreich sein, um spezielle Bedienprobleme zu visualisieren.
 
Videosequenzen können hilfreich sein, um spezielle Bedienprobleme zu visualisieren.
 
  
 
=== Bericht ===
 
=== Bericht ===
  
 
Der Abschlussbericht soll natürlich der Zielgruppe angepasst sein (z.B. technische Details interessieren die Programmierer, nur indirekt das Management). Er sollte grundsätzlich eine Zusammenfassung der erhaltenen Ergebnisse, der angewandten Methoden und Empfehlungen für die Produktverbesserung beinhalten. Subjektive Meinungen (z.B. durch persönliche Wertehaltungen) haben in einem solchen Bericht keinen Platz.
 
Der Abschlussbericht soll natürlich der Zielgruppe angepasst sein (z.B. technische Details interessieren die Programmierer, nur indirekt das Management). Er sollte grundsätzlich eine Zusammenfassung der erhaltenen Ergebnisse, der angewandten Methoden und Empfehlungen für die Produktverbesserung beinhalten. Subjektive Meinungen (z.B. durch persönliche Wertehaltungen) haben in einem solchen Bericht keinen Platz.
 
  
 
=== Verschiedene Testmethoden ===
 
=== Verschiedene Testmethoden ===
Zeile 228: Zeile 186:
 
''' Expertenorientierte Methoden: '''
 
''' Expertenorientierte Methoden: '''
  
*: Heuristische Evaluation  
+
:* Heuristische Evaluation  
Bei dieser Methode beurteilt eine kleine Gruppe von Gutachtern (meist mit sog. Expertenwissen) die Benutzerschnittstelle eines Produkts und überprüft, inwieweit diese mit bestimmten Usability Prinzipien (Heuristiken) übereinstimmen.  
+
::Bei dieser Methode beurteilt eine kleine Gruppe von Gutachtern (meist mit sog. Expertenwissen) die Benutzerschnittstelle eines Produkts und überprüft, inwieweit diese mit bestimmten Usability Prinzipien (Heuristiken) übereinstimmen.  
  
 +
:* Checklisten und Guidelines
 +
::Siehe z.B. Keevil Usability Index für kommerzielle Webseiten [ http://usability.is.uni-sb.de/beitrag/web_usability_index.pdf ]
  
*: Checklisten und Guidelines
+
:* Kosten-Nutzen-Analyse
Siehe z.B. Keevil Usability Index für kommerzielle Webseiten [ http://usability.is.uni-sb.de/beitrag/web_usability_index.pdf ]
+
::Diese Analyse soll den finanziellen Mehrwert bestimmen, der auf das Usability Engineering zurückzuführen ist. Es wird überprüft, ob die Kosten für Usability Engineering und –Tests im Verhältnis zum daraus entstehenden finanziellen Nutzen stehen (z.B. Steigerung der Verkaufszahlen des Produktes).  
  
 +
''' Benutzerorientierte Methoden: '''
  
*: Kosten-Nutzen-Analyse
+
:* Produkttests im Usability Labor
Diese Analyse soll den finanziellen Mehrwert bestimmen, der auf das Usability Engineering zurückzuführen ist. Es wird überprüft, ob die Kosten für Usability Engineering und –Tests im Verhältnis zum daraus entstehenden finanziellen Nutzen stehen (z.B. Steigerung der Verkaufszahlen des Produktes).  
+
::In einem speziell vorbereiteten Labor werden benutzerorientierte Methoden als Tests mit echten Benutzern durchgeführt.
  
 +
:* Produkttests mit der Plus-Minus-Methode
 +
::Die Testpersonen arbeiten mit dem Produkt und bewerten bestimmte Eigenschaften. Positive Produkteigenschaften werden mit einem Plus gekennzeichnet, negative Eigenschaften mit einem Minus.
  
''' Benutzerorientierte Methoden: '''
+
:* Produkttests mit Hilfe der Fokusgruppe
 +
::Bei diesem Testverfahren diskutieren die Teilnehmer über vorgegebene Fragen zu einem Produkt und bewerten bestimmte Eigenschaften oder Funktionen.
  
*: Produkttests im Usability Labor
+
:* Produkttests mit der Think-Aloud-Methode
In einem speziell vorbereiteten Labor werden benutzerorientierte Methoden als Tests mit echten Benutzern durchgeführt.
+
::Die Teilnehmer werden durch Fragen wie „Was denken sie gerade“ zum lauten Denken zu animiert. So können z.B. Probleme bei der Benutzer-Software-Interaktion viel besser festgestellt werden, da man den Gedankengängen des Nutzers beim Arbeiten mit dem Produkt folgen kann.
  
 +
''' Weitere Methoden: '''
  
*: Produkttests mit der Plus-Minus-Methode
+
:* Zu den Methoden siehe auch Eichingers Online-Skript (Link defekt!).
Die Testpersonen arbeiten mit dem Produkt und bewerten bestimmte Eigenschaften. Positive Produkteigenschaften werden mit einem Plus gekennzeichnet, negative Eigenschaften mit einem Minus.
 
  
 +
== Referenzen ==
  
*: Produkttests mit Hilfe der Fokusgruppe
+
:*Arbeitsbereich Usability Engineering des Fachbereichs Informationswissenschaft der Universität des Saarlandes. Online verfügbar unter: http://usability.is.uni-sb.de
Bei diesem Testverfahren diskutieren die Teilnehmer über vorgegebene Fragen zu einem Produkt und bewerten bestimmte Eigenschaften oder Funktionen.  
 
  
 +
:* Eberleh, E.; Oberquelle, H.; Oppermann, R. (Hrsg., 1994): Einführung in die Software-Ergonomie. Gestaltung graphisch-interaktiver Systeme: Prinzipien, Werkzeuge, Lösungen. Mensch-Computer-Kommunikation: Grundwissen, Band 1 von 2, Berlin, New York: Walter de Gruyter
  
*: Produkttests mit der Think-Aloud-Methode
+
:* [http://www.nigeno.de/usability/ Eichinger, Online-Skript Usability ]
Die Teilnehmer werden durch Fragen wie „Was denken sie gerade“ zum lauten Denken zu animiert. So können z.B. Probleme bei der Bentuzer-Software-Interaktion viel besser festgestellt werden, da man den Gedankengängen des Nutzers beim Arbeiten mit dem Produkt folgen kann.
 
  
== Referenzen ==
+
:*Harms, Ilse; Luckhardt, Heinz-Dirk (2003): Labels als Mittel der Informationsarchitektur - über die effiziente Repräsentation von Inhalten im WWW. In: Magazin Forschung, hrsg v. Universität des Saarlandes, Band 1. Online verfügbar unter: http://www.uni-saarland.de/mediadb/profil/veroeffentlichungen/ffmagazin/1-2003/7.pdf
  
*: Eberleh, E.; Oberquelle, H; Oppermann, R. (Hrsg.)
+
:* Nielsen, Jakob (2000): Web Design: Erfolg des Einfachen, dtsch. Übers.: Mediaphor Informationsgesellschaft mbH; München: Markt + Technik
  
*: Einführung in die Software-Ergonomie; Mensch-Computer-Kommunikation; Grundwissen ½ (Berlin, New York; de Gryter, 1994)
+
:* Nielsen, J.; Landauer, T. K. (1993): A mathematical model of the finding of usability problems. Proceedings of INTERCHI 93, p. 206-213. New York: ACM.
*: Nielsen, Jakob
 
  
*: Web Design: Erfolg des Einfachen; dtsch. Übers.: Mediaphor Informationsgesellschaft mbH; (München: Markt+Technik, 2000)
+
:*Rechenkompass, der (Hrsg., 2003): Softwareergonomie. Online verfügbar unter: http://home.nordwest.net/hgm/ergo/index.html
*: Nielsen & Landauer, 1993
 
  
*: [ http://home.nordwest.net/hgm/ergo/index.html ]
+
:*useit.com: Jakob Nielsen's Website. Online verfügbar unter: http://www.useit.com
  
*: [ http://www.uni-saarland.de/mediadb/profil/veroeffentlichungen/ffmagazin/1-2003/7.pdf ]
+
=Verwandte Begriffe=
  
*: [ http://usability.is.uni-sb.de/ ]
+
* [[broader::Usability]]
 +
* [[related::Informationspräsentation]]
 +
* [[related::Informationssystem]]
 +
* [[related::Hypermedia]]
 +
* [[related::Softwareergonomie]]
  
*: [ http://www.useit.com/ ]
+
[[category:Interaktion und Kommunikation]]
 +
[[category:Informationsbedarfsanalyse]]

Aktuelle Version vom 17. September 2008, 09:55 Uhr

Mit Usability Testing und Engineering werden Verfahren bezeichnet, mit denen die Gebrauchstauglichkeit eines elektronischen Systems oder eines Gegenstandes bestimmt wird.

Usability – eine Definition

Der Begriff Usability wird heutzutage in vielen verschiedenen Bereichen angewandt. Allgemein einig ist man sich insofern, dass es sich bei diesem Begriff um ein sehr facettenreiches Konstrukt handelt. Aus diesem Grund wird oft auf folgende Definition der Internationalen Organisation für Standardisierung (ISO 9241) zurückgegriffen:

„Usability eines Produktes ist das Ausmaß, in dem es von einem bestimmten Benutzer verwendet werden kann, um bestimmte Ziele in einem bestimmten Kontext effektiv, effizient und zufrieden stellend zu erreichen.“ ISO 9241

Nähere Betrachtung einiger Aussagen dieser Definition:

  • Usability bezeichnet demnach nicht allein die Eigenschaft des Produktes, sondern das Attribut einer Interaktion eines Benutzers mit einem Produkt innerhalb eines bestimmten Kontextes
  • Die Usability eines Produktes kann nicht ohne weiteres auf andere Benutzer des gleichen Produktes übertragen werden
  • Die Effektivität ist ein wesentlicher Bestandteil, d.h. der Nutzer sollte mit Hilfe des Produktes in der Lage sein, genaue und komplette Ergebnisse zu erzielen
  • Der Arbeitsaufwand, den der Benutzer in die Anwendung investiert, sollte in Relation zum Ergebnis stehen (minimaler Input – maximaler Output)

Notwendige Elemente zur Bestimmung der Usability

  • eine Beschreibung der Zielsetzung der Interaktion
  • eine Beschreibung der Zielgruppe (Benutzer)
  • eine Beschreibung der Aufgaben (d.h. der Handlungen, die auszuführen sind, um ein Ziel zu erreichen)
  • eine Beschreibung der Ausstattung (insbesondere Hardware und Software)
  • eine Beschreibung der Umgebung (d.h. der relevanten Eigenschaften der physikalischen und sozialen Umwelt; z.B. Organisationsstruktur, Raumtemperatur, etc.)
  • Usability Messgrößen (d.h. messbare Attribute, die sich auf Effizienz, Effektivität und Zufriedenheit beziehen; z.B. benötigte Zeit, Fehlerraten, Fragebögen, etc.)

Nicht alle diese Aspekte zählen bei jeder Analyse in gleichem Maße. Jede Situation verlangt eine spezifische Gewichtung der einzelnen Faktoren. Entscheidend für eine sinnvolle Anwendung der einzelnen Elemente ist eine hinreichend detaillierte Beschreibung, so dass alle Faktoren, die einen Einfluss auf die Usability nehmen, identifiziert und behandelt werden können.

Usability nach Nielsen

„Usability is the measure of quality of the user experience when interacting with something – whether a Web Site, a traditional software application, or any other device the user can operate in some way or another.“ (Jakob Niesen, 1998)

Der Begriff Usability in der Forschung

In der angewandten Forschung bezeichnet Usability den Versuch, wissenschaftliche Erkenntnisse möglichst praxisorientiert in den Design- und Entwicklungsprozesse technischer Gerätschaften zu integrieren. Ziel dieser Forschung ist es, dem späteren Endnutzer ein einfach und gut zu bedienendes Produkt anbieten zu können.

Von Usability zu Usability Engineering

Die Qualität einer Software wurde ursprünglich nach einem sehr einfachen Prinzip bewertet. Hat sich ein Produkt auf dem Markt durchgesetzt, galt es automatisch als gelungen. Das Hauptaugenmerk lag in der Betrachtung der Computer-Mensch-Schnittstelle. Um aber nicht nur den praktischen Erfordernissen einer Software gerecht zu werden, sondern das Produkt auch einer wissenschaftlichen Überprüfung zu unterziehen, entstand das so genannte Usability Engineering.

Der Prozess des Usability Engineering setzt sich aus folgenden Abläufen zusammen:

  • das allgemeine Ziel Usability sollte je nach der spezifischen Situation in konkrete Eigenschaften oder Attribute unterteilt werden können
  • diese Attribute sollten messbar sein
  • es sollte möglich sein, kritische Werte für die Attribute angeben zu können
  • durch einen Vergleich der gemessenen oder beobachteten Ist- und Soll-Werte sollte eine Beurteilung der Usability möglich sein

Der gesamte Vorgang wird als Prozess des Usability Engineering bezeichnet (diese Darstellung ist natürlich stark vereinfacht, da es sich beim Usability Engineering um einen sich ständig wiederholenden Prozess handelt).

Eine Definition

Usability Engineering ist ein Prozess, in dessen Verlauf die Usability eines Produktes definiert, gemessen und verbessert wird.

Der Ablauf

Um mit Hilfe des Usability Engineering festellen zu können, ob die Usability einer Software den gewünschten Anforderungen entspricht, müssen die Ziele der Usability klar definiert werden.

Ziele festlegen

Das entscheidende Element des Usability Engineering sind die angestrebten Ziele. Zum einen spiegeln sie die Wertehaltung der Verantwortlichen wider, zum anderen dienen sie der Entscheidungsgrundlage nach Beendigung der Testphase.

  • Benutzerbeschreibung
Die Usability-Ziele sollen relevante Eigenschaften der Kategorien von Benutzertypen widerspiegeln. Diese Eigenschaften können sehr unterschiedlichen Charakters sein, z.B. Alter, Benutzungshäufigkeit oder frühere Erfahrung mit ähnlicher Software. Sind die Eigenschaften der Anwender(-gruppen) sehr verschieden, kann es sinnvoll sein, die Zielgruppen in verschiedene Kategorien aufzuteilen (z.B. Anfänger und Experten).
Produkt kann aber auch speziell für Gelegenheitsnutzer konzipiert sein (z.B. Fahrkartenautomaten an Bushaltestellen oder Bahnhöfen). Diese Zielgruppen haben in der Regel kaum Erfahrung mit der Verwendung des Produktes und weiterhin fehlt es ihnen oft an der nötigen Zeit, die Bedienung ausführlich zu lernen.
Aus diesem Grund muss ein so genanntes Benutzerprofil erstellt werden, dass bei der Entwicklung und der Festsetzung der Ziele seine Berücksichtigung findet.
  • Aufgabenanalyse
Die Hauptaufgabe ist es herauszufinden, zu welchem Zweck ein Produkt eingesetzt wird, wie dieser Zweck momentan erreicht wird und welchen Einfluss das aktuell und das in Zukunft eingesetzte Produkt darauf haben wird.
Das Ziel der Aufgabenanalyse ist es, die Hauptaufgaben und ihre Häufigkeit zu bestimmen. Die verwendeten Techniken reichen davon von einfacher Beobachtung der Benutzer im Arbeitsumfeld über Befragung der Zielgruppe bis hin zur detaillierten Videoanalyse des Arbeitsablaufes.
Grundsätzlich werden in der frühen Phase einer Produktentwicklung Techniken eingesetzt, die einen Überblick über die Haupttätigkeiten vermitteln sollen. Detaillierte Analysen finden erst zu einem späteren Zeitpunkt statt.
  • Usability-Attribute
In der Definition von Usability wurde bereits festgelegt, dass wesentliche Attribute Effizienz, Effektivität und Zufriedenheit sind. Diese Attribute werden in diesem Schritt in Attribute (zweiter Ordnung) zerlegt.
Beispiele für solche Usability-Kriterien sind Fehlerrate, Flexibilität oder Erlernbarkeit. Wesentlich ist, dass diese Kriterien in messbare Größen verwandelt werden können (Operationalisierung), denn nur so kann ein brauchbares Ergebnis erzielt werden. Für diese Messgrößen gibt es kritische Werte, die als Entscheidungsgrundlage für spätere Schritte dienen werden.
  • Messinstrumente
Ein Messinstrument beschreibt die Methode, mit deren Hilfe Werte zu einem Usability-Attribut gewonnen werden. Als Aussage erhält man immer quantitative Ausprägungen des untersuchten Attributs, die sowohl subjektiver Art (z.B. Zufriedenheitsdaten) als auch objektiver Art (z.B. Zeitaufwand oder Fehlerhäufigkeit) sein können.
Typische Messinstrumente sind Protokollierungssoftware, bzw. –Videos, Benchmarkaufgaben oder Fragebögen.
  • Messgrößen
Generell ist es, wie oben schon erwähnt, situationsabhängig, welche Messgrößen eingesetzt werden. Soll zum Beispiel die Bedienungssoftware für den Tower eines Flughafens überprüft werden, ist es mit Sicherheit sinnvoller, die Häufigkeit bestimmter Bedienungsfehler in kritischen Situationen zu überprüfen als in aufwendigen Fragebögen die Zufriedenheit der Techniker herauszufinden.
  • Kritischer Level
Kritische Werte definieren den Bereich akzeptierter Ausprägungen eines Attributs. Diese Werte können unterschiedlich formuliert werden.
Zum einen können absolute Grenzwerte angegeben werden wie: „Ein Benutzer x sollte in der Lage sein, die Aufgabe y mit weniger als drei Fehlern abschließen zu können“.
Auch der relative Vergleich zu einem anderen Produkt kann ausschlaggebend sein: „Im Zeitraum X sollte der Benutzer bei Produkt A weniger Fehler machen als Produkt B.“
Kritische Werte entstehen aus verschiedenen Erhebungen wie Marktforschungsdaten, Expertenurteile, Usability Tests, Feldstudien, usw.
  • Usability Probleme
Während der Interaktion eines Testteilnehmers mit dem zu untersuchenden Produkt werden neben den quantitativen Messgrößen auch qualitative Beobachtungen gemacht, wie z.B.: „Wie reibungslos funktioniert die Bedienbarkeit? Gibt es Probleme bei der Interaktion des Teilnehmers mit der Software? Existieren Verständnisprobleme bei der Bedienbarkeit?
All diese Beobachtungen liefern Zusatzinformationen hinsichtlich der Usability und sollten daher Berücksichtigung finden.

Der Usability Test

Der Usability Test ist der wichtigste Bestandteil des Usability Engineering. Können die festgesetzten Ziele im Vergleich mit der realen Anwendung – repräsentiert durch das Verhalten der beschriebenen Zielgruppe – erfüllt werden?

Allgemein

Der Begriff Usability Test beschreibt einen Vorgang, während dessen überprüft wird, ob die festgelegten Usability-Ziele erreicht worden sind. Der Begriff „Test“ ist dabei ein generischer Ausdruck für eine Vielzahl verschiedener Methoden, die dabei zum Einsatz kommen können. Eine Methode kann zum Beispiel ein einfacher Fragebogen sein, aber auch eine komplizierte Laboruntersuchung. Den Ablauf eines Tests kann man grob in folgende Phasen unterteilen:

  1. Vorbereitung
  2. Einführung
  3. Test
  4. Abschlussbesprechung
  5. Analyse
  6. Bericht

Vorbereitung

Bei der Zielsetzung wurden bereits die relevanten Benutzereigenschaften sowie die Ergebnisse der Aufgabenanalyse festgelegt. Sie bilden die Grundlage für das weitere Vorgehen.

Testmethoden:

Genau wie bei der Festlegung der Aufgaben ist bei der Auswahl der Testmethoden darauf zu achten, dass sie der Usability-Zielsetzung entsprechen.

Testmaterial und Einrichtung:

Natürlich muss das Testexperiment genauestens und sehr sorgfältig vorbereitet sein. Alle relevanten Arbeitsmittel müssen vorhanden sein und die Einrichtung muss den gewünschten Bedingungen entsprechen.

Teilnehmer:

Alle Teilnehmer müssen die für den Test wesentlichen Charakteristiken aufweisen, um ein verwertbares Testergebnis zu liefern. Die falsche Auswahl an Personen würde ein verfälschtes und somit unbrauchbares Ergebnis des Tests zur Folge haben.

Weiterhin sind folgende Überlegungen in die Auswahl zu integrieren:

  • Sind die Gedankengänge des Benutzers relevant? Dann sollten Think-Aloud-Protokolle angefertigt werden.
  • Ist es wichtig, dass die Testumgebung der Arbeitsumgebung des Benutzers angeglichen wird?
  • Wenn fehler- oder zeitabhängige Messgrößen erhoben werden sollen, sollte die Interaktion zwischen Testleiter und Versuchsperson minimiert werden
  • Eventuell sind auch Videoaufnahmen zur späteren Analyse hilfreich

Einführung

Bevor der eigentliche Test beginnt, müssen die Testteilnehmer in den Ablauf und die Aufgabenstellung des Tests eingewiesen werden. Die Personen sollten neben der Dauer und dem Zweck des Versuchs ebenfalls darüber informiert werden, dass z.B. die Bedienbarkeit einer Software getestet werden soll und nicht die Fähigkeiten der Testperson im Umgang mit dem Programm. Natürlich sind vor Testbeginn auch alle rechtlichen Aspekte zu beachten, z.B. das die Daten vertraulich behandelt werden.

Test

Generell unterscheiden sich verschiedene Untersuchungen hinsichtlich Dauer, Zweck, Methode, usw.. Dennoch gibt es bestimmte Richtlinien, an denen sich jeder Test orientieren sollte:

  1. Zum einen sollten die Testteilnehmer nicht durch z.B. Tipps oder Hinweise dritter Personen beeinflusst werden, da man sonst ein verfälschtes Ergebnis erhält.
  2. Bei so genannten Think-Aloud-Tests kann es durchaus hilfreich sein, den Teilnehmer durch Fragen wie „Was denken sie gerade“ zum lauten Denken zu animieren. So können z.B. Probleme bei der Benutzer-Software-Interaktion viel besser festgestellt werden.

Abschlussbesprechung

Je nach Versuchsanordnung werden die Teilnehmer nach dem Test zu einem abschließenden Gespräch oder zum Ausfüllen eines Fragebogens gebeten. So erhält der Testleiter eventuell wichtige Daten, die er bei einer neuen Versuchsreihe verwenden kann (z.B. Verbesserungsvorschläge der Teilnehmer, die im ersten Test keine Berücksichtigung gefunden haben, aber relevant für ein brauchbares Ergebnis sind).

Analyse

Einfache Analyse: Usability-Tests liefern in der Regel drei verschiedene Daten-Typen:

  • quantitative Attributsausprägungen
  • qualitative Problembeschreibungen
  • subjektive, durch Fragebögen erhobene Daten

Diese Daten zeigen, ob die Usability-Ziele erfüllt worden sind, an welcher Stelle die Bedienungsprobleme liegen und für wie schwerwiegend diese Probleme erachtet werden.

Videoanalyse: Videosequenzen können hilfreich sein, um spezielle Bedienprobleme zu visualisieren.

Bericht

Der Abschlussbericht soll natürlich der Zielgruppe angepasst sein (z.B. technische Details interessieren die Programmierer, nur indirekt das Management). Er sollte grundsätzlich eine Zusammenfassung der erhaltenen Ergebnisse, der angewandten Methoden und Empfehlungen für die Produktverbesserung beinhalten. Subjektive Meinungen (z.B. durch persönliche Wertehaltungen) haben in einem solchen Bericht keinen Platz.

Verschiedene Testmethoden

Expertenorientierte Methoden:

  • Heuristische Evaluation
Bei dieser Methode beurteilt eine kleine Gruppe von Gutachtern (meist mit sog. Expertenwissen) die Benutzerschnittstelle eines Produkts und überprüft, inwieweit diese mit bestimmten Usability Prinzipien (Heuristiken) übereinstimmen.
  • Checklisten und Guidelines
Siehe z.B. Keevil Usability Index für kommerzielle Webseiten [ http://usability.is.uni-sb.de/beitrag/web_usability_index.pdf ]
  • Kosten-Nutzen-Analyse
Diese Analyse soll den finanziellen Mehrwert bestimmen, der auf das Usability Engineering zurückzuführen ist. Es wird überprüft, ob die Kosten für Usability Engineering und –Tests im Verhältnis zum daraus entstehenden finanziellen Nutzen stehen (z.B. Steigerung der Verkaufszahlen des Produktes).

Benutzerorientierte Methoden:

  • Produkttests im Usability Labor
In einem speziell vorbereiteten Labor werden benutzerorientierte Methoden als Tests mit echten Benutzern durchgeführt.
  • Produkttests mit der Plus-Minus-Methode
Die Testpersonen arbeiten mit dem Produkt und bewerten bestimmte Eigenschaften. Positive Produkteigenschaften werden mit einem Plus gekennzeichnet, negative Eigenschaften mit einem Minus.
  • Produkttests mit Hilfe der Fokusgruppe
Bei diesem Testverfahren diskutieren die Teilnehmer über vorgegebene Fragen zu einem Produkt und bewerten bestimmte Eigenschaften oder Funktionen.
  • Produkttests mit der Think-Aloud-Methode
Die Teilnehmer werden durch Fragen wie „Was denken sie gerade“ zum lauten Denken zu animiert. So können z.B. Probleme bei der Benutzer-Software-Interaktion viel besser festgestellt werden, da man den Gedankengängen des Nutzers beim Arbeiten mit dem Produkt folgen kann.

Weitere Methoden:

  • Zu den Methoden siehe auch Eichingers Online-Skript (Link defekt!).

Referenzen

  • Arbeitsbereich Usability Engineering des Fachbereichs Informationswissenschaft der Universität des Saarlandes. Online verfügbar unter: http://usability.is.uni-sb.de
  • Eberleh, E.; Oberquelle, H.; Oppermann, R. (Hrsg., 1994): Einführung in die Software-Ergonomie. Gestaltung graphisch-interaktiver Systeme: Prinzipien, Werkzeuge, Lösungen. Mensch-Computer-Kommunikation: Grundwissen, Band 1 von 2, Berlin, New York: Walter de Gruyter
  • Nielsen, Jakob (2000): Web Design: Erfolg des Einfachen, dtsch. Übers.: Mediaphor Informationsgesellschaft mbH; München: Markt + Technik
  • Nielsen, J.; Landauer, T. K. (1993): A mathematical model of the finding of usability problems. Proceedings of INTERCHI 93, p. 206-213. New York: ACM.

Verwandte Begriffe

… weitere Daten zur Seite „Usability Testing und Engineering
Mit Usability Testing und Engineering werden Verfahren bezeichnet, mit denen die Gebrauchstauglichkeit eines elektronischen Systems oder eines Gegenstandes bestimmt wird +