Im nachfolgenden Text von Dr. habil. Ilse Harms und Werner Schweibenz wird ein mehrstufiges und kombiniertes Verfahren beschrieben, wie es auch in unserem Arbeitsbereich Anwendung findet:

Usability Evaluation für das Web
Die Methoden zur Evaluation von Usability lassen sich, wie vorangehend geschildert, grundsätzlich in die zwei Klassen der nutzer- und der expertenzentrierten Methoden einteilen.

Beide Vorgehensweisen haben Stärken und Schwächen. Experten sind in der Regel nicht die angezielten Endbenutzer und können deshalb deren Informationsbedürfnis nur simulieren, weshalb sie häufig als „Ersatz-Benutzer“ bezeichnet werden. Endbenutzer dagegen sind in der Regel keine Experten, sie können deshalb die Potentiale des Mediums und demnach die Wertigkeit entsprechender Mängel nicht richtig einstufen. Um diese Defizite auszugleichen, die den jeweiligen Methoden bei isolierter Verwendung zugeschrieben werden, ist es sinnvoll, eine Kombination aus beiden Verfahren anzuwenden.

Eine methodisch abgesicherte Vorgehensweise ist die Kombination der heuristischen Evaluation durch Experten anhand von Heuristiken mit dem traditionellen Usability-Testing mit Endnutzern in einem Usability Labor (Dumas & Redish 1994: 82; Nielsen 1993: 224f). Zusätzlich werden von den Testpersonen durch jeweils einen Fragebogen vor und nach dem Test subjektive Messgrössen (wie z. B. Vertrautheit mit dem Medium, Zufriedenheit, optischer Eindruck etc.) erfasst. Die Untersuchungskonzeption ist demnach mehrmethodisch und mehrstufig.

In der ersten Phase werden Heuristiken von Gutachtern evaluationsorientiert angewendet. Dabei werden die Heuristiken als Checklisten mit der zu untersuchenden Website verglichen. Wir verwenden die Heuristiken für Webkommunikation, die im Rahmen des International Summer Workshop „Exploring a Communication Model for Web Design“ in Seattle, Washington, entwickelt wurden (Schweibenz 2001). Diese Heuristiken sind sehr umfassend und auf alle Arten von informationsorientierten Websites anwendbar.
Basierend auf den Erkenntnissen der Forschungsgebiete Text- und Bildverständlichkeit, Hypertextnavigation, Webdesign und Usability-Testing befassen sie sich mit den Themengebieten Informationsdarstellung, Navigation und Rollenverhältnis Autor – Leser. In der Regel analysieren vier Experten, die als Gutachter fungieren, zunächst individuell mit einer der Heuristiken die Website im Hinblick auf die angezielte(n) Nutzergruppe(n) und dokumentieren die jeweiligen Ergebnisse. Anschließend werden im Rahmen einer Gruppensitzung die Ergebnisse der vier Experten zusammengeführt und diskutiert. Als Ergebnis wird ein Ranking der analysierten Usability-Mängel erstellt.

In der zweiten Phase werden auf der Basis dieser Mängelliste von den Versuchsleitern die Testaufgaben und die Fragebögen für den Produkttest mit Benutzern entwickelt.
Die Testaufgaben müssen prozessorientiert sein, das heißt, den Handlungsabläufen der Endbenutzer entsprechen, die mit dem Webangebot intendiert werden.

Das Usability-Testing erfolgt dann in der Kombination mit der Methode des Lauten Denkens. Dabei werden die Versuchsteilnehmer angehalten, alles, was sie während der Erledigung der Testaufgaben denken und tun, laut auszusprechen. Indem die Tester ihre Gedanken und Handlungen verbalisieren, erlauben sie es Einsicht zu nehmen, wie sie mit dem Computer bzw. der Website interagieren, wo Verständnisprobleme auftreten und welcher Art diese Probleme sind. So entstehen Daten mit hoher Validität, denn diese Daten zeigen nicht nur, was die Benutzer tun, sondern auch, warum sie es tun, und – das ist sehr wesentlich – während sie es tun, also synchron zur Aktion. Die Produkttests mit Benutzern werden im Usability Labor durchgeführt. Die folgende Abbildung zeigt eine Skizze des Usability Labors, wie wir es im Rahmen unserer Projekte einsetzen.

Während des Produkttest werden von je einer Videokamera Bild und Ton von der Testperson und dem Bildschirminhalt geliefert, zusammengeführt und aufgezeichnet. Die Aktionen auf dem Bildschirm werden zusätzlich mit einer digitalen Screencam, einer Software zur Erfassungen der digitalen Bewegungen auf dem Bildschirm, aufgezeichnet. Die gewonnen Versuchsdaten werden anschließend verschriftlicht (transkribiert), wobei die einzelnen Testverläufe rechnergestützt ausgewertet werden. Dazu werden die Daten manuell in ein zuvor erstelltes Transkriptionsformular übertragen. Die gefundenen Probleme werden in Problemkategorien eingeteilt, die nach den Wünschen der Auftraggeber sortiert und gewichtet werden. Parallel dazu werden Fragebögen ausgewertet, in denen die subjektiven Erfahrungen und Meinungen der Testpersonen erhoben wurden. Die Schlussauswertung besteht in einer Zusammenführung aller erhobenen Daten und in der Erstellung eines Pflichtenheftes für ein Redesign. Die folgende Abbildung zeigt den Ablauf des kombinierten und mehrstufigen Evaluationsverfahrens.

Auftraggeber von Untersuchungen tendieren häufig dazu, den Benutzertest mit den potentiellen Endbenutzern als zu aufwendig abzulehnen und geben sich lieber mit Meinungsumfragen zufrieden. Im Rahmen der Sozialforschung ist jedoch hinlänglich bekannt, dass Meinungen und Verhalten in der sozialen Wirklichkeit oft sehr stark differieren. So zeigten sich im Rahmen unserer Untersuchungen in einigen Fällen eklatante Unterschiede zwischen den Ergebnissen des Testverlaufs und den Meinungen der Testpersonen, die in den Fragebögen geäußert wurden. Es ist also nicht auszuschliessen, dass Schlussfolgerungen und Entscheidungen hinsichtlich eines Redesigns, die aus den erhobenen Meinungen abgeleitet werden, wenig verlässlich sind bzw. in die falsche Richtung weisen. Aus diesem Grund sollte auf Produkttests mit Benutzern nicht verzichtet werden und zumindest in der einfachen Variante (Discount Usability Testing) zur Anwendung kommen.