Wie gefällt Nutzern meine Site? – Newsletter 12/2015

Dass ich ein großer Fan von Usability-Tests bin, brauche ich keinem Newsletter-Abonnenten und keinem regelmäßigen Besucher meines Blogs erzählen. Überrascht habe ich festgestellt, dass mein letzter größerer Artikel zum Thema Usability-Tests von 2003 ist (Newsletter 06/2003 – Usability-Tests – Der Weg zum Erfolg).

Und doch: Geändert hat sich daran nichts, der Beitrag ist auch heute noch vollkommen korrekt und nützlich.

Usability-Tests werden seit Jahrzehnten gemacht, und das nicht nur für Websites oder Software, sondern auch für Waschmaschinen, Autos, Kaffeevollautomaten oder sogar Bürostühle. Den Begriff gibt es mindestens seit 1967, doch mit Fragestellungen der Usability befasst man sich schon seit Anfang des 20. Jahrhunderts.

Das Schöne an Usability-Tests: Sie sind von der Technik her höchst anspruchslos. Alles, was man braucht, sind ein Testobjekt, einen Probanden und einen Moderator/Beobachter.

Zu dem Thema im nächsten Newsletter noch etwas mehr – wie schon angedeutet, kommt demnächst ein umfassendes Training von mir zu dem Thema heraus.

Im Folgenden befasse ich mich mit einem kleinen Teilaspekt, der normalerweise einem Usability-Test nachgelagert ist: die Erhebung der Nutzerzufriedenheit.

Die Zufriedenheit der Nutzer erheben

Während des Usability-Tests will ich sehen, wie der Proband mit dem Testobjekt umgeht. Aber danach interessiert mich, wie sein Eindruck von der Site oder der App ist, die er gerade benutzt hat.

Es passiert häufiger als man denkt, dass ein Proband sich lange abmüht mit einer Anwendung und danach sagt, dass er sie gut benutzbar findet.
Der subjektive Eindruck und die tatsächliche Usability können unterschiedlich sein. Genau deshalb geht es bei der User Experience um mehr als nur um Usability.

Doch wie bekomme ich heraus, was der Nutzer von meiner Site hält?

Nachfragen hilft

Die naheliegende Lösung ist eine Technik, die weit älter ist als die des Usability-Tests: das Gespräch.

Damit bekommt man einen guten Eindruck und man kann viele wertvolle Hinweise bekommen, was man verbessern kann am Testobjekt.

Allerdings hat die Methode einige Nachteile:

• Oft ist es schwer, die vielen Anmerkungen und Ideen mitzuschreiben, die Nutzer nach einem Test haben. Sie haben sich gerade intensiv mit dem Produkt beschäftigt und wollen daher meist einiges loswerden.
• Die Informationen auszuwerten ist zeitaufwendig und nicht einfach.
• Die Bewertungen lassen sich nur schwer und mit viel Mühe vergleichen.

Qualitativ oder quantitativ befragen?

Stellen Sie nur offene Fragen, dann machen Sie eine qualitative Befragung. Sie interessiert die Meinung der Nutzer und deren Ideen.

Sinnvoll sind qualitative Befragungen ab ca. 5 Nutzern – mit weniger Gesprächen laufen Sie Gefahr, zufällig nur extreme Meinungen zu hören.

Eine Falle, in die man generell nicht tappen sollte bei qualitativen Befragungen: Was die Nutzer sagen oder fordern (requests), ist nicht unbedingt das, was sie brauchen (requirements). Um die Bedürfnisse der Nutzer herauszubekommen, reichen Befragungen alleine niemals aus.

Denn:

• Wir sagen nicht immer, was wir wirklich denken.
• Uns ist oft nicht bewusst, wie wir tatsächlich handeln bzw. entscheiden.
• Wir können nur zu dem etwas sagen, was wir kennen.

Der letzte Punkt ist vielleicht der Wichtigste: Mit qualitativen Befragungen kommt man selten auf neue Lösungsansätze. Man kann bestenfalls Ideen bekommen, wie man bestehende Lösungen verbessert.

Im Gegensatz zur qualitativen Befragung sind Sie bei einer quantitativen Befragung interessiert an Zahlen. An Möglichkeiten, Versionen eines Produkts vergleichen zu können oder einen Vergleich mit der Konkurrenz anstellen zu können.

Bei quantitativen Befragungen hat es sich bewährt, die Zufriedenheit mit einer formalen Methode zu erheben, die vergleichbare Werte generiert.

Es kommen also Fragebögen zum Einsatz.

Fragebögen zur Messung der Zufriedenheit

Sie können natürlich eigene Fragebögen entwickeln. Das ist aber nur ratsam, wenn Sie genug psychologisches Hintergrundwissen haben, um das zu tun. Denn um keine verzerrten Ergebnisse zu bekommen, muss man einiges beachten.

Es ist aber zum Glück gar nicht nötig, selbst Fragebögen zur Nutzerzufriedenheit zu entwicklen, denn davon gibt es genug. Einige von ihnen können Sie auch kostenlos nutzen. Die aus meiner Sicht interessantesten stelle ich Ihnen gleich vor.

Allgemeine Tipps

Je mehr Nutzer Sie befragen, desto besser sind Ihre Ergebnisse statistisch abgesichert. Ideal sind 25 Personen oder mehr.

Aber auch ab 5 Personen kann man sinnvolle Aussagen treffen – diese sind aber mit einer größeren Fehlerwahrscheinlichkeit behaftet.

Fragen Sie nicht zu viel – die Gefahr ist sonst groß, dass die Nutzer abbrechen. Das passiert natürlich nicht so schnell, wenn Sie einen Probanden im Usability-Labor haben. Aber bei online-Fragebögen vergraulen sie Nutzer schnell mit zu vielen Fragen.

Machen Sie von Anfang an klar, wie lange das Ausfüllen ungefähr dauern wird.

Wählen Sie die Befragten so gut wie möglich aus. Je besser diese zu Ihrer Zielgruppe passen, desto besser sind natürlich Ihre Erlebnisse.

Berechnen Sie das Konfidenzintervall und geben Sie es an. Wenn Sie nicht wissen, was das ist – in diesem Beitrag habe ich es kurz erklärt: Newsletter 11/2013 – Bessere User Experience dank Statistik – benutzerfreun.de)

Ordnen Sie bei der Auswertung die Werte ein, indem Sie sie mit anderen Werten vergleichen – etwa solchen von Konkurrenzprodukten.

Bestehende Fragebögen zur quantitativen Nutzerbefragung

SUS – System Usability Scale

International am gebräuchlichsten ist der System Usability Scale (SUS). 1996 veröffentlichte ihn John Brooke als “A quick and dirty usability scale”. Quick (also schnell) ist er, aber gar nicht so dirty (schmutzig), wie viele Untersuchungen gezeigt haben.

Für den SUS sollen Probanden angeben, wie stark sie 10 Aussagen jeweils zustimmen – auf einer Skala von 1 bis 5. Also von

ich stimme überhaupt nicht zu

bis zu

ich stimme voll und ganz zu

Die 10 Aussagen sind:

1. Ich denke, dass ich dieses System gerne häufiger nutzen würde.
2. Ich fand das System unnötig komplex.
3. Ich denke, das System war leicht zu benutzen.
4. Ich denke, ich bräuchte die Unterstützung einer fachkundigen Person, um das System benutzen zu können.
5. Ich fand, die verschiedenen Funktionen des Systems waren gut aufeinander abgestimmt.
6. Ich halte das System für zu inkonsistent.
7. Ich glaube, die meisten Menschen könnten sehr schnell lernen, mit dem System umzugehen.
8. Ich fand das System sehr umständlich zu benutzen.
9. Ich fühlte mich bei der Nutzung des Systems sehr sicher.
10. Ich musste vieles lernen, bevor ich mit dem System zurechtkam.

Was man den Fragen anmerkt: Es ist für Programme entwickelt worden. Daher passt es für Websites nicht perfekt.

Eine sehr gute Einführung zum SUS hat Jeff Sauro geschrieben: Measuring Usability with the System Usability Scale (SUS)

NPS – Net Promoter Score

Noch schneller zu erheben als der SUS ist der NPS, der Net Promoter Score. Dazu müssen die Probanden nur eine einzige Frage beantworten:

Wie wahrscheinlich ist es, dass Sie die Website einem Freund oder Kollegen weiterempfehlen werden?

Das geben sie auf einer Skala an, die von 0 (unwahrscheinlich) bis 10 (äußerst wahrscheinlich) reicht.

Wer 9 oder 10 angibt, zählt als Promoter (Förderer), bei 7 oder 8 ist man Passive (Passiver) und bei 6 und schlechter ein Detractor (Kritiker).

Für die Berechnung des NPS zieht man von dem Prozentanteil der Promoters den der Detractors ab. Hat man also z.B. 40 Prozent Promoters und 20 Detractors, ist der NPS 20. Er kann zwischen –100 (alle Befragten sind Kritiker) und 100 liegen (alle sind Förderer).

Der NPS wurde ursprünglich entwickelt, um die Kundenzufriedenheit mit Marken oder Produkten zu messen, er ist aber auch für Websites gebräuchlich – vor allem, weil er so schön einfach ist.

„NPS“ ist eine eingetragene Marke. Mehr Infos bei den Erfindern: The Net Promoter Score
SUS und NPS korrelieren: Predicting Net Promoter Scores from System Usability Scale Scores

AttrakDiff

Der AttrakDiff schließlich ist eine deutsche Entwicklung. Anders als die beiden anderen vorgestellten Fragebögen/Metriken können Sie hier direkt einen kostenlosen online-Dienst nutzen, bei dem die Befragten ihre Antworten eingeben und auf dem Sie die Auswertung durchführen können.

Allerdings ist die Teilnehmerzahl auf 20 beschränkt. Für mehr Teilnehmer muss man individuell nach Preisen anfragen.
Alternativ kann man eine eigene Umsetzung programmieren. Das hat den Vorteil, dass man die Einleitungs- und Erklärungstexte an die eigenen Bedürfnisse anpassen kann.

Wenn sie AttrakDiff einmal ausprobieren wollen, dann füllen Sie doch bitte den Fragebogen aus, bei dem Sie die Site benutzerfreun.de bewerten – so bekomme ich gleichzeitig etwas Feedback von Ihnen, wie Sie meine Site einschätzen. Dafür brauchen Sie nicht mehr als zwei, drei Minuten:
Befragung zu benutzerfreun.de
(Möglich bis zum 31.12.2015)

Infos zum Fragebogen und Zugang zu den Fragen (unter Publikationen): AttrakDiff
Projekte können Sie anlegen über eSurvey

Weitere Fragebögen

Es gibt noch unzählige weitere Fragebögen.
Hier nur noch zwei, die im UX-Bereich öfter zum Einsatz kommen:

User Experience Questionnaire (UEQ)
Sieht in Ordnung aus, den Fragebogen gibt es auch auf Deutsch, die gute und umfassende Dokumentation ist nur auf Englisch. Die mitgelieferten Excel-Vorlagen erzeugen auch gleich Grafiken mit Fehlerbalken.

SUMI
Wirkt auf mich etwas in die Jahre gekommen, es gibt aber auch eine deutsche Version. Dieser Index wurde für Programme entwickelt. Die Nutzung ist nicht kostenlos, die Bestellung erscheint mir recht kompliziert (geht nur über Schecks, nicht per Kreditkarte oder Paypal).

Kennen Sie noch weitere Fragebögen? Und was sind Ihre Erfahrungen mit diesen oder den hier vorgestellten? Ich freue mich über Kommentare im Blog!