„Umfragen sind das gefährlichste Forschungswerkzeug – oft missverstanden und falsch eingesetzt.“ Das sagt Erika Hall, eine großartige Rednerin und Autorin des Buchs „Just Enough Research“. Was hat die Frau gegen Umfragen?
„Umfragen sind das gefährlichste Forschungswerkzeug – oft missverstanden und falsch eingesetzt. (E. Hall)“
Sie sagt, ein großes Problem ist, dass Umfragen so schnell und problemlos durchzuführen sind. Jeder meint, er könne eine Umfrage aufsetzen und so in kürzester Zeit verlässliche Ergebnisse bekommen. Wir können uns im Team nicht einigen? Wir sind unsicher, ob etwas funktioniert? Kein Problem, machen wir einfach eine Umfrage!
Nachdem Befragungen mit Online-Fragebogen aber ein Werkzeug sind, was wir derzeit sehr gut gebrauchen können, hier ein paar Tipps, wie Sie trotz der vielen Fehler, die man machen kann, wirklich gute Umfragen konzipieren. Im letzten Newsletter (Nutzerforschung im Home Office) habe ich unter anderem derzeit Umfragen empfohlen, weil sie sich ohne direkten physischen Kontakt mit Nutzern durchführen lassen. Also, an die Arbeit:
Klare Ziele definieren
Wie bei jedem Projekt gilt: Überlegen Sie (gemeinsam im Team) als Erstes, was Sie genau herausfinden wollen mit Ihrer Umfrage. Einfach nur mal „die Nutzer fragen“ ist relativ nutzlos. Definieren Sie ganz konkret, was Sie wissen wollen.
Überlegen Sie unbedingt auch, welche Konsequenzen die Ergebnisse der Umfrage haben können. Denn immer wieder kommt es vor, dass Umfragen gestartet werden, die sogar klare, gute Ergebnisse liefern – dann aber keinerlei Änderung bewirken. Denn es sind vielleicht gar keine Ressourcen verfügbar, um etwas zu verbessern. Oder es gibt technische, wirtschaftliche oder sogar politische Gründe, warum bestimmte Dinge zumindest derzeit nicht angegangen werden können.
Die Umfrage war dann vergebene Liebesmüh. Und in ein paar Monaten sind die Ergebnisse auch nicht mehr zu gebrauchen, weil sich die Bedürfnisse der Kunden, das Produkt oder die Marktsituation geändert haben.
Klaren Fokus wählen
Für Sie selbst ist es wichtig, für die Befragten noch mehr: Konzentrieren Sie sich auf ein Thema. Das kann z.B. die Erfahrung von neuen Kunden mit Ihren Produkten sein, die Eindrücke beim Besuch Ihrer Website oder die Nutzungsgewohnheiten von neuen Zielgruppen, die Sie besonders interessant finden.
Auswahl der Befragten
Auch über die Befragten machen sich die meisten wenig Gedanken: Es werden einfach mal alle befragt, die bereit sind, zu antworten. Damit verschießen Sie Ihr Pulver aber vielleicht. Wenn Sie die Gruppe der möglichen Antwortgeber aufteilen, können Sie viel spezifischer und sogar öfter fragen, als wenn Sie immer alle einen Wust an Fragen beantworten lassen, die ihnen teilweise unspezifisch oder unpassend vorkommen.
Sie können Zielgruppen entweder segmentieren, indem Sie gezielt nur den passenden Personen die Umfrage zeigen. Oder Sie stellen zu Beginn der Befragung eine oder mehrere Fragen zu Qualifizierung. Sie fragen etwa:
Haben Sie in den letzten 12 Monaten ein neues Smartphone gekauft?
Oder, noch eleganter:
Wann haben Sie das letzte Mal ein neues Smartphone gekauft?
◯ vor weniger als 3 Monaten
◯ vor 3 – 12 Monaten
◯ vor 1 – 2 Jahren
◯ vor noch längerer Zeit
◯ noch nie
Mit solch einer Frage können Sie z.B. die Nutzer heraussuchen, die vermutlich in der nächsten Zeit ein neues Smartphone kaufen werden (wenn sie nämlich „vor 1–2 Jahren“ oder „vor noch längerer Zeit“ angegeben haben). Oder eben die, die tatsächlich gerade erst eines erworben haben.
Solch eine indirekte Frage hat den Vorteil, dass Sie viel öfter korrekte/wahre Antworten bekommen. Und außerdem wissen die Befragten nicht sofort, worauf Sie hinaus wollen und werden damit weniger beeinflusst.
„Oft ist eine direkte Frage der schlechteste Weg, eine wahre und nützliche Antwort auf eben diese Frage zu bekommen. (E. Hall)“
Vorsicht: Wenn Sie manche Interessenten also aussortieren, seien Sie unbedingt höflich zu ihnen und bedanken Sie sich für deren Interesse. Geben Sie ihnen auch die Möglichkeit, Feedback zu hinterlassen. Denn nicht selten machen Menschen bei Befragungen mit, weil sie Ihnen etwas mitteilen wollten, etwa weil sie sich über etwas ärgern. Bekommen sie nun vermeintlich eine Möglichkeit, ihren Ärger loszuwerden, dann wird ihnen aber die Tür vor der Nase zugeschlagen, dann kann das zu Beschwerden oder negativen Kommentaren in den Sozialen Medien führen.
Denkbar ist auch, den nicht passenden Interessenten dennoch ein paar Fragen zu stellen, um ihnen ein gutes Gefühl zu geben. Oder Sie haben sowieso eine weitere Fragestellung, die zu diesen passt. Stellen Sie aber nicht einfach drauf los ein paar Fragen, nur weil Sie schon dabei sind (siehe oben).
Wie viele Befragte brauche ich?
Die Antwort auf die Frage, wie viele Teilnehmer Sie für Ihre Umfrage brauchen, ist nicht leicht zu geben. Daher befragen viele einfach so viele Menschen wie möglich. Das ist aber Unsinn. Sparen Sie sich die Befragten auf, für zukünftige Umfragen.
Haben Sie den Zweck Ihrer Umfrage sauber definiert, fällt die Antwort leichter: Wollen Sie z.B. nur herausfinden, warum so viele Besucher Ihrer Website diese nach weniger als einer Minute verlassen, dann reichen Ihnen meist ein paar Antworten, um dem auf die Spur zu kommen. Sie machen in dem Fall eine qualitative Befragung. Ähnlich ist das, wenn Sie z.B. wissen wollen, welche Faktoren für potenzielle Kunden für einen Kauf/Abschluss relevant sind. Für solches qualitatives Research ist es egal, ob ungefähr ein Drittel der Befragten Testberichte liest, ob es 38,7 Prozent sind oder 28,1 Prozent.
Mit hundert Befragten sind Sie in solchen Fällen schon sehr gut dabei, es reichen aber oft auch 20 oder 30.
Arbeiten Sie dagegen quantitativ, dann brauchen Sie viel größere Teilnehmerzahlen. Wollen Sie also Metriken erheben, oder allgemein gültige Aussagen über Ihre Kundengruppen machen, brauchen Sie deutlich mehr Befragte. Um zu sagen, wie viele genau, müssen Sie leider etwas in die Statistik einsteigen. Aber unter 100 brauchen Sie nicht anfangen, mit 1.000 bekommen Sie meist schon sehr zuverlässige Ergebnisse. Ein paar Tipps zu Metriken siehe im Blog auch unter Wie gefällt Nutzern meine Site?.
Befragte kontaktieren
Der Weg, über den Sie die Befragten kontaktieren, entscheidet auch mit über die Zielgruppe. Auf Instagram finden Sie andere Menschen als auf Facebook, auf Xing andere als auf Ihrer Website.
Denken Sie an:
- Bestandskunden
- Gerade neu gewonnene Kunden
- Potenzielle Kunden
- Besucher der Website
- Newsletterempfänger
- Follower/Fans in Sozialen Medien
Schließlich können Sie noch Anzeigen bei den Suchmaschinen oder in Sozialen Medien schalten, um z.B. potenzielle Kunden für Befragungen zu gewinnen.
Oder Sie tun sich mit einem befreundeten Unternehmen zusammen und bewerben jeweils die Befragungen des anderen. Dabei müssen Sie natürlich den Datenschutz beachten und es darf nie der Eindruck entstehen, hier würden Daten hin- und hergeschoben.
Je weniger Fragen, je besser
Die wichtigste Regel für die Gestaltung jeder Umfrage: Stellen Sie niemals zu viele Fragen. Was zu viel ist, hängt vom Einzelfall ab, ist aber meist viel weniger, als Sie glauben.
Zu lange Befragungen verärgern die Befragten und werfen damit ein schlechtes Licht auf Ihr Unternehmen. Vor allem aber steigt die Zahl der Abbrecher. Und es leidet die Qualität der Antworten.
Jede Frage kritisch hinterfragen
Stellen Sie jede Frage auf den Prüfstand: Brauchen wir die wirklich? Welche Antworten können die Nutzer darauf geben? Kommt dabei etwas heraus, was wir wirklich brauchen können, was uns hilft, besser zu werden?
Gute Fragen, schlechte Fragen
Zur richtigen Fragetechnik kann man viel schreiben – ein Thema für einen weiteren Newsletter. Daher nur ganz kurz die allerwichtigsten Tipps:
- Formulieren Sie so, dass ihre Zielgruppe die Fragen versteht. Keine Fachwörter, kurze Sätze.
- Vermeiden Sie Suggestivfragen. Statt „Hat es Ihnen gefallen?“ Z.B. besser „Wie gut oder schlecht fanden Sie … ?“
- Setzen Sie Textfelder nur sehr sparsam ein. Text eintippen ist mühsam, Text auswerten auch. Wann immer möglich, geben Sie Antwortmöglichkeiten vor.
- Fragen Sie so konkret wie möglich.
Beispiel Exit-Survey
Wenn Sie die Nutzer befragen wollen, die Ihre Website verlassen (so genannte „exit survey“), dann haben sich diese 3 Fragen bewährt:
- Warum haben Sie die Website heute besucht?
- Haben Sie erreicht, was Sie wollten?
- Wenn nicht, warum nicht?
Das sind klare, konkrete Fragen. Sie liefern Ihnen gute Ergebnisse. Viel bessere als die üblichen Fragen wie „Wie hat Ihnen die Website gefallen“?, „Was haben Sie vermisst?“ oder „Was würden Sie ändern?“ Denn solche Standardfragen haben alle einen Fehler: Sie fragen nach subjektiven Einschätzungen und Meinungen. Über diese geben wir Menschen immer gern Auskunft – doch haben die Antworten oft nicht viel mit dem zu tun, was wir tatsächlich machen. Daher sind die konkreten Fragen oben viel, viel besser: Sie fragen nach tatsächlichen Verhalten. Es gibt einen konkreten Grund, warum ich eine Website besuche, eine Aufgabe. Und diese habe ich am Ende des Besuchs erreicht oder eben nicht.
Nicht vergessen: Testen!
Jede Befragung sollten Sie testen, bevor Sie eine größere Menge an Menschen auf sie loslassen. Dabei geht es einmal um die Technik – etwa, dass der Fragebogen auch lesbar dargestellt wird und die Antworten gespeichert werden. Aber vor allem geht es darum, ob Ihre Zielgruppe die Fragen auch versteht, sie diese überhaupt beantworten kann – und will.
Machen Sie daher zwei, drei Testläufe mit Vertretern der Zielgruppe (am besten live/moderiert also zumindest remote über ein Videokonferenz-Tool wie Skype, Teams oder Zoom).
Umfragen sind schwer – machen Sie es sich leicht!
„Es ist viel schwerer, einen guten Fragebogen zu schreiben als eine gute qualitative Untersuchung zu machen. (E. Hall)“
Wenn Sie so weit gelesen haben, fühlen Sie sich hoffentlich besser gerüstet für Ihre nächste Umfrage. Und doch bitte ich Sie: Denken Sie nochmal nach, ob Sie es sich selbst nicht leichter machen können und eine andere Methode vielleicht besser geeignet ist, Ihre aktuellen Fragen zu beantworten. Tipps dazu im letzten Newsletter (Nutzerforschung im Home Office).
Und noch ein paar Warnungen & Tipps im tollen Artikel von Erika Hall mit vielen treffenden Beispielen und witzigen Sprüchen: On Surveys
Vielen Dank, genau danach haben wir gesucht, da wir gerade mehrere Umfragen für einen Shopkunden erstellen sollen. Besten Dank!
Was auch immer super ankommt, ist ein wenig Humor in Umfragen. Die Nutzungsrate steigt dadurch – meiner Erfahrung nach.
Guter Punkt. Nur muss ich dabei aufpassen, dass ich den Humor meiner Zielgruppe treffe.
Vielen Dank für die Veröffentlichung dieses Artikels! Ich denke, dass Erika Hall einen wichtigen Punkt angesprochen hat: Umfragen sind mächtige Werkzeuge, aber sie müssen mit Vorsicht eingesetzt werden. Ohne entsprechende Sorgfalt und Überlegung können sie zu unzuverlässigen Ergebnissen und Fehlinterpretationen führen. Es ist wichtig, sich die Zeit zu nehmen, die Grenzen von Umfragen zu verstehen und sie sorgfältig zu gestalten, um genaue Ergebnisse zu gewährleisten.