Sind Umfragen nützlich für die Produktentwicklung?

Wenn es um Kundenforschung geht, gibt es zwei sehr verbreitete Methoden, die häufig angewendet werden, aber keine guten Ergebnisse liefern. Die erste besteht darin, mit den eigenen Annahmen zu arbeiten, anstatt mit den Kunden zu sprechen. Technisch gesehen ist das keine Kundenforschung, aber manchmal wird Empathie mit Wissen verwechselt. Die andere Methode sind Umfragen. Der Reiz einer Umfrage liegt in ihrer Einfachheit. Du schreibst einfach Deine Annahmen auf und fragst die Leute, was sie davon halten. Du kannst mit etwas wie Google Form beginnen und schon bist Du bereit. Da es sich um eine quantitative Methode handelt, könntest Du Deine Umfrage einfach an jeden senden, der irgendwie relevant ist, und auf das Beste hoffen. Es ist einfach und günstig.

Dennoch liefern Umfragen keine guten Ergebnisse. Sie liefern Ergebnisse, aber Ergebnisse und gute Ergebnisse sind nicht dasselbe. Hier sind die Dinge, die meiner Meinung nach mit Umfragen falsch laufen.

Was ist falsch an Umfragen?

Bevor wir beginnen, gibt es eine wichtige Sache zu sagen. Ich habe viele Umfragen durchgeführt. Für die Produktentwicklung, aber auch für andere Dinge. Ich war sogar Projektmanager für ein Corporate Survey Programm bei Deutsche Telekom. Ich verstehe vollkommen, warum jemand Umfragen machen würde. Und es gibt Situationen, in denen wir eine Umfrage nutzen können. Die Frage ist nicht, ob Umfragen ein gutes Werkzeug sind. Die Frage ist, ob sie uns helfen können, bessere Produkte zu entwickeln. Und darauf ist meine Antwort ein klares Nein.

Der Hauptgrund dafür ist, dass Umfragen zu oberflächliche Ergebnisse liefern und keine Möglichkeit zur Kurskorrektur bieten. Um besser zu veranschaulichen, was ich meine, lass uns sie in drei Teile zerlegen:

• Wer wird unsere Umfrage beantworten?
• Was fragen wir in unserer Umfrage?
• Wie werden wir mit den Ergebnissen arbeiten?

Wer wird unsere Umfrage beantworten?

Angenommen, wir wollen eine neue Zahlungs-App entwickeln. Wir wollen wissen, welche Funktionen unsere zukünftigen Kunden haben möchten. Also müssen wir zunächst ein potenzielles Kundenprofil erstellen. Nehmen wir an, wir machen hier alles richtig. Wir betrachten das erweiterte Wettbewerbsumfeld. Wir betrachten die Jobs, die wir annehmen, dass unsere Kunden erledigen wollen. Und wir wählen entsprechend aus. Wir überspringen den ganzen Unsinn mit Personas und demografischen Daten. Wir wählen basierend auf gut durchdachten Annahmen aus. Genau wie wir es für eine ordentliche Kundenforschung tun würden. Wir könnten auf etwas wie das Folgende kommen:

• Personen, die in den letzten 6 Monaten zum ersten Mal eine andere Zahlungs-App verwendet haben.
• Personen, die in den letzten 6 Monaten eine Zahlungsmethode eingestellt haben.

Dies wäre bereits viel besser als was normalerweise passiert. Aber hey, wir sind Profis. Unsere Annahme hier ist, dass wir hauptsächlich mit anderen Zahlungs-Apps konkurrieren werden. Paypal, Google Pay, Apple Pay, eine virtuelle Kreditkarte und so weiter.

Das Problem ist, dass nicht jeder, der die Umfrage erhält, sie auch beantworten wird. In der Regel gibt es nur zwei Gruppen, die eine Umfrage beantworten. Eine Gruppe sind sehr zufriedene Kunden und Freunde, die uns einen Gefallen tun wollen. Sie werden meist positiv mit einigen Elementen der Ehrlichkeit antworten. Die andere Gruppe sind Hasser. Sie wollen uns nicht helfen, sie wollen nur sagen, wie schlecht unser Produkt, unsere Dienstleistung oder unsere Idee ist. Aber die wichtige Gruppe ist das Mittelfeld. Diese Leute, die sich nicht besonders für Zahlungs-Apps interessieren. Da sie sich jedoch nicht besonders interessieren, haben sie normalerweise keine Zeit für Umfragen. Unsere Basislinie ist also bereits verzerrt. Und wir verpassen die größte Kundengruppe.

Was fragen wir in Umfragen?

Es gibt unendlich viele Dinge, die man bei Umfragen falsch machen kann. Nehmen wir wieder an, dass wir wissen, was zu tun ist. Wir stellen also Fragen, die sich auf vergangenes Verhalten beziehen. Wie sich die Leute verhalten haben, anstatt Meinungen zu erfragen. Nur für Zeitintervalle, in denen die Teilnehmer eine ordentliche Erinnerung haben. Fragen, die offen und nicht suggestiv sind. Problembezogene Fragen statt lösungsorientierter Fragen. All die Dinge, die man tun muss, wenn man bessere Fragen stellen will.

Es gibt jedoch eine Sache, die man nicht umgehen kann. Man kann nur eine begrenzte Anzahl von Fragen stellen. Es gibt sehr wenig emotionale Energie in Umfragen. Normalerweise, wenn wir mehr als sieben Fragen stellen, erhalten alle Fragen danach Durchschnittswerte. Die Teilnehmer kümmern sich einfach nicht genug darum, längere Umfragen zu beantworten. Dies wird als Umfragemüdigkeit bezeichnet. Als wir Mitarbeiterumfragen bei der Deutschen Telekom durchführten, waren die meisten Werte nach Frage 7 eine 6 von 10. Und das ist bei geschlossenen Fragen, bei denen man eine Zahl angeben musste. Wenn man Freitextfragen stellt, bekommt man etwa zwei Fragen beantwortet. Wenn man Glück hat. Dies begrenzt die Tiefe der Daten, die man erhalten kann, erheblich. Wir können nur etwa sieben gute Antworten aus einer Umfrage bekommen. Vergleiche das mit einem 60-90-minütigen Kundeninterview.

Bis jetzt haben wir also alles richtig gemacht. Trotzdem haben wir nur sieben kleine Datenpunkte von der uninteressantesten Kundengruppe. Versuchen wir, mit den Ergebnissen zu arbeiten.

Wie werden wir mit den Umfrageergebnissen arbeiten?

Nehmen wir einige Fragen, die wir hätten stellen können. Du kannst sie durch andere Fragen nach Belieben ersetzen, aber ich denke, das macht es sehr greifbar. Für unsere Zahlungs-App besteht unsere Umfrage aus den folgenden sieben Fragen:

1. Wie häufig hast Du im letzten Monat Zahlungs-Apps für Transaktionen verwendet? (Mehrfachauswahl)
2. Auf einer Skala von 1 bis 10, wie wichtig ist die Geschwindigkeit der Transaktionen bei der Wahl einer Zahlungs-App? (Skala)
3. Welche Funktionen haben Dich dazu veranlasst, in der Vergangenheit eine bestimmte Zahlungs-App zu wählen? (Offene Textantwort)
4. Was sind die drei größten Probleme, die Du bisher mit Zahlungs-Apps hattest? (Offene Textantwort)
5. Auf einer Skala von 1 bis 10, wie wichtig ist die Verfügbarkeit des Kundensupports bei Deiner Entscheidung für eine Zahlungs-App? (Skala)
6. Wie bewertest Du die Bedeutung der Benutzerfreundlichkeit einer Zahlungs-App auf einer Skala von 1 bis 10? (Skala)
7. Beschreibe eine Situation, in der eine Zahlungs-App Deine Erwartungen nicht erfüllt hat. (Offene Textantwort)

Nun nehmen wir einige Antworten, die wir hätten erhalten können. Nehmen wir vielleicht zwei bis drei Sätze für die offenen Textantworten an. Und dann fragen wir uns: Geben mir diese Antworten alles, was ich wissen muss? Denn ich würde den Leuten immer gerne mehr Fragen stellen. Um tiefer in ihre Antwort einzutauchen.

Hier ist eine Liste von Fragen, die mir sofort eingefallen sind, um weiter zu elaborieren. Fragen, die ich gerne stellen würde, aber in einer Umfrage nicht kann:

• Warum hast Du die Zahlungs-App mehr oder weniger häufig genutzt?
• Wann hast Du sie genutzt?
• Was hat Dich dazu veranlasst, die App der Alternative vorzuziehen?
• Was sind die Alternativen?
• Wie hast Du diese Entscheidung getroffen?
• Warum ist die Geschwindigkeit für Dich wichtig?
• Wie misst Du, ob die Transaktionsgeschwindigkeit schnell oder langsam ist?
• Warum diese Funktionen?
• Wann hast Du zum ersten Mal bemerkt, dass dies eine wichtige Funktion für Dich ist?
• Warum sind dies die Top Drei?
• Was war die Auswirkung des Problems, das Du mit dieser Zahlungs-App hattest?
• Was hast Du getan, als die App das Problem hatte?

Und so weiter und so fort.

Und das bedeutet, dass selbst wenn wir alles richtig machen, Umfragen quantitative Forschung sind. Und quantitative Forschung liefert einige wenige Datenpunkte von vielen Einzelpersonen. Aber das hilft nicht, sie und ihre Entscheidungen zu verstehen. Daher kann man darauf nicht wirklich aufbauen.

Möchtest Du eine Alternative zu Umfragen kennenlernen?

Schau Dir unseren Online-Meisterkurs „Jobs to be Done“ an

Masterclass