Tipps zur Erstellung von Umfragen

Manchmal helfen die Berichte die Sie aus Ihrem Knowledge Management erhalten einfach nicht mehr weiter, oder aber Sie interessieren sich auch für Aspekte, die nicht direkt technisch abgreifbar sind, wie z.B. für die Meinung Ihrer Nutzer. Umfragen schließen diese Lücken.

Ein guter Umfrageentwurf ist der Schlüssel zum Erreichen zuverlässiger und umsetzbarer Erkenntnisse für Ihre Knowledge Management Projekte. Sie müssen Fragen erstellen, die das Verhalten und die Meinungen der Befragten genau messen, und sie müssen die Fragen so organisieren, dass sie die Befragten nicht verwirren oder frustrieren. Gut gestaltete Umfragen sind für die Befragten einfach auszufüllen, was zu höheren Beantwortungsraten und einer höheren Datenqualität führt. Dieser Artikel bietet eine taktische, schrittweise Anleitung zum Erstellen einer effektiven Umfrage.

Konzeptionelles Gestalten: Aufbau Ihrer Fragen

Bevor Sie mit der Umsetzung Ihrer Umfrage beginnen, müssen Sie den Zweck und den Umfang Ihres Vorhabens definieren. Denken Sie daran, dass selbst eine kurze Umfrage den Befragten Zeit abverlangt und diese sich hinsetzen und nachdenken müssen. Daher sollte jede Frage in der Umfrage Antworten zu ihrem konkreten Thema liefern, oder einfacher gesagt, es gibt keinen Platz für etwas Überflüssiges.

SCHRITT 1: DEFINIEREN SIE KLAR DEN ZWECK IHRER UMFRAGE

Definieren und dokumentieren Sie zunächst den Zweck Ihrer Umfrage. So stellen Sie sicher, dass sich Ihre Umfrage auf den Zweck Ihres Vorhabens konzentriert. Sie können damit bestimmen, was in den Rahmen fällt und was nicht.
Beantworten Sie die folgenden Fragen:

• Was ist das Ziel der Umfrage?
• Warum erstellen Sie eine Umfrage und verwenden nicht eine andere Methode (z. B. Sekundärdatenerhebung, Fokusgruppen, Social Media Monitoring)?
• Was wollen Sie mit dieser Umfrage erreichen?
• Wie werden Sie die Daten, die Sie sammeln, verwenden?
• Welche Entscheidungen werden aufgrund der Umfrageergebnisse getroffen?

SCHRITT 2: HALTEN SIE DIE UMFRAGE KURZ UND KONZENTRIERT

Wenn Sie Ihre Umfrage eng fokussieren, verbessert sich die Qualität und Quantität der Beantwortungen. Daher ist es im Allgemeinen am besten, sich auf ein einziges Ziel zu konzentrieren, anstatt eine „Master-Umfrage“ zu erstellen, die mehrere Ziele abdeckt. Achten Sie bei der Auswahl der Fragethemen darauf, dass jede Frage zum Erreichen Ihres Ziels beiträgt. Vermeiden Sie „Nice-to-have“-Fragen, die nicht direkt Daten zu Ihren erklärten Zielen liefern.

Es ist ratsam, die Ausfüllzeit abzuschätzen, noch bevor Sie Ihre Umfrage umsetzen. Überlegen Sie, ob Sie die Umfrage abschließen oder auf halbem Weg abbrechen würden. Seien Sie ehrlich zu sich selbst, denn wenn Sie nicht daran teilnehmen würden, dann wird es auch niemand anderes tun. Denken Sie daran, dass die Beantwortung Ihrer Umfrage höchstens fünf Minuten dauern sollte. Untersuchungen zeigen, dass sechs bis zehn Minuten akzeptabel sind, aber nach 11 Minuten gibt es erhebliche Abbruchraten.

Strukturelle Überlegungen: Erstellung Ihres Fragenkatalogs

Es gibt viel zu bedenken, wenn es um die Strukturierung Ihrer Fragen und der Umfrage selbst geht. Es ist wichtig, dass Sie alle Optionen und potenziellen Fallstricke aus Ihrer Perspektive als Fragender (Verwendbarkeit) und aus der Perspektive der Befragten (Verständlichkeit) durchdenken. Beispielsweise sind Multiple-Choice-Fragen für Sie leicht auszuwerten, aber die Befragten haben möglicherweise Schwierigkeiten, sich in all den Optionen zurechtzufinden. Freitextantworten hingegen sind für die Befragten einfach, aber für Sie oft eine Herausforderung beim Zusammenstellen und Analysieren.

SCHRITT 3: FRAGETYPEN AUSWÄHLEN

Denken Sie sorgfältig darüber nach, welche Art von Frage für Ihre Bedürfnisse am besten geeignet ist.

Grundlegend kann man zwischen offenen und geschlossenen Fragen unterscheiden. Bei den geschlossenen Fragen legen Sie eine Anzahl von Antworten fest, aus denen die Befragten wählen können. Offene Fragen enthalten ein leeres Textfeld, in das der Befragte eine Antwort schreiben kann.

Offene Fragen sind gut, um die Stimmung der Endbenutzer zu verstehen, und können die Folgegespräche mit den Teilnehmern leiten. Fügen Sie aber nicht zu viele hinzu, da sie eine manuelle Analyse erfordern. Es ist auch wichtig zu beachten, dass die durch offene Fragen gewonnenen Erkenntnisse auch mit alternativen Methoden wie Interviews und Fokusgruppen gesammelt werden können.
Alle hier vorgestellten Fragetypen sind Beispiele für geschlossene Fragen:

Mehrfachauswahl

Multiple-Choice-Fragen bieten eine Vielzahl von Antworten zur Auswahl. Sie können als Einzelantworten (der Befragte kann nur eine Option auswählen) oder als Mehrfachantworten (der Befragte kann alle zutreffenden Antworten auswählen) gestellt werden. Multiple-Choice-Fragen sind aus einem bestimmten Grund beliebt: Sie erzeugen saubere Daten, die leicht zu analysieren sind. Multiple-Choice-Fragen eignen sich gut für einfache Abfragen mit einer begrenzten Anzahl von Optionen, z. B. demografische Informationen, Produkt-/Dienstleistungsnutzung und Benutzerprioritäten.

Bewertungsskala

Bei Fragen mit Bewertungsskala werden die Befragten gebeten, etwas auf einer numerischen Skala zu bewerten. Beispielsweise könnte die Frage die Befragten bitten, die Zufriedenheit auf einer Skala von 1-10 zu bewerten und anzugeben, welche Zahl der positiven und negativen Zufriedenheit zugeordnet ist. Ratingskalen eignen sich gut, um den Fortschritt im Laufe der Zeit zu messen. Durch eine erneute Befragung mit derselben Frage können Sie beurteilen, ob die Antworten in eine positive oder negative Richtung tendieren.   

Likert-Skala

Fragen mit Likert-Skala bewerten positive und negative Reaktionen auf eine Aussage. Sie sind in der Regel auf einer fünf- oder siebenstufigen Skala aufgebaut, die z. B. von „stimme voll zu“ bis „stimme überhaupt nicht zu“ reicht.

Beispiel: trifft zu (1), trifft eher zu (2), teils-teils (3), trifft eher nicht zu (4), trifft nicht zu (5)

Likert-Skalen können auch eine Aussage erzwingen, indem eine geradzahlige Skala verwendet und die mittlere Option entfernt wird (z. B. „stimme weder zu noch stimme ich nicht zu“).

Beispiel: trifft zu (1), trifft eher zu (2), trifft eher nicht zu (3), trifft nicht zu (4)

Likert-Skalen eignen sich gut für die Messung der Kunden-/Endbenutzerzufriedenheit. Beachten Sie, dass die Begriffe Likert-Skala und Bewertungsskala zwar oft synonym verwendet werden, aber nicht genau dasselbe sind. Eine Likert-Skala ist eine Art Bewertungsskala, aber eine Bewertungsskala ist nicht unbedingt eine Likert-Skala.

Semantisches Differenzial

Bei semantischen Differenzialfragen werden die Befragten gebeten, etwas mit gegensätzlichen Aussagen an jedem Ende der Skala zu bewerten. Kurz gesagt, die Antwort des Befragten vervollständigt die Aussage. Zum Beispiel: Der Knowledge Base Artikel hat das Problem (gelöst bis nicht gelöst) oder Der Knowledge Base Artikel ist (leicht verständlich bis unverständlich). Semantische Differenzialfragen sind eine gute Wahl, um qualitatives Feedback und intuitive Antworten zu erfragen.

Dichotomisch

Dichotome Fragen bieten nur zwei Antwortmöglichkeiten. Eine dichotome Frage könnte zum Beispiel lauten: Haben Sie den Knowledge Base Artikel bis zum Ende gelesen? (ja/nein). Diese Fragen sind für die Befragten schnell zu beantworten und für die Forscher zu analysieren, aber sie lassen nicht viel Raum für Mehrdeutigkeit. Daher eignen sie sich am besten für eindeutige Abfragen.

Mit dem ServiceNow Survey Management können Sie Umfragen erstellen, versenden und Beantwortungen erfassen. Sie könne auch das Umfrage-Widget verwenden, um eine Umfrage innerhalb des Service Portals einzurichten. Dies ist eine Grundfunktion jeder ServiceNow Plattform, und steht jedem Kunden ohne weitere Kosten zur Verfügung. Mit dem Umfrage-Designer können Sie Umfragekategorien und Fragen erstellen, die Details konfigurieren und die Umfrage an bestimmte Benutzer oder Gruppen veröffentlichen.

SCHRITT 4: BEWERTUNGSSKALEN – UND LIKERT-SKALEN VERWENDEN

Bewertungsskalen- und Likert-Skalen eignen sich hervorragend zum Messen und Vergleichen von Variablengruppen, aber es ist wichtig, dass Sie konsistente Skalen verwenden. Skalen sollten über Anker (d. h. Beschriftungen) verfügen, damit die Befragten verstehen, was es bedeutet, etwas mit einer 1 oder einer 5 zu bewerten. Umfrageentwickler beschriften oft jede Zahl und nicht nur den oberen und unteren Teil der Skala, um den Befragten eine schnelle Entscheidung zu ermöglichen.

Häufigkeit	Wahrscheinlichkeit	Verwendung	Dringlichkeit
niemals	extrem unwahrscheinlich	niemals	keine
selten	unwahrscheinlich	fast nie	nieder
manchmal	neutral	gelegentlich	mittel
oft	wahrscheinlich	häufig	hoch
immer	sehr wahrscheinlich	sehr häufig	extrem

Verwenden Sie in der gesamten Umfrage die gleiche Anzahl von Punkten und stellen Sie sicher, dass „hoch“ und „niedrig“ konsistent bleiben. Dies hilft den Befragten, sich schnell zurechtzufinden und reduziert fehlerhafte Antworten. Wenn bei einer Frage „sehr effektiv“ mit einer 5 und bei der nächsten Frage „sehr effektiv“ mit einer 1 bewertet wird, werden die Befragten verwirrt und geben möglicherweise Antworten, die das Gegenteil ihrer tatsächlichen Gefühle oder Verhaltensweisen sind. Es ist ein bewährtes Verfahren, Skalen ungerade zu halten und eine Aufblähung Ihrer Skalen mit zu vielen Abstufungen zu vermeiden. Untersuchungen zeigen, dass die Befragten Schwierigkeiten haben, ihren Standpunkt auf einer Skala größer als sieben zu definieren. Die Befragten haben auch Probleme mit „erzwungenen Wahlmöglichkeiten“ bei Fragen mit geraden Skalen.

Skalen funktionieren am besten, wenn sie hinterfragend sind. Stellen Sie, wann immer möglich, Fragen, anstatt die Befragten aufzufordern, einer Aussage zuzustimmen oder nicht zuzustimmen. Umfrageteilnehmer stimmen Aussagen eher zu, egal was sie sagen, und sie lesen die Frage wahrscheinlich nicht so genau. Aussagen wirken eher suggestiv.

SCHRITT 5: VERMEIDEN SIE OFFENE FRAGEN

Geschlossene Fragen sind viel einfacher zu analysieren als offene Fragen. Während maschinelles Lernen Unternehmen dabei helfen kann, einige Erkenntnisse aus dem Freitext-Feedback abzuleiten, muss die tiefgreifende Analyse von einem Menschen durchgeführt werden. Das bedeutet, dass schon eine einzige offene Frage viel Zeit für das Auswertungteam in Anspruch nehmen kann. Um umfangreichere Einblicke mit geschlossenen Fragen zu erhalten, sollten Sie erwägen, dichotome Fragen in Bewertungs- oder Likert-Skala-Fragen umzuwandeln. Ändern Sie zum Beispiel „Sind Sie mit unserem Service zufrieden? (ja/nein) in Wie zufrieden sind Sie mit unserem Service (äußerst zufrieden bis äußerst unzufrieden).

SCHRITT 6: VERMEIDEN SIE DOPPELLÄUFIGE FRAGEN

Doppelläufig gestellte Fragen sind solche, die mehr als ein Thema berühren oder mehr als eine Frage stellen. Zum Beispiel:

• War der Artikel technisch richtig und leicht lesbar?
• Konnten Sie die Lösung leicht finden und anwenden?

Doppelläufige Fragen frustrieren Befragte und Auswertende gleichermaßen. Die Befragten fühlen sich möglicherweise unschlüssig über ihre Antwort, und die resultierenden Daten sind unzuverlässig und schwer zu korrelieren. Es ist wichtig, dass Umfragedesigner dieses Problem erkennen und vermeiden, das oft aus dem Versuch resultiert, mehr in eine einzige Frage zu quetschen. Wenn es zwei Themen gibt, brauchen Sie schlicht und einfach zwei Fragen.

SCHRITT 7: VERWENDEN SIE FOLGENDE LOGIK, UM FRAGEN ZU ORDNEN

Die Umfrage sollte in einer logischen Reihenfolge ablaufen:

Beginnen Sie mit einer kurzen Einführung, die die Ansprechpersonen zur Teilnahme an der Umfrage motiviert. Wenn greifbare Anreize (z. B. Preise, Zugang zu den Ergebnissen) angeboten werden, sollten Sie diese gleich zu Beginn vorstellen. Es ist auch ratsam, darauf hinzuweisen, wie lange das Ausfüllen der Umfrage dauern wird. Wenn die Umfrage heikle Themen beinhaltet, fügen Sie einen Hinweis ein, dass die Antworten anonymisiert werden und in keiner Weise gegen die Teilnehmer verwendet werden.

Demografische Daten können am Anfang oder am Ende der Umfrage erfasst werden, aber es ist in der Regel am besten, sie am Anfang zu erfassen, wenn Sie Daten von Befragten verwenden möchten, die die Umfrage nicht vollständig ausgefüllt haben. Die Erfassung demografischer Daten zu Beginn ist auch hilfreich, wenn Sie einige Teilnehmer aussortieren müssen.

Dann ist es am besten, mit allgemeinen Fragen zu beginnen und zu den anspruchsvolleren und komplexeren Fragen überzugehen. Wenn Sie mit einfachen Fragen beginnen, wird der Teilnehmer leichter in die Umfrage eingeführt. Wenn Sie mit Fragen beginnen, die schwierig sind oder deren Beantwortung zu viel Zeit in Anspruch nimmt, werden Sie wahrscheinlich höhere Abbruchraten haben.

Was ist eine „Komplexe“ Frage?

Komplexe und anspruchsvolle Fragen sind solche, bei denen der Befragte:

• sich normalerweise nicht bewusst ist, oder die weiterer Sammlung von Information bedürfen (z. B. „Wie oft haben Sie in diesem Monat die Knowledge Base erfolgreich benützt?“),
  • über Informationen Auskunft geben soll, die vor langer Zeit anfielen (z. B. Wie oft hat die Knowledge Base Ihnen im letzten halben Jahr geholfen?), oder
  • wo er sich an einen Zeitpunkt erinnern soll (z. B. Wann war Ihre letzte Interaktion mit dem Helpdesk?).

Diese Art von Fragen sind schwierig – aber nicht unmöglich – zu beantworten, da sie vom Befragten verlangen, dass er innehält, nachdenkt und entweder eine Schätzung vornimmt oder nach Möglichkeiten sucht, die „richtige“ Antwort zu finden. Umfrageentwickler sollten den Wortlaut und die Struktur komplexer Fragen sorgfältig prüfen, um sie so einfach wie möglich zu gestalten und die Anzahl komplexer Fragen insgesamt zu begrenzen.

Achten Sie auf die Vermeidung einer möglichen Stichprobenverzerrung, und die evtl daraus resultierende Fehlinterpretation!
In der Statistik bezeichnet der Begriff Stichprobenverzerrung (Sampling Bias) eine Verzerrung, bei der eine Stichprobe so erhoben wird, dass einige Mitglieder der vorgesehenen Grundgesamtheit eine geringere oder höhere Stichprobenwahrscheinlichkeit haben als andere. Dies führt zu einer verzerrten Stichprobe!
Wenn Sie bspw ausschließlich jene User befragen die in einem gewissen Zeitraum ein Ticket beim Support eröffnet haben, ob sie insgesamt mit ihrer IT Ausstattung zufrieden sind, dann sollten Sie nicht auf die Gesamtheit aller User im Unternehmen schließen.
Geben Sie also auch das abgefragte Sample bei der Auswertung richtig wieder. Also „63% aller User, die bereits einmal einen Knowledge Base Artikel gelesen haben, geben an die Knowledge Base wieder verwenden zu wollen.“ und nicht „63% unserer User wollen die Knowledge Base verwenden“.

Durchführung der Umfrage

Selbst mit dem besten Entwurf wird Ihre Umfrage ohne einen effektiven Start keine Ergebnisse liefern.

SCHRITT 8: TESTLAUF

Testen Sie Ihre Umfrage mit ein paar Mitgliedern Ihrer Zielgruppe. Dies ist wichtig, um Fehler und unerwartete Frageinterpretationen vor dem Start zu finden. Außerdem können Sie so abschätzen, wie viel Zeit die Teilnehmer für die Umfrage benötigen werden. Wenn Sie die Umfrage nicht mit der Zielgruppe pilotieren können, bitten Sie Ihre Mitarbeiter oder Kollegen, die Umfrage durchzuführen.

SCHRITT 9: WÄHLEN SIE IHR ZIELPUBLIKUM

Es ist klug, bei Ihrer Zielgruppe selektiv vorzugehen. Berücksichtigen Sie die folgenden Parameter:

• Ebene innerhalb der Organisation (d. h. Frontline-Mitarbeiter, Management, Führungskräfte),
• Rolle,
• Abteilung, und
• Aktivitäten (d. h. Personen, die Wissen gesucht hat, einen Artikel angesehen hat, etc)

Das Versenden Ihrer Umfrage an einen breiten Empfängerkreis kann die Beantwortungsrate erhöhen, aber es kann auch zu ungenauen Ergebnissen und Umfrageabbrüchen führen. Sie wollen den Leuten keine Fragen stellen, die sie nicht beantworten können.

SCHRITT 10: ZEITPLAN UND WERT FÜR DIE TEILNEHMER BERÜCKSICHTIGEN

Nachdem Sie Ihre Zielgruppe ausgewählt haben, denken Sie über den Zeitpunkt nach, der für sie am besten geeignet ist. Mitarbeiterumfragen sollten zum Beispiel während der Geschäftswoche und zu einer für Ihr Unternehmen geeigneten Zeit verschickt werden. Wenn Sie eine Zufriedenheitsumfrage verschicken, ist es ratsam, diese kurz nach der Interaktion mit der Knowledge Base zu versenden.

Es ist auch klug, die Zielgruppe im Auge zu behalten, wenn es um Anreize geht. Manche Teilnehmer können durch den Zugang zu Umfrageergebnissen und genaueren Folgebefragungen motiviert werden, aber das wird Mitarbeiter wahrscheinlich weniger interessieren.

Ziehen Sie stattdessen die folgenden Optionen in Betracht:

• ein kleines Geschenk für jeden Teilnehmer (z. B. ein Geschenkgutschein),
• ein großer und überzeugender Gewinnspielpreis für einen einzelnen Teilnehmer oder eine kleine Anzahl von Teilnehmern,
• Coupon-Codes,
• frühzeitiger Zugang zu einem neuen Produkt oder einer neuen Dienstleistung, und/oder
• ein handlungsorientiertes Versprechen (z. B. „Die Umfrageergebnisse werden zur Verbesserung unserer Produkte/Dienstleistungen verwendet“).

Monetäre Anreize erhöhen in der Regel die Beantwortungsraten, aber die Designer von Umfragen sollten bei der Einbeziehung dieser Anreize vorsichtig sein. Monetäre Anreize können die Ergebnisse verfälschen, wenn die Befragten nur deshalb an der Umfrage teilnehmen, um einen Preis zu erhalten. Sie können auch zu Verzerrungen in Zufriedenheitsumfragen führen, da sich die Befragten gezwungen fühlen, positive Antworten zu geben, wenn sie ein Geschenk oder einen Preis erhalten haben. Aus diesem Grund ist ein aktionsorientiertes Versprechen oft der beste Anreiz. Es zeigt den Teilnehmern, dass ihre Stimme gehört wird und in die Entscheidungsfindung der Organisation einfließt.

Wichtige Erkenntnisse und nächste Schritte

Es ist wichtig, daran zu denken, dass Umfragen nicht die einzige Möglichkeit sind, um Informationen über die Stimmung und das Verhalten der Endbenutzer zu sammeln. Um auf eine Umfrage zu antworten, müssen die Befragten Folgendes tun:

• Ihre Fragen verstehen,
• die für die Beantwortung notwendigen Informationen haben (oder schnell abrufen können), und
• bereit und in der Lage sein, diese Informationen zu teilen.

Wenn die Befragten diese Dinge nicht tun können, müssen Sie sich nach einem anderen Ansatz umsehen. ServiceNow misst bereits viele Verhaltensinformationen. Diese Messungen können jedoch auch leicht erweitert werden.

Dennoch werden Umfragen immer eine wichtige Rolle in der Verbesserung und beim Benchmarking spielen. Umfragen sind kostengünstig und schnell, und sie sind der beste Weg, um Nutzung, empfangene Qualität, Probleme, Wünsche, u.a.  zu verstehen.

Viel Erfolg!