Reihenfolgeeffekte in Umfragen

Dieser Artikel handelt von Reihenfolgeeffekten in Umfragen.
Es wird erörtert, welche Effekte es gibt und welche Auswirkungen sie auf die Repräsentativität sowie Abbruchrate unserer Umfrage haben können.
Außerdem wird erläutert, wie man diesen negativen Effekten am besten entgegenwirken kann.

 

Einführung

Stellen wir uns vor, wir haben eine Umfrage mühsam erstellt und sind bereit sie abzuschicken. Wir warten ein paar Tage, Wochen… doch kriegen kaum eine Antwort.
Komisch, denn dein Kollege Steve hat eine Umfrage zum selben Thema erstellt, aber bereits 500 Antworten erhalten.

Du liegst Abends im Bett, lässt die Gedanken kreisen und dir fällt ein: Vielleicht liegt es ja an den Formulierungen im Fragebogen? Du lässt deine Familie und Freunde nochmal drüberschauen, änderst das ein oder andere ab und siehe da, du bekommst auch schon ein paar hundert Antworten mehr als zuvor.

Doch bei dir kommen komplett andere Ergebnisse raus, als bei deinem Kollegen, obwohl im Prinzip die gleichen Fragen gestellt wurden.

Da kann irgendwas nicht stimmen, dein Chef ist verwundert wieso die Ergebnisse so unterschiedlich sind, schaut sich deinen Fragebogen noch einmal an und sagt empört: “Kein Wunder, bei dem Fragebogen passt die Reihenfolge hinten und vorne nicht!”

Als Ergebnis wird dein Kollege befördert und du dazu degradiert, von nun an nur noch Kaffee zu machen. Immerhin wurdest du nicht gefeuert.

Hättest du dir vorher besser mal etwas zu Reihenfolgeeffekten bei Umfragen angeschaut, dann würdest du jetzt einen Porsche fahren, nicht dieser blöde Steve!

 

Welche Probleme entstehen aus Reihenfolgeeffekten?

Um zu verstehen wieso man überhaupt auf solche Effekte achten sollte, ist es wichtig zu wissen was diese konkret anstellen können. Die meisten werden sich wahrscheinlich denken, dass die Reihenfolge von Fragen gar nicht so bedeutend sein kann, oder?

Doch was die meisten nicht wissen ist, dass eine falsch durchdachte Anordnung der Fragen die ganze Umfrage gefährden kann. Denn zum einen führt sie zu einer kritischen Verzerrung der Umfrageergebnisse und zum anderen könnte auch der Super-GAU eintreten und es kommt bei vielen unserer Probanden zu einem vorzeitigem Abbruch unserer Umfrage.

Damit unsere ganze harte Arbeit nicht umsonst gewesen ist, muss man also ausschlaggebende Fehler bei der Reihenfolge der Fragen vermeiden, um seine Umfrage repräsentativ gestalten zu können – ohne Verzerrungen und mit genügend Teilnehmern.

 

Welche Effekte gibt es?

Um genau verstehen zu können, wie wir diese Fehler vermeiden können, müssen wir uns die einzelnen Effekte erst einmal genauer anschauen. Hierbei lassen sich die Effekte in genau 2 Schubladen packen (Hier ist es ausnahmsweise mal okay in Schubladen zu denken).

In der ersten Schublade stecken die Effekte die unsere Ergebnisse verzerren, zusammen mit einem Haufen Schmutzwäsche. Riecht sehr unangenehm, deswegen sollten wir hier dringend mal aufräumen.

In der zweiten Schublade stecken jedoch jene Effekte, die zu einem Abbruch der Teilnahme an unserer Umfrage führen können. Das ist die Schublade, in der auch die verschwitzten Trikots des letzten Fußballspiels liegen und deren Geruch seit des letzten Lockdowns vor sich hingären konnte. Dieser Geruch riecht nicht bloß unangenehm, er tut einem sogar in den Augen weh, so beißend wie der ist.

 

Abbruch-Effekte

Also schön, eins nach dem anderen. Wir kümmern uns zuerst um den schlimmeren Geruch. Zuerst beschreiben wir, was wir alles sehen. Aha, ungefähr 24 grüne Trikots die eigentlich weiße Trikots sein sollten… ein, zwei alte Socken… oh, und noch ein paar Fragen, die den Effekt haben unsere Probanden die Umfrage abbrechen zu lassen. Das ist das Ekeligste, das ich seit langem gesehen habe… bäh!
Ich hab sie mal rausgefischt und für dich in eine Liste gepackt:

• • Die Eröffnungsfrage:
    Mit was sollte man auch sonst am besten anfangen? Die erste Frage in einem Fragebogen kann bereits über Erfolg und Misserfolg unserer Umfrage entscheiden. Ist die erste Frage sehr persönlich, zu schwierig oder auch unangenehm, wird es viele Probanden abschrecken. Wie würdest du dich fühlen, wenn jemand der dich zum ersten Mal sieht plötzlich fragt, wie viele Sexualpartner du bspw. hast? Wenn du ein gesundes Verhältnis zu deinen eigenen Grenze hast, wirst du wahrscheinlich nicht sofort darauf antworten.
    Du stellst dir erstmal die Frage, wieso dein Gegenüber dich das wohl fragt und es entsteht sofort ein misstrauen. Viele würden wohl nicht lange zögern und einfach weggehen.

• • Falsche Reihenfolge der abgefragten Informationen:
    Generell lassen sich Informationen für uns grob in 3 Kategorien einteilen, in grundlegende, klassifizierende sowie identifizierende Informationen.Dabei sind grundlegende Informationen jene, die wir für unsere Umfrage zwingend haben wollen. Das könnte bspw. die berühmte Sonntagsfrage “Wen würden sie am kommenden Sonntag wählen, wenn dann Bundestagswahlen wären” sein.Klassifizierende Informationen zielen darauf ab, den Befragten einer psychografischen oder demographischen Gruppe zuzuordnen (z.B. Alter, Geschlecht, Einkommen, Lebensstil etc.).Identifizierende Informationen sind solche, die die genauen Kontaktdaten des Probanden beinhalten, um im bspw. nach Beendigung der Umfrage über die finalen Ergebnisse zu informieren oder um eventuelle Gewinne an seine Adresse liefern zu lassen.Der Fehler liegt hier in der falschen Anordnung dieser abgefragten Informationstypen. Denn wenn die “identifizierenden” Informationen wie die Adresse z.B. als erstes abgefragt wird, entsteht ebenfalls leicht Misstrauen beim Teilnehmer mit dem gewohnten Risiko die Befragung abzubrechen.

• • Schwierige Fragen:
    Als schwierige Fragen werden all solche angesehen, die sehr unangenehm zu beantworten sind. Sei es, weil diese zu kompliziert oder schwer zu beantworten sind, einfach öde, langweilig sind und dann noch viel zu viel Zeit in Anspruch nehmen.Auch wenn man natürlich darauf achtet, den Fragebogen so angenehm wie möglich für alle Probanden zu gestalten, kommt man doch nicht immer um schwierige Fragen drum herum.Werden die dann auch noch zu früh gestellt, verliert der Proband schnell die Lust an dem Ganzen und… bricht ab!

• • Unlogische Anordnung der Fragen
    Unsere Befragten brechen übrigens auch ab, wenn ihnen unsere Fragen sehr unlogisch vorkommen. Wird man bspw. gefragt, ob man ein Smartphone besitzt und die Antwort lautet “nein”, sollte die nächste Frage nicht lauten “Von welcher Marke ist ihr Smartphone?”.Wenn man es allerdings zu offensichtlich macht, dass man diese genaueren Fragen nur stellt, wenn man zuvor mit “Ja” geantwortet hat, dann merken das einige Teilnehmer sehr schnell und neigen dazu, diese Fragen durch ein “Nein” einfach zu überspringen.Auch sollten die Fragen einem bestimmten roten Faden folgen, denn wenn die Gedankensprünge zu groß sind, kann der Proband dem Gedankengang  nicht weiter folgen und droht das interesse zu verlieren.

Verzerrungs-Effekte

Jetzt haben wir uns ein Bild von der “schlimmeren” Schublade gemacht. Schlimmer übrigens deswegen, weil es wichtiger ist einen beantworteten Fragebogen mit ein paar verzerrten Ergebnissen zu bekommen, als gar keinen. Schließlich sind vielleicht ein paar der Antworten von den Verzerrungs-Effekten verschont geblieben und können zumindest teilweise verwertet werden.
Im Idealfall bleibt man selbstverständlich von beiden Effekten verschont.

Öffnen wir also mal die weniger übel riechende Schublade… wieder dreckige Wäsche, allerdings nicht so eklig wie die Trikots, jedoch mit ein paar hartnäckigen Flecken die die Reinigung nicht einfacher machen.

Oh, und natürlich wieder ein paar Effekte, diesmal welche die unsere Ergebnisse verzerren könnten. Wir schauen uns diese erst einmal wieder genau an, ganz nach dem Motto “kenne deinen Feind”:

• • Primacy-Recency-Effekt:
    Haben wir eine Multiple-Choice-Frage, dann greift hier der sogenannte Primacy- oder auch Recency-Effekt.Am besten erklärt sich dieser anhand eines kleinen Beispiels:

    Kannst du dich noch an die 3. aller bisher genannten Effektfragen erinnern?Wahrscheinlich musst du erstmal nachgucken, um dir sicher zu sein. Fragt man dich jedoch nach der ersten bisher genannten Effektfrage, dann weisst du bestimmt noch: “Das war doch die Eröffnungsfrage!”

    Das liegt daran, dass einem bei einer Auflistung die erste (Primacy-Effekt) und die als letztes (Recency-Effekt) genannte Sache am besten in Erinnerung bleibt. An sich doch eine super Sache, besser als würde man sich gar nichts merken können.

    Allerdings sorgt dieser Effekt dafür, dass man bei Multiple-Choice-Fragen dazu tendiert, die erste oder letzte Antwort anzukreuzen.
    Das ist deshalb ärgerlich, weil dies eigentlich nicht die ehrliche Antwort ist, auch wenn der Proband sein Bestes tut die Fragen wahrheitsgetreu zu beantworten, kommt es zu einer Verzerrung.

  • Halo-Effekt
    Dieser Effekt beschreibt das Phänomen, dass eine vorher gestellte Frage die Antwort der nächsten Frage beeinflusst.
    Das könnte dann z.B. wie folgt aussehen:

    Wir fragen: “Sollte man Gras legalisieren?”
    Ergebnis: 42% antworten mit “Ja”

    Soweit eine neutrale Frage. Je nachdem welche Frage wir davor gestellt haben, könnten wir unseren Befragten jedoch beeinflussen.

    Fragen wir davor: “Waren sie sich darüber bewusst, dass kiffen Psychosen verstärken kann?”, dann ist die Zustimmung auf die nachfolgende Frage, ob man Gras legalisieren sollte, plötzlich viel niedriger. Hier liegt das Ergebnis bspw. bei nur noch 28%. Fragen wir allerdings “Waren sie sich bewusst darüber, dass es weltweit null Drogentote durch Cannabis gibt?”, gefolgt von der Frage nach der Legalisierung, so fällt die Zustimmung auf einmal viel höher aus, es stimmen bspw. ganze 58% für eine Legalisierung. Aber leider sind die letzten beiden Ergebnisse verzerrt, da die vorherige Frage diese beeinflusst hat.

    Wir sehen, dass sich die Ergebnisse hiermit manipulieren lassen können. Einige würden diesen Effekt sicher auch missbrauchen, allerdings sind die Ergebnisse dann nicht mehr repräsentativ.

  • Voreingenommene Fragen:
    Man kann den Fragebogen auch dahingehend manipulieren, indem man eine Frage direkt einem gewissen Kontext zuordnet.
    Dieser Effekt funktioniert ähnlich wie der Halo-Effekt, allerdings fasst man dabei zwei Fragen in einer zusammen:

    Während wir beim Halo-Effekt  in der vorherigen Frage unterschwellig ein positives oder negatives Argument für/gegen die Legalisierung genannt haben, würden wir das Ganze in eine einzige packen:
    “Sollte man Gras legalisieren, obwohl es Psychosen hervorrufen kann?”
    Das gleiche funktioniert auch mit Marken: “Ist Nivea ihre Lieblingscreme?” wäre ein gutes Beispiel, weil durch das erwähnen der Marke Nivea bereits eine gewisse Richtung zugunsten Niveas vorgegeben wird.

  Vermeidung der negativen Effekte

  Da wir jetzt ein umfassendes Bild davon haben, was uns in diesen Schubladen erwartet, schauen wir jetzt, wie man am besten mit diesen Dingen umgeht.
  Für die dreckige Wäsche reicht ein langer Waschgang bei 60 Grad.
  Die ganzen Fragen und deren Effekte benötigen allerdings ganz andere Mittel.
  Um unseren Fragebogen von diesen Flecken zu säubern, gibt es ein paar Faustregeln und gegenteilige Effekte, auf die wir uns verlassen können.

  Damit du immer wieder zu diesem Punkt zurückkehren kannst, habe ich dir hier eine Checkliste zusammengestellt. Diese kannst du befolgen, um die Abbruchrate und Verzerrungseffekte minimal zu halten.

  • Einfache Eröffnungsfragen
    Um das Eröffnungsfragen-Problem zu lösen, sollten wir einfach auf intime, langweilige oder schwierige Fragen verzichten.
    Besser wären Fragen die leicht und interessant sind, ohne den Teilnehmer einzuschüchtern. Manchmal ist es auch ratsam, den Befragten nach seiner Meinung zu einem Thema zu befragen, um so sein Interesse zu wecken.
    Denn die meisten reden sehr gerne über ihre eigene Meinung zu gewissen Themen.
    Das können wir auch tun, obwohl die erste Frage gar nicht analysiert wird, es geht bloß darum den Einstieg so leicht und interessant wie möglich zu gestalten.
  • Die richtige Reihenfolge der abgefragten Informationen
    Erinnerst du dich noch an die drei Informationstypen (Grundlegende, klassifizierende & identifizierende)? Es gibt eine ganz einfache Faustregel an die du dich halten kannst.
    Da die grundlegenden Informationen die wichtigsten sind, sollte diese auch zuerst eingeholt werden. Danach  sollten wir erst nach den klassifizierenden, und zum Schluss, wenn überhaupt, nach den identifizierenden Informationen fragen.Befolgen wir nicht die Reihenfolge 1.Grundlegende → 2.Klassifizierende → 3.Identifizierende Informationen abfragen, dann riskieren wir einen Abbruch der Befragung, weil es für viele unangenehm ist, sensible Informationen wie die Adresse, Einkommen etc. am Anfang anzugeben.
  • Schwierige Fragen erst relativ am Ende stellen
    Generell sollte man seine Fragen natürlich so einfach und ansprechend wie möglich gestalten. Allerdings lassen sich auch schwierige Fragen nicht immer vermeiden.
    Wichtig ist es dann, diese nicht zu früh zu stellen, sogar relativ gegen Ende zu stellen.Wieso das einen Unterschied macht?Ganz simpel. Zu komplexe, unangenehme oder langweilige Fragen am Anfang schrecken ab! Wieso ist oben bei der Eröffnungsfrage bereits erklärt.Außerdem kann man als Faustregel festhalten, dass ein Proband nach den ersten 5 Fragen bereits so in die Befragung verwickelt ist, dass die Bereitschaft hier noch abzubrechen recht gering ist. Hier hat man quasi schon so viel Zeit und Mühe investiert, dass man die Sache auch zu Ende bringen will. Diesen Effekt können wir uns beim stellen schwieriger Fragen zunutze machen.
  • Benutzen von Flowcharts
    Manchmal kann es schwierig sein, einen Fragebogen so zu gestalten, dass der Proband einen roten Faden erkennen kann.
    Da dies schnell zu Frustration führen kann, sollten wir darauf achten, was aus Sicht des Befragten logisch erscheint.Hier hilft es einen Flowchart zu benutzen, um den Überblick zu behalten.
    Allgemein lässt sich sagen, dass erstmal ein Thema inhaltlich abgeschlossen werden sollte, bevor man zum nächsten übergeht. Wenn man das Thema wechselt, sollte man Überleitungen benutzen, um den Wechsel natürlich erscheinen zu lassen.
  • Benutzen einer Verzweigungs- und Anzeigelogik
    Erinnert ihr euch noch an die Frage, ob ein Proband ein Smartphone besitzt, dieser mit “Nein” antwortet und als nächstes trotzdem nach der Marke gefragt wird?Um solche nervigen Fehler zu umgehen, kann man mittels Verzweigungsfragen auf eine andere Frage hinleiten, wie im Flowchart oben illustriert ist.
    Die Verzweigungsfragen sollten dabei so nah wie möglich aneinander platziert werden.Alternativ könnte man auch ganze Abschnitte überspringen, dann werden den Teilnehmern bestimmte Fragen gar nicht mehr angezeigt.
    Beim Beispiel mit den Smartphones würde man die Frage nach der Marke bei einem “Nein” gar nicht erst aufploppen lassen.Es sollte gesagt sein, dass man dieses Überspringen nicht zu vorhersehbar gestalten sollte, da es genügend Leute gibt, die sonst fälschlicherweise “Nein” ankreuzen, um die detaillierten Fragen zu umgehen.Hierzu hat Questionstar.de dieses praktische Tool von Haus aus eingebunden, nur so als Tipp am Rande 😉
  • Primacy-Recency-Effekte schlau umgehen
    Wenn es mehrere Antwortalternativen gibt tendieren Probanden , die erste oder letzte Antwort anzukreuzen. Um diese Verzerrung zu minimieren sollte man die Antwortalternativen zahlenmäßig so gering wie möglich halten.Dann lässt sich dieser Effekt sehr gut umgehen, indem wir mehrere Versionen des Fragebogens erstellen in denen wir die Antworten randomisieren. Dabei achten wir darauf, dass jede Antwortalternative mal an erster Stelle, mal an zweiter, dritter etc. und mal an letzter Stelle steht.
  • Halo-Effekte vermeiden
    Um die bereits erwähnten Ausstrahlungseffekte einer Frage auf eine nachfolgende zu vermeiden, sollten wir diese Fragen so weit voneinander entfernt platzieren wie möglich.Dabei kann es schwierig sein, den roten Faden der Befragung beizubehalten, der ja ebenfalls sehr wichtig ist. Deswegen ist es wichtig einen Kompromiss zu finden, da es eigentlich wünschenswert ist, Fragen zu einem Thema eng aneinander zu stellen.
  • Unvoreingenommene Fragen stellen
    Dieser Punkt ist eigentlich selbsterklärend, im Beispiel mit der Frage, ob man Gras legalisieren sollte, achten wir darauf kein Argument dafür oder dagegen mit in die Frage einfließen zu lassen. Ebenso verzichten wir auf Wörter, die den Probanden dazu tendieren lassen, negativ oder positiv zu antworten.
  • “Funnel approach” benutzen
    Funnel bedeuted aus dem Englischen übersetzt “Trichter”.
    Ein Trichter ist oben weit offen und wird nach unten hin immer enger.
    Exakt das gleiche Prinzip sollten wir auf unsere Fragen anwenden, indem wir erst allgemeinere Fragen, und dann die spezifischen/detaillierten nennen.Dies tun wir ebenfalls, damit der Befragte nicht voreingenommen auf die Fragen antwortet. Zum Beispiel stellen wir zuerst die Frage, “Welche Aspekte spielen für Sie bei der Auswahl eines neuen Handytarifs eine wichtige Rolle”, und erst danach “Wie wichtig ist Ihnen unbegrenztes High-Speed-Datenvolumen bei der Auswahl eines neuen Handytarifs?”.

   

  Fazit

  Schlussendlich lassen sich zusammenfassend folgende Dinge festhalten:

  • Es gibt Reihenfolgeeffekte, die zu einer Verzerrung Umfrageergebnisse oder ihrem Abbruch führen können
  • Diese lassen sich umgehen indem man seinen Fragebogen entsprechend designed
  • Einfache, interessante Fragen am Anfang stellen
  • Zuerst nach grundlegenden, dann klassifizierenden und zum Schluss identifizierenden Informationen fragen
  • Schwierige fragen gar nicht oder erst am Ende stellen
  • Flowchart benutzen
  • Anzeige-/ Verzweigungslogik benutzen
  • Multiple-Choice-Antwortalternativen randomisieren
  • So wenig Antwortalternativen wie möglich bieten
  • Unvoreingenommene Fragen stellen
  • Zuerst allgemeine und dann spezifische Fragen stellen

   

  Schlusswort

  Jetzt weisst du, welche Reihenfolgeeffekte es alles gibt und wie du am besten mit ihnen umgehen kannst. Du hältst dich von nun an  an deine Check-Liste und schreibst so tolle Umfragen, dass dein Chef begeistert ist.
  So begeistert, dass er dich zum neuen Chef und König ernennt!

  Als erstes solltest du wohl etwas Personal freisetzen… Steve, kommst du mal bitte?

   

  Autor:

  Paul Cadenbach

   

  Quellen

  • Malhotra N., Birks D. (2006), Marketing Research An Applied Approach (2. Auflage), Pearson Education Limited
  • Schumann S. (2019)., Repräsentative Umfrage: Praxisorientierte Einführung in empirische Methoden und statistische Analyseverfahren (7.Auflage),  Walter de Gryuter
  • Bogner K., Landrock U. (2015), Antworttendenzen in standardisierten Umfragen, gesis Leibniz-Institut für Sozialwissenschaften