Ich habe schon einige Umfragen begleitet oder durchgeführt. An der Uni viele Vorlesungsumfragen (habe das mal für ein paar Jahre organisiert und ausgewertet) und später dann weniger selber gemacht, aber halt die Auswertungen diskutiert mit professionellen Anbietern.
Teilnehmerzahlen waren da immer recht hoch. Aber halt die Aussagekraft immer ein wenig schwierig, wenn die Fragen zu sehr ausgeufert sind.
Der Hinweis direkt dazu: immer von hinten arbeiten. Welche Aussage erwarte ich von einer Umfrage? Was muss ich fragen, um eine solche Aussage treffen zu können (oder halt zu verwerfen)? Und dann erst in die Fragen rein gehen. Und beim Design dann halt auch Kontrollfragen drin haben, um nachher die Leute rausschmeißen zu können, die nur irgendwas ankreuzen ohne nachzudenken. Die eine Frage passt da ganz gut, ist aber zu offensichtlich.
Für die Umfrage stellt sich mir halt die Frage: was ist der Mehrwert wenn man eine so starke Unterteilung der Antworten hat gegenüber ja/nein/vielleicht? Und rechtfertigt dieser Mehrwert die unweigerlich schlechtere statistische Aussagekraft? Ich behaupte mal: nein, es sei denn da nehmen deutlich über 1000 Leute teil.
Viele nehmen als Antwortoptionen auch Ja/überwiegend ja/vielleicht/überwiegend nein/nein und fassen dann die beiden ja- und die beiden nein-Kategorien zusammen. Der Hintergrund dazu: viele Menschen tun sich schwer damit, sich direkt festzulegen. Daher antworten bei den 3 Antwortoptionen viele mit vielleicht. Wenn man 5 anbietet, dann sind überraschend viele bei den beiden mit überwiegend dabei. Die kann man dann ruhig als ja und nein Antworten zählen, weil die Teilnehmer ja eine Präferenz für diese Antwort angegeben haben. Die vielen "Vielleicht"-Antworten bei den 3 Optionen helfen bei der Ableitung einer Aussage überhaupt nicht weiter.
So viele Antwortabstufungen wie in der Umfrage hier, sind halt nicht hilfreich, weil die Leute viel zu viel Zeit damit verschwenden zu überlegen, was sie jetzt genau ankreuzen sollen. Und man hinterher aus der Verteilung der Abstufungen eh kaum Schlüsse ziehen kann.
Das ist aus meiner Sicht gerade bei Studienarbeiten häufig ein Manko: die Studenten haben im Studium überhaupt nicht gelernt, wie man gute Umfragen designed (da könnte man eine eigenen 2h-Vorlesung zu machen). Und den Betreuern ist auch recht egal, bzw. kennen die sich auch nicht wirklich aus. Die Studis stecken dann viel Arbeit in die Umfragen und die Rekrutierung der Teilnehmenden und am Ende kommt wenig Belastbares dabei raus. Für die Abschlussarbeit reicht das in der Regel auch aus und das ist auch ok so. Aber so richtig weiter bringt es einen halt nicht...
Wow, vielen Dank für die spannenden Erklärungen. Du hast leider recht, mein Betreuer ist nicht sonderlich versiert, wenn es um Umfragen geht. Leider hat aber auch kein anderer potentieller Betreuer an unserem Institut mehr Erfahrung auf dem Gebiet. Vermutlich weil Meinungsumfragen schon recht selten in der Translationswissenschaft zum Einsatz kommen. Er gibt sich aber immerhin Mühe.
Mein Plan für die Auswertung war ursprünglich, dass ich mit Durchschnittswerten arbeite. D. h. ich hätte für die einzelnen Begriffe ermittelt, wie diese durchschnittlich bewertet wurden, um dann einen Vergleich zwischen den Begriffen anstellen zu können. Anders wäre es auch kaum möglich, da die Umfrage insgesamt ca. 100 Begriffe enthält und zu jedem Begriff 4 Skalen + die Übersetzungsvorschläge. Die Begriffe habe ich schon im Voraus fünf Übersetzungsstrategien zugeordnet, basierend auf der Literatur zum Thema. Letztlich war meine Hoffnung, dass sich durch die Durchschnittswerte am Ende herauskristallisiert, welche Übersetzungsstrategien am beliebtesten sind, sowohl insgesamt als auch im Hinblick auf die Kriterien Verständlichkeit, Klang und Natürlichkeit, die in der Umfrage erfragt werden. Die 10-er-Skalen habe ich verwendet, weil ich dachte, dass es so leichter ist, die Begriffe intuitiv zu bewerten, wie man es ja auch beim Spielen unweigerlich tut. Denn so gibt es für die einzelnen Abstufungen keine genaue Bezeichnung, die man sich durch den Kopf gehen lassen muss.
Aber es stimmt schon, eventuell erziele ich damit genau den gegenteiligen Effekt, und die Teilnehmer haben dadurch Schwierigkeiten, sich zu entscheiden. Deine Kritik ist jedenfalls super hilfreich und ich bin gerade sehr froh, dass ich noch keinen Zeitdruck mit der Arbeit habe.
Ich werde deine Kritik auf jeden Fall mit meinem Betreuer besprechen. Mal schauen, was er dazu sagt.
Momentan habe ich knapp 300 Teilnehmer, also bezweifle ich, dass ich über 1000 komme.
Danke nochmal für deine ausführliche und fachkundige Kritik! Das weiß ich sehr zu schätzen!