Wie war nochmal die Frage?

Die einzige Rubrik, die ich im Tübinger Wochenblatt regelmäßig und mit… nennen wir es einmal Freude lese, ist die „Online-Umfrage“, deren Resultate direkt auf der Titelseite abgedruckt werden. Nicht, weil mich interessieren würde, was die Menschen so zu einer bestimmten Frage denken (dafür ist sie denkbar ungeeignet), sondern weil es mich immer wieder fasziniert, wie viele unterschiedliche Fragen man in eine Frage packen kann. Anders gesagt:

Wie viele Fragen würde man in einer seriösen Umfrage benötigen, um alle Aspekte abzufragen, die in eine einzige Frage und ihre Antwortmöglichkeiten gepackt wurden bzw. dort gezielt außen vor gelassen wurden?

Eigentlich bietet das Wochenblatt jede Woche wieder ein Paradebeispiel dafür, wie man es in der empirischen Sozialforschung nie machen würde – daher habe ich mir einfach mal die aktuelle Ausgabe geschnappt, um das Ganze durchzuspielen.

Die Frage

Papst-Besuch: Der höchste Vertreter der katholischen Kirche, Papst Benedikt XVI, kommt erstmals auf Staatsbesuch nach Deutschland. Was halten Sie davon?

„Was halten Sie davon?“ ist natürlich keine Frage, die einem in einer quantitativen Untersuchung je über die Lippen kommen würde (und am pseudoobjektiven Tortendiagramm sehen wir ja, dass das, was hier simuliert werden soll, offenbar quantitative Forschung ist). Die Frage ist so offen, dass man alles und nichts darauf antworten kann. Um das zu kanalisieren, gibt es daher verschiedene Antwortvorgaben, die jeweils unterschiedliche Unterstellungen beinhalten.

Die Antwortmöglichkeiten

Als gläubiger Mensch freue ich mich über den Besuch und hoffe, dass der Papst gute Worte findet.

Wer diese Antwortvorgabe wählt, gibt damit gleich die Antwort auf drei Fragen: Er sagt aus,

  1. dass er gläubig ist
  2. dass er sich auf den Papstbesuch freut
  3. dass er hofft, dass der Papst „gute Worte findet“ (was immer das heißt – ich werde darauf zurückkommen).

Umgekehrt wird damit suggeriert: Damit man sich auf den Papstbesuch freuen kann, muss man selbstverständlich gläubig sein. Ob man wohl gläubig sein und sich trotzdem nicht freuen kann?

Schade, dass er nicht nach Tübingen kommt, wo er doch auch schon gelehrt hat.

Ah ja. Ist jetzt nicht genau das, was man bei „Was halten Sie davon“ erwartet, aber etwas Lokalkolorit muss eben auch noch rein. Zählen wir das mal als Frage 4.

Ich finde, der Besuch sprengt den Rahmen. 16 000 Polizisten sind einfach zuviel für einen Mann.

Schon wieder eine neue Frage. Hier geht es ja nicht mehr um die „Freude“, sondern um die Verhältnismäßigkeit des Aufwandes. Dass sich jemand freuen könnte, obwohl er den Aufwand eigentlich für zu hoch hält? Das wäre wohl zu spitzfindig.

Abgesehen davon, dass es sich (wenn man es als einzelne Frage formulieren würde) natürlich um eine Suggestivfrage handelt: Die 16 000 Polizisten werden in Relation zu dem einen Papst gesetzt (als ob er alleine 16 000 Bodyguards benötigen würde), nicht etwa zu der Anzahl der Gläubigen: Hier nennt die Wikipedia 61 000 im Olympiastadion, 90 000 im Eichsfeld, 30 000 in Erfurt, 30 000 Jugendliche bei der Vigil in Freiburg und 100 000 Teilnehmer beim Abschlussgottesdienst. Macht zusammen runde 311 000 Menschen alleine bei den Massenveranstaltungen, für die 16 000 Polizisten schon wieder nicht ganz so übertrieben klingen.

Eine klare Botschaft an die Welt erhoffe ich mir.

Das ist jetzt spannend. Ist „eine klare Botschaft“ dasselbe wie die „guten Worte“ aus der ersten Antwortmöglichkeit? Wenn nein: Worin liegt der Unterschied? Was genau versteht derjenige darunter, der die Frage stellt – und was der, der sie hört? Ich werte das mal nicht als eigene Antwortmöglichkeit.

Eine klare Meinung habe ich nicht dazu. Außerdem bin ich Atheist.

„Außerdem“ ist auch so ein Wort, das sich in keiner seriösen Umfrage wiederfinden wird ;) Die Suggestion dagegen ist klar: Wer keine klare Meinung hat und dies in der Umfrage zum Ausdruck bringen möchte, muss sich zum Atheismus bekennen. Umgekehrt wird Atheisten offenbar keine eigene Meinung zugetraut. Jedenfalls: Wieder zwei Fragen mehr.

Wir haben also grob geschätzt sechs Fragen, die alleine in die Antwortmöglichkeiten zu einer einzigen gepresst wurden. Das, was man an Forschungsfragen stellen könnten („Freuen sich gläubige Menschen mehr auf den Papstbesuch?“, „Haben Atheisten häufiger keine eindeutige Meinung zum Papstbesuch?“) wird einfach als gegeben angenommen und nicht hinterfragt.

Was nicht gefragt wird

Ähnlich interessant wie die Unterstellungen in den Antwortmöglichkeiten sind die Punkte, die gar nicht erst zur Auswahl gestellt werden. Wer gegen den Papstbesuch ist, hat nur die Möglichkeit, den großen Polizeieinsatz zu kritisieren (was dann auch 48,7 % der Antwortenden getan haben). Andere Gründe (Wunsch nach stärkerer Trennung von Kirche und Staat, vermutete Homophobie, Sexismus und Antisemitismus, eine angeblich „menschenfeindliche Geschlechter- und Sexualpolitik“) scheinen nicht von Bedeutung zu sein. Jetzt muss man die Kritikpunkte ja nicht teilen – und selbst wenn man an einzelnen Punkten Kritik übt, kann man den Besuch des Papstes begrüßen. Aber wer sie so sehr ausblendet, zeigt auch, dass er nicht an einer ernsthaften Antwort interessiert ist.

Und dann wäre da noch…

Der Hinweis, dass es sich nicht um eine repräsentative Umfrage handelt, fehlt. Es wird nicht einmal erwähnt, wie viele Menschen an der Umfrage teilgenommen haben (wahrscheinlich waren es deutlich unter 1000; sonst hätte man vermutlich die Zahl dazugeschrieben, damit es so aussieht wie bei einer repräsentativen Umfrage) – die Zahl findet sich auch im Online-Archiv nicht. Von so Dingen wie Standardabweichung brauchen wir hier ohnehin nicht anzufangen.

Wie wäre es richtig?

Mal ins Unreine gesprochen und ohne Anspruch auf Vollständigkeit: Repräsentative Auswahl der Befragten (etwa über eine Telefonumfrage) und etwa die folgenden Fragen:

  1. Bezeichnen Sie sich selbst als gläubig? (evtl. nur 3er- oder 4er-Skala; für die Nicht-Gläubigen ggf. Frage 2 überspringen)
  2. Welcher Konfession fühlen Sie sich zugehörig? (Hier wäre aber noch zu überlegen, ob man besser die gefühlte oder die offizielle Zugehörigkeit abfragt – beides hat Vor- und Nachteile)
  3. Auf einer Skala von …, wie sehr würden Sie den folgenden Aussagen zustimmen? „Ich freue mich, dass der Papst nach Deutschland kommt“ (diese und die folgenden Fragen auf einer Fünfer-, Siebener- oder Neuner-Skala von „stimme gar nicht zu“ bis „stimme voll und ganz zu“)
  4. „Ich hoffe, dass der Papst etwas zur Ökumene … zum Missbrauch … zum Frauenpriestertum … sagt“ (und noch viele weitere Fragen; damit kann man doch viel mehr anfangen als mit „gute Worte“ oder „klare Botschaft“)
  5. „Es hätte mich gefreut, wenn der Papst auch nach Tübingen gekommen wäre“ (wenn das Lokalblatt das eben unbedingt wissen will…)
  6. „Der Einsatz von 16000 Polizisten für den Papstbesuch ist nicht verhältnismäßig“
  7. „Ob der Papst nach Deutschland kommt oder nicht, interessiert mich nicht“
  8. Dazu noch ein paar Aussagen zu Homophobie, Antisemitismus, Laizismus usw., denen man zustimmen kann oder nicht. Evtl. müsste hier noch zwischen der Einstellung des Befragten zu Homophobie usw. und seiner Meinung über die Position der Kirche unterschieden werden.

Sagen wir so: Wir würden damit gut einen ganzen Fragebogen zusammenbekommen.

Fazit

Ist das schlimm? In diesem Fall vermutlich weniger: Es ist, so hoffe ich zumindest, auch für den Laien zu erkennen, dass die Umfrage trotz des schönen Tortendiagramms eher dem Bereich der Unterhaltung als dem Journalismus zuzuordnen ist. Sobald damit jedoch Meinung gemacht wird und die Grenzen zwischen Unfug und Journalismus verschwimmen, wird es gefährlich.

Wenn Sie also einmal einleuchtende Zahlen sehen: Zählen Sie erstmal selbst die Fragen. Schauen, wer durch die Antwortmöglichkeiten nicht abgedeckt wurde. Und alles, was nicht repräsenativ ist (bevorzugt durch Zufalls- und nicht durch Quotenstichprobe) fällt ohnehin nicht in den Bereich der Information.

Dieser Beitrag wurde unter Weblog abgelegt und mit , , verschlagwortet. Setze ein Lesezeichen auf den Permalink.

5 Antworten auf Wie war nochmal die Frage?

  1. Benjamin sagt:

    Danke für das schöne und genüssliche Aufdröseln :-) Man sollte da draußen wirklich keine Wissenschaftlichkeit erwarten. Das erlebe ich als Ökonom ständig. Und diese fehlende Wissenschaftlichkeit des Volkes ist das eigentliche Problem unserer Zeit, völlig unabhängig was man vom Papstbesuch hielt.

  2. Raventhird sagt:

    „Man sollte da draußen wirklich keine Wissenschaftlichkeit erwarten.“

    So sehen das wohl viele, allen voran die „Journalisten“ selbst. Ist diese Einstellung nicht Teil des Problems?

  3. Farris Spaugh sagt:

    Nicht zu vergessen, dass da jeder mehrfach abstimmen darf…

  4. Anon sagt:

    Aber auch die Frage 1. ist zweifelhaft: Bedeutet „gläubig“, an Gott aim Sinn der Kirche glauben oder allgemein ein höheres Wesen? Es gibt auch konvessionslose, welche dennoch an einen Gott glauben. Nur ohne die „Richtlinien“ der Kirche oder Religionen.

  5. Pingback: Meinung machen mit Meinungsforschung | Hannes Griepentrog

Hinterlasse eine Antwort

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind markiert *

Du kannst folgende HTML-Tags benutzen: <a href="" title=""> <abbr title=""> <acronym title=""> <b> <blockquote cite=""> <cite> <code> <del datetime=""> <em> <i> <q cite=""> <strike> <strong>