Schlagwort-Archive: Journalismus

Meinung machen mit Meinungsforschung

Gegen Ende meines letzten Artikels, der sich damit beschäftigte, wie wenig „Online-Umfragen“ mit echter Meinungsforschung zu tun haben, schrieb ich:

Ist das schlimm? In diesem Fall vermutlich weniger […]. Sobald damit jedoch Meinung gemacht wird und die Grenzen zwischen Unfug und Journalismus verschwimmen, wird es gefährlich.

Ich muss leider darauf zurückkommen, da ich vor einigen Tagen auf ein Beispiel gestoßen wurde, wo eben versucht wurde, auf diese Art und Weise Meinung zu machen.

Auf der Internetseite des Focus wurden die Ergebnisse einer Online-Umfrage zur Frage, ob Christian Wulff als Bundespräsident zurücktreten sollte, veröffentlicht. Der Artikel ist so kurz wie er falsch ist – oder wenigstens falsche Implikationen enthält.

Was unstrittig ist: Die Umfrageergebnisse

Der erste Absatz nach dem Vorspann (auf die Überschrift werde ich noch zurückkommen) stellt die Ergebnisse knapp und soweit korrekt dar: Es wird der Fragewortlaut genannt („Soll Bundespräsident Christian Wulff wegen der Kredit-Affäre zurücktreten?“) und das Ergebnis präsentiert: 75,3 % stimmten mit „Ja“, der Rest (24,7 %) war dagegen. Aus der Formulierung „haben wir unsere User gefragt“ kann man immerhin vermuten, dass es sich um eine Online-Umfrage handelt. Vermutlich (wobei ich das nicht weiß, da ich die Umfrage nicht gesehen habe) eine von der Sorte, die man mit einem einfachen Klick auf eine Antwort zu einer einzelnen Frage beantworten kann. Die Grundgesamtheit (also die Menge der Menschen, die überhaupt eine Chance hatten, befragt zu werden und auf die sich die Ergebnisse somit beziehen sollen) wird mit „FOCUS-Online-Leser“ angegeben.

So weit, so klar. Aber: Welche Aussagekraft haben diese Zahlen tatsächlich – und welche Probleme gibt es mit ihnen?

Problem 1: Technische Unzulänglichkeiten

Zunächst kann nie ausgeschlossen werden, dass Menschen mehrfach an der Umfrage teilnehmen. Das wird zwar mit Sicherheit durch technische Maßnahmen (Cookies, evtl. Speicherung der IP-Adresse) erschwert. Diese lassen sich jedoch mehr oder weniger einfach umgehen. Mein Browser löscht etwa alle Cookies, soweit ich es nicht explizit anders angegeben habe, automatisch beim Schließen. Werden Mehrfachabstimmungen nur auf diese Weise verhindert, muss der Browser eben ein paar Mal neu gestartet werden – ich kann jedes Mal von Neuem abstimmen. Bei IP-Sperren ist dann auch eine Neueinwahl beim Provider erforderlich – auch hier wird der Abstimmende nicht eindeutig wiedererkannt (zumal man sich hier neue Probleme einhandelt, wenn sich mehrere Menschen eine IP-Adresse teilen). Hinzu kommt, dass natürlich auch das Abstimmen mit mehreren Rechnern oder Smartphones möglich ist.

Problem 2: Nicht jeder Mensch hat eine Meinung

Auch das Gegenteil sollte man nicht vergessen: Menschen, die gar nicht abstimmen. Es fällt auf, dass die Zahl der Ja- und Nein-Prozente zusammen genau 100 % ergibt. Das ist in der seriösen Umfrageforschung quasi kaum zu erreichen, bei Online-Umfragen aber Usus: Wer mit „weiß nicht“ geantwortet hätte oder die Frage nicht beantworten wollte, wird nicht erfasst. Die Prozentzahlen geben daher nicht den Anteil an allen Befragten an, sondern den Anteil an denen, die die Frage auch beantwortet haben. Wenn aber allein fünf Prozent der Deutschen den Bundespräsidenten nicht kennen (im Artikel unten auf „Grafik zum Text“ klicken) und es ja noch viele andere Gründe gibt, eine Frage für sich nicht entscheiden zu wollen, ist es zumindest plausibel anzunehmen, dass nicht jeder, der die Frage gelesen hat, sie für sich auch beantworten konnte. Damit sind die 75,3 %, die im Ergebnis stehen, sicherlich zu hoch gegriffen. Ein Vergleich zu den Nutzerzahlen wird nicht gezogen.

Der eigentliche Knackpunkt: Die Repräsentativität

Aber, mag man einwenden, es haben sich doch genügend Menschen beteiligt:

Wie sehr das Thema die User beschäftigt, zeigt die enorm hohe Beteiligung. Es wurden mehr als 18 000 Stimmen abgegeben.

Und so wurde ich auch auf Twitter gefragt:

sind denn Umfragen wie von Die Welt mit nur 1027 Befragten repräsentativer?

Als Sozialwissenschaftler ist man immer etwas erstaunt über diese Frage, denn die Antwort lautet natürlich: Ja – wenn die Befragten durch eine angemessene Auswahlmethode bestimmt wurden, was bei einer Online-Umfrage grundsätzlich nicht der Fall ist. Wem das Wissen darüber fehlt, wie Repräsentativität zustande kommt, der kann aber tatsächlich glauben, die 18000 Stimmen wären „repräsentativ“ für die genannte Grundgesamtheit. Und der Focus gibt sich auch keine Mühe, diesen Eindruck zu widerlegen.

Wie aber erreicht man Repräsentativität? Dazu müssen wir uns ein wenig tiefer in die Niederungen der empirischen Sozialforschung begeben.

Die Menschen, über die wir eine Aussage treffen möchten, bezeichnen wir als die Grundgesamtheit. Dabei handelt es sich z.B. um die Gesamtheit der wahlberechtigten Deutschen oder auch die Gesamtheit der FOCUS-Online-Leser.

Davon zu unterscheiden ist die Gruppe der Menschen, die tatsächlich eine Chance haben, an der Umfrage teilzunehmen. Diese bezeichnet man als Auswahlgesamtheit. Bei einer Telefonumfrage ist das z.B. die Zahl der wahlberechtigten Deutschen, die einen Festnetzanschluss haben. In diesem Fall handelt es sich um eine Teilmenge der Grundgesamtheit, die relativ groß ist, aber eben nicht alle Menschen abdeckt. Wenn besonders junge Menschen häufig keinen Festnetzanschluss mehr haben, bedeutet das, dass diese Altersgruppe in der Umfrage unterrepräsentiert ist. Das Problem besteht (weniger stark) auch bei Online-Umfragen, wenn man etwa Nutzer mit deaktiviertem JavaScript oder Nutzer von bestimmten Mobilgeräten aus technischen Gründen unbeabsichtigt von der Umfrage ausschließt, ist aber durchaus auch in der seriösen Umfrageforschung nicht zu vermeiden. Man kann dort nur versuchen, die Abweichung durch geschickte Wahl der Befragungsmethode zu minimieren.

Der Knackpunkt ist aber der: Wie werden aus meiner Auswahlgesamtheit diejenigen ausgewählt, die tatsächlich befragt werden? Als stark vereinfachtes Beispiel wähle ich eine Auswahlgesamtheit von 100 Menschen, von denen 70 für eine Sache sind (etwa, dass Wulff im Amt bleibt), 26 dagegen und 4 keine Meinung haben oder die Frage nicht beantworten möchten (das entspricht dem prozentualen Ergebnis der repräsentativen Umfrage der ARD zu unserem Thema). Diese sind in der Grafik durch 100 weiße Punkte dargestellt

Möchte ich ein repräsentatives Ergebnis erhalten, so benötige ich eine Zufallsauswahl. Das bedeutet: Jeder, der sich in der Auswahlgesamtheit befindet, hat möglichst exakt dieselbe Chance, auch tatsächlich Befragter zu werden. Bei Telefonumfragen nähert man sich diesem Ziel an, indem man

  • zufällige Nummern aus dem Telefonbuch auswählt
  • die letzte Ziffer zufällig ändert, um auch diejenigen abzudecken, die nicht im Telefonbuch stehen
  • Nummern nicht nur einmal anruft, sondern so lange, bis man den Befragten erreicht, damit nicht diejenigen, die länger arbeiten, eine geringere Wahrscheinlichkeit haben, befragt zu werden
  • zufällig ein Haushaltsmitglied auswählt (etwa das volljährige Mitglied des Haushalts, welches zuletzt Geburtstag hatte), damit nicht derjenige im Haushalt, der am Häufigsten zu Hause ist, eine höhere Chance hat, befragt zu werden
  • usw.

Damit kann man lange nicht alle Probleme lösen, man kann aber viele systematische Fehler ausschließen. In unserem Beispiel habe ich durch Zufallsauswahl von 20 Befragten etwa 14 getroffen, die für den Verbleib Wulffs im Amt sind, fünf Gegner und einen der keine Meinung zu dem Thema hat. Das ergäbe ein Verhältnis von 70 % zu 25 % zu 5 % und wäre somit verhältnismäßig nahe an der Verteilung in der Auswahlgesamtheit. Bei so kleinen Zahlen dürften die Abweichungen in der Realität höher liegen; tatsächlich genügen aber rund 1000 zufällig Befragte um verhältnismäßig zuverlässige Aussagen über alle Deutschen (bei einer maximalen Abweichung von vielleicht drei oder vier Prozentpunkten) treffen zu können.

Was dagegen bei Online-Umfragen stattfindet, ist eine willkürliche Auswahl: Es kann jeder mitmachen, der mitmachen möchte. Man kann Freunde oder Bekannte auf die Umfrage aufmerksam machen, man kann den Link bei Twitter und Facebook einstellen und zum Mitmachen aufrufen usw. usf. Auf diese Weise bildet sich in politischen Umfragen nicht mehr unbedingt ab, was die Mehrheit der Nutzer denkt, sondern welche Seite ihre Anhänger besser mobilisieren konnte (so kamen im Bundestagswahlkampf 2009 auch bei manchen Umfragen Ergebnisse von 80 % und mehr für die Piratenpartei zustande). Wer gut vernetzt ist oder auf Twitter aktiv nach Hashtags sucht, wird also eher auf die Umfrage aufmerksam und hat damit eine deutlich höhere Chance, auch befragt zu werden.

In unserem kleinen Beispiel wären die Gegner nun deutlich besser vernetzt und/oder hätten eine höhere Motivation, tatsächlich abzustimmen (etwa aus ihrer Position als „Angreifer“ oder weil sie sich ihrer Sache sicherer sind). Sie verbreiten den Link zur Abstimmung weiter (natürlich vornehmlich an Gleichgesinnte), rufen zur Abstimmung auf – und schon zeigt das Ergebnis das Gegenteil dessen, was die Mehrheit denkt. Nämlich in unserem Beispiel 25 % für die eigentliche Mehrheit und 75 % für die eigentliche Minderheit…

Journalisten sollten darüber aufklären

Dieses Problem haben alle Online-Umfragen, auch wenn ihre Fragestellung (im Gegensatz zum Tübinger-Wochenblatt-Beispiel von letztem Mal) methodisch nicht zu beanstanden ist. Diese bringen häufig trotzdem ganz plausible Ergebnisse hervor – wenn eben eine Frage nicht besonders dazu motiviert, andere Leute zur Teilnahme aufzurufen. Auch dann haben wir keinerlei Repräsentativität und können die Abweichung der Antworten der Befragten von denen der Grundgesamtheit nicht mathematisch berechnen, die willkürliche Auswahl führt aber nicht zu all zu großen Verzerrungen. Sobald aber eine Frage – etwa, weil sie von aktueller politischer Brisanz ist – zum Beeinflussen der Umfrage motiviert, sind die Ergebnisse faktisch wertlos. Und da wir nicht feststellen können, wann dies der Fall war, können wir festhalten: Auf die Ergebnisse von Online-Umfragen (wenigstens bei solchen Ein-Klick-Schnellumfragen, bei denen nicht einmal eine Quotenauswahl möglich ist) sollten wir grundsätzlich nichts geben.

Übrigens: Gerade wenn ungewöhnlich viele Menschen an so einer Umfrage teilnehmen, ist dies damit (auch wenn dies zunächst konterintuitiv erscheint) ein deutliches Indiz dafür, dass ihre Aussagekraft in Zweifel zu ziehen ist.

Die Überschrift des Artikels, „FOCUS-Online-User wünschen Rücktritt Wulffs“ ist mithin auch irreführend: Sicherlich gibt es FOCUS-Online-User, die den Rücktritt Wulffs wünschen (so verstanden wäre die Aussage allerdings trivial); ob es die Mehrheit ist, wissen wir nicht und können wir durch eine solche Online-Umfrage auch nicht herausfinden.

Aufgabe der Journalisten sollte es sein, über diese Unzulänglichkeiten der eigenen Methoden aufzuklären. Wenn dies nicht geschieht, sondern im Gegenteil bewusst eine Interpretation aus den wertlosen Zahlen gezogen wird, hat dies nichts mit Meinungsforschung zu tun, sondern ist reine Meinungsmache. Oder, wie ich es nach Lektüre des FOCUS-Online-Artikels etwas polemisch ausdrückte:

Es gibt sicherlich viele sympathischere Menschen als #Wulff, aber bei einem bin ich mir sicher: Die meisten Journalisten gehören nicht dazu.

Nachtrag: Wie es richtig geht, zeigt tagesschau.de: Die Umfrage ist keineswegs aussagekräftiger, es gibt aber die Antwortmöglichkeit „Weiß nicht. / Ist mir egal.“ mit aktuell immerhin 2,4 % und den Hinweis darauf, dass es sich nicht um eine repräsentative Umfrage handelt. Eine Interpretation der Ergebnisse, die Repräsentativität implizieren würde, findet nicht statt. Und unter dem Teilnahmeformular sowie dem Ergebnis findet sich folgender Hinweis „in eigener Sache“:

Liebe User,

wir freuen uns über Ihre rege Beteiligung an unseren Umfragen!

Weniger erfreut nehmen wir zur Kenntnis, dass viele unserer Umfragen von Interessengruppen zum Anlass genommen wurden und werden, ihre jeweiligen Mitglieder zur massenhaften Teilnahme aufzurufen.

Wenn Ihnen derlei bekannt wird, schicken Sie uns doch einfach eine E-Mail an redaktion@tagesschau.de. Das hilft uns dabei, unsere Umfrageergebnisse besser einzuordnen.

Herzlichst
tagesschau.de

Veröffentlicht unter Weblog | Verschlagwortet mit , , | Hinterlasse einen Kommentar

Wie war nochmal die Frage?

Die einzige Rubrik, die ich im Tübinger Wochenblatt regelmäßig und mit… nennen wir es einmal Freude lese, ist die „Online-Umfrage“, deren Resultate direkt auf der Titelseite abgedruckt werden. Nicht, weil mich interessieren würde, was die Menschen so zu einer bestimmten Frage denken (dafür ist sie denkbar ungeeignet), sondern weil es mich immer wieder fasziniert, wie viele unterschiedliche Fragen man in eine Frage packen kann. Anders gesagt:

Wie viele Fragen würde man in einer seriösen Umfrage benötigen, um alle Aspekte abzufragen, die in eine einzige Frage und ihre Antwortmöglichkeiten gepackt wurden bzw. dort gezielt außen vor gelassen wurden?

Eigentlich bietet das Wochenblatt jede Woche wieder ein Paradebeispiel dafür, wie man es in der empirischen Sozialforschung nie machen würde – daher habe ich mir einfach mal die aktuelle Ausgabe geschnappt, um das Ganze durchzuspielen.

Die Frage

Papst-Besuch: Der höchste Vertreter der katholischen Kirche, Papst Benedikt XVI, kommt erstmals auf Staatsbesuch nach Deutschland. Was halten Sie davon?

„Was halten Sie davon?“ ist natürlich keine Frage, die einem in einer quantitativen Untersuchung je über die Lippen kommen würde (und am pseudoobjektiven Tortendiagramm sehen wir ja, dass das, was hier simuliert werden soll, offenbar quantitative Forschung ist). Die Frage ist so offen, dass man alles und nichts darauf antworten kann. Um das zu kanalisieren, gibt es daher verschiedene Antwortvorgaben, die jeweils unterschiedliche Unterstellungen beinhalten.

Die Antwortmöglichkeiten

Als gläubiger Mensch freue ich mich über den Besuch und hoffe, dass der Papst gute Worte findet.

Wer diese Antwortvorgabe wählt, gibt damit gleich die Antwort auf drei Fragen: Er sagt aus,

  1. dass er gläubig ist
  2. dass er sich auf den Papstbesuch freut
  3. dass er hofft, dass der Papst „gute Worte findet“ (was immer das heißt – ich werde darauf zurückkommen).

Umgekehrt wird damit suggeriert: Damit man sich auf den Papstbesuch freuen kann, muss man selbstverständlich gläubig sein. Ob man wohl gläubig sein und sich trotzdem nicht freuen kann?

Schade, dass er nicht nach Tübingen kommt, wo er doch auch schon gelehrt hat.

Ah ja. Ist jetzt nicht genau das, was man bei „Was halten Sie davon“ erwartet, aber etwas Lokalkolorit muss eben auch noch rein. Zählen wir das mal als Frage 4.

Ich finde, der Besuch sprengt den Rahmen. 16 000 Polizisten sind einfach zuviel für einen Mann.

Schon wieder eine neue Frage. Hier geht es ja nicht mehr um die „Freude“, sondern um die Verhältnismäßigkeit des Aufwandes. Dass sich jemand freuen könnte, obwohl er den Aufwand eigentlich für zu hoch hält? Das wäre wohl zu spitzfindig.

Abgesehen davon, dass es sich (wenn man es als einzelne Frage formulieren würde) natürlich um eine Suggestivfrage handelt: Die 16 000 Polizisten werden in Relation zu dem einen Papst gesetzt (als ob er alleine 16 000 Bodyguards benötigen würde), nicht etwa zu der Anzahl der Gläubigen: Hier nennt die Wikipedia 61 000 im Olympiastadion, 90 000 im Eichsfeld, 30 000 in Erfurt, 30 000 Jugendliche bei der Vigil in Freiburg und 100 000 Teilnehmer beim Abschlussgottesdienst. Macht zusammen runde 311 000 Menschen alleine bei den Massenveranstaltungen, für die 16 000 Polizisten schon wieder nicht ganz so übertrieben klingen.

Eine klare Botschaft an die Welt erhoffe ich mir.

Das ist jetzt spannend. Ist „eine klare Botschaft“ dasselbe wie die „guten Worte“ aus der ersten Antwortmöglichkeit? Wenn nein: Worin liegt der Unterschied? Was genau versteht derjenige darunter, der die Frage stellt – und was der, der sie hört? Ich werte das mal nicht als eigene Antwortmöglichkeit.

Eine klare Meinung habe ich nicht dazu. Außerdem bin ich Atheist.

„Außerdem“ ist auch so ein Wort, das sich in keiner seriösen Umfrage wiederfinden wird ;) Die Suggestion dagegen ist klar: Wer keine klare Meinung hat und dies in der Umfrage zum Ausdruck bringen möchte, muss sich zum Atheismus bekennen. Umgekehrt wird Atheisten offenbar keine eigene Meinung zugetraut. Jedenfalls: Wieder zwei Fragen mehr.

Wir haben also grob geschätzt sechs Fragen, die alleine in die Antwortmöglichkeiten zu einer einzigen gepresst wurden. Das, was man an Forschungsfragen stellen könnten („Freuen sich gläubige Menschen mehr auf den Papstbesuch?“, „Haben Atheisten häufiger keine eindeutige Meinung zum Papstbesuch?“) wird einfach als gegeben angenommen und nicht hinterfragt.

Was nicht gefragt wird

Ähnlich interessant wie die Unterstellungen in den Antwortmöglichkeiten sind die Punkte, die gar nicht erst zur Auswahl gestellt werden. Wer gegen den Papstbesuch ist, hat nur die Möglichkeit, den großen Polizeieinsatz zu kritisieren (was dann auch 48,7 % der Antwortenden getan haben). Andere Gründe (Wunsch nach stärkerer Trennung von Kirche und Staat, vermutete Homophobie, Sexismus und Antisemitismus, eine angeblich „menschenfeindliche Geschlechter- und Sexualpolitik“) scheinen nicht von Bedeutung zu sein. Jetzt muss man die Kritikpunkte ja nicht teilen – und selbst wenn man an einzelnen Punkten Kritik übt, kann man den Besuch des Papstes begrüßen. Aber wer sie so sehr ausblendet, zeigt auch, dass er nicht an einer ernsthaften Antwort interessiert ist.

Und dann wäre da noch…

Der Hinweis, dass es sich nicht um eine repräsentative Umfrage handelt, fehlt. Es wird nicht einmal erwähnt, wie viele Menschen an der Umfrage teilgenommen haben (wahrscheinlich waren es deutlich unter 1000; sonst hätte man vermutlich die Zahl dazugeschrieben, damit es so aussieht wie bei einer repräsentativen Umfrage) – die Zahl findet sich auch im Online-Archiv nicht. Von so Dingen wie Standardabweichung brauchen wir hier ohnehin nicht anzufangen.

Wie wäre es richtig?

Mal ins Unreine gesprochen und ohne Anspruch auf Vollständigkeit: Repräsentative Auswahl der Befragten (etwa über eine Telefonumfrage) und etwa die folgenden Fragen:

  1. Bezeichnen Sie sich selbst als gläubig? (evtl. nur 3er- oder 4er-Skala; für die Nicht-Gläubigen ggf. Frage 2 überspringen)
  2. Welcher Konfession fühlen Sie sich zugehörig? (Hier wäre aber noch zu überlegen, ob man besser die gefühlte oder die offizielle Zugehörigkeit abfragt – beides hat Vor- und Nachteile)
  3. Auf einer Skala von …, wie sehr würden Sie den folgenden Aussagen zustimmen? „Ich freue mich, dass der Papst nach Deutschland kommt“ (diese und die folgenden Fragen auf einer Fünfer-, Siebener- oder Neuner-Skala von „stimme gar nicht zu“ bis „stimme voll und ganz zu“)
  4. „Ich hoffe, dass der Papst etwas zur Ökumene … zum Missbrauch … zum Frauenpriestertum … sagt“ (und noch viele weitere Fragen; damit kann man doch viel mehr anfangen als mit „gute Worte“ oder „klare Botschaft“)
  5. „Es hätte mich gefreut, wenn der Papst auch nach Tübingen gekommen wäre“ (wenn das Lokalblatt das eben unbedingt wissen will…)
  6. „Der Einsatz von 16000 Polizisten für den Papstbesuch ist nicht verhältnismäßig“
  7. „Ob der Papst nach Deutschland kommt oder nicht, interessiert mich nicht“
  8. Dazu noch ein paar Aussagen zu Homophobie, Antisemitismus, Laizismus usw., denen man zustimmen kann oder nicht. Evtl. müsste hier noch zwischen der Einstellung des Befragten zu Homophobie usw. und seiner Meinung über die Position der Kirche unterschieden werden.

Sagen wir so: Wir würden damit gut einen ganzen Fragebogen zusammenbekommen.

Fazit

Ist das schlimm? In diesem Fall vermutlich weniger: Es ist, so hoffe ich zumindest, auch für den Laien zu erkennen, dass die Umfrage trotz des schönen Tortendiagramms eher dem Bereich der Unterhaltung als dem Journalismus zuzuordnen ist. Sobald damit jedoch Meinung gemacht wird und die Grenzen zwischen Unfug und Journalismus verschwimmen, wird es gefährlich.

Wenn Sie also einmal einleuchtende Zahlen sehen: Zählen Sie erstmal selbst die Fragen. Schauen, wer durch die Antwortmöglichkeiten nicht abgedeckt wurde. Und alles, was nicht repräsenativ ist (bevorzugt durch Zufalls- und nicht durch Quotenstichprobe) fällt ohnehin nicht in den Bereich der Information.

Veröffentlicht unter Weblog | Verschlagwortet mit , , | 5 Kommentare