Meinung machen mit Meinungsforschung

Gegen Ende meines letzten Artikels, der sich damit beschäftigte, wie wenig „Online-Umfragen“ mit echter Meinungsforschung zu tun haben, schrieb ich:

Ist das schlimm? In diesem Fall vermutlich weniger […]. Sobald damit jedoch Meinung gemacht wird und die Grenzen zwischen Unfug und Journalismus verschwimmen, wird es gefährlich.

Ich muss leider darauf zurückkommen, da ich vor einigen Tagen auf ein Beispiel gestoßen wurde, wo eben versucht wurde, auf diese Art und Weise Meinung zu machen.

Auf der Internetseite des Focus wurden die Ergebnisse einer Online-Umfrage zur Frage, ob Christian Wulff als Bundespräsident zurücktreten sollte, veröffentlicht. Der Artikel ist so kurz wie er falsch ist – oder wenigstens falsche Implikationen enthält.

Was unstrittig ist: Die Umfrageergebnisse

Der erste Absatz nach dem Vorspann (auf die Überschrift werde ich noch zurückkommen) stellt die Ergebnisse knapp und soweit korrekt dar: Es wird der Fragewortlaut genannt („Soll Bundespräsident Christian Wulff wegen der Kredit-Affäre zurücktreten?“) und das Ergebnis präsentiert: 75,3 % stimmten mit „Ja“, der Rest (24,7 %) war dagegen. Aus der Formulierung „haben wir unsere User gefragt“ kann man immerhin vermuten, dass es sich um eine Online-Umfrage handelt. Vermutlich (wobei ich das nicht weiß, da ich die Umfrage nicht gesehen habe) eine von der Sorte, die man mit einem einfachen Klick auf eine Antwort zu einer einzelnen Frage beantworten kann. Die Grundgesamtheit (also die Menge der Menschen, die überhaupt eine Chance hatten, befragt zu werden und auf die sich die Ergebnisse somit beziehen sollen) wird mit „FOCUS-Online-Leser“ angegeben.

So weit, so klar. Aber: Welche Aussagekraft haben diese Zahlen tatsächlich – und welche Probleme gibt es mit ihnen?

Problem 1: Technische Unzulänglichkeiten

Zunächst kann nie ausgeschlossen werden, dass Menschen mehrfach an der Umfrage teilnehmen. Das wird zwar mit Sicherheit durch technische Maßnahmen (Cookies, evtl. Speicherung der IP-Adresse) erschwert. Diese lassen sich jedoch mehr oder weniger einfach umgehen. Mein Browser löscht etwa alle Cookies, soweit ich es nicht explizit anders angegeben habe, automatisch beim Schließen. Werden Mehrfachabstimmungen nur auf diese Weise verhindert, muss der Browser eben ein paar Mal neu gestartet werden – ich kann jedes Mal von Neuem abstimmen. Bei IP-Sperren ist dann auch eine Neueinwahl beim Provider erforderlich – auch hier wird der Abstimmende nicht eindeutig wiedererkannt (zumal man sich hier neue Probleme einhandelt, wenn sich mehrere Menschen eine IP-Adresse teilen). Hinzu kommt, dass natürlich auch das Abstimmen mit mehreren Rechnern oder Smartphones möglich ist.

Problem 2: Nicht jeder Mensch hat eine Meinung

Auch das Gegenteil sollte man nicht vergessen: Menschen, die gar nicht abstimmen. Es fällt auf, dass die Zahl der Ja- und Nein-Prozente zusammen genau 100 % ergibt. Das ist in der seriösen Umfrageforschung quasi kaum zu erreichen, bei Online-Umfragen aber Usus: Wer mit „weiß nicht“ geantwortet hätte oder die Frage nicht beantworten wollte, wird nicht erfasst. Die Prozentzahlen geben daher nicht den Anteil an allen Befragten an, sondern den Anteil an denen, die die Frage auch beantwortet haben. Wenn aber allein fünf Prozent der Deutschen den Bundespräsidenten nicht kennen (im Artikel unten auf „Grafik zum Text“ klicken) und es ja noch viele andere Gründe gibt, eine Frage für sich nicht entscheiden zu wollen, ist es zumindest plausibel anzunehmen, dass nicht jeder, der die Frage gelesen hat, sie für sich auch beantworten konnte. Damit sind die 75,3 %, die im Ergebnis stehen, sicherlich zu hoch gegriffen. Ein Vergleich zu den Nutzerzahlen wird nicht gezogen.

Der eigentliche Knackpunkt: Die Repräsentativität

Aber, mag man einwenden, es haben sich doch genügend Menschen beteiligt:

Wie sehr das Thema die User beschäftigt, zeigt die enorm hohe Beteiligung. Es wurden mehr als 18 000 Stimmen abgegeben.

Und so wurde ich auch auf Twitter gefragt:

sind denn Umfragen wie von Die Welt mit nur 1027 Befragten repräsentativer?

Als Sozialwissenschaftler ist man immer etwas erstaunt über diese Frage, denn die Antwort lautet natürlich: Ja – wenn die Befragten durch eine angemessene Auswahlmethode bestimmt wurden, was bei einer Online-Umfrage grundsätzlich nicht der Fall ist. Wem das Wissen darüber fehlt, wie Repräsentativität zustande kommt, der kann aber tatsächlich glauben, die 18000 Stimmen wären „repräsentativ“ für die genannte Grundgesamtheit. Und der Focus gibt sich auch keine Mühe, diesen Eindruck zu widerlegen.

Wie aber erreicht man Repräsentativität? Dazu müssen wir uns ein wenig tiefer in die Niederungen der empirischen Sozialforschung begeben.

Die Menschen, über die wir eine Aussage treffen möchten, bezeichnen wir als die Grundgesamtheit. Dabei handelt es sich z.B. um die Gesamtheit der wahlberechtigten Deutschen oder auch die Gesamtheit der FOCUS-Online-Leser.

Davon zu unterscheiden ist die Gruppe der Menschen, die tatsächlich eine Chance haben, an der Umfrage teilzunehmen. Diese bezeichnet man als Auswahlgesamtheit. Bei einer Telefonumfrage ist das z.B. die Zahl der wahlberechtigten Deutschen, die einen Festnetzanschluss haben. In diesem Fall handelt es sich um eine Teilmenge der Grundgesamtheit, die relativ groß ist, aber eben nicht alle Menschen abdeckt. Wenn besonders junge Menschen häufig keinen Festnetzanschluss mehr haben, bedeutet das, dass diese Altersgruppe in der Umfrage unterrepräsentiert ist. Das Problem besteht (weniger stark) auch bei Online-Umfragen, wenn man etwa Nutzer mit deaktiviertem JavaScript oder Nutzer von bestimmten Mobilgeräten aus technischen Gründen unbeabsichtigt von der Umfrage ausschließt, ist aber durchaus auch in der seriösen Umfrageforschung nicht zu vermeiden. Man kann dort nur versuchen, die Abweichung durch geschickte Wahl der Befragungsmethode zu minimieren.

Der Knackpunkt ist aber der: Wie werden aus meiner Auswahlgesamtheit diejenigen ausgewählt, die tatsächlich befragt werden? Als stark vereinfachtes Beispiel wähle ich eine Auswahlgesamtheit von 100 Menschen, von denen 70 für eine Sache sind (etwa, dass Wulff im Amt bleibt), 26 dagegen und 4 keine Meinung haben oder die Frage nicht beantworten möchten (das entspricht dem prozentualen Ergebnis der repräsentativen Umfrage der ARD zu unserem Thema). Diese sind in der Grafik durch 100 weiße Punkte dargestellt

Möchte ich ein repräsentatives Ergebnis erhalten, so benötige ich eine Zufallsauswahl. Das bedeutet: Jeder, der sich in der Auswahlgesamtheit befindet, hat möglichst exakt dieselbe Chance, auch tatsächlich Befragter zu werden. Bei Telefonumfragen nähert man sich diesem Ziel an, indem man

  • zufällige Nummern aus dem Telefonbuch auswählt
  • die letzte Ziffer zufällig ändert, um auch diejenigen abzudecken, die nicht im Telefonbuch stehen
  • Nummern nicht nur einmal anruft, sondern so lange, bis man den Befragten erreicht, damit nicht diejenigen, die länger arbeiten, eine geringere Wahrscheinlichkeit haben, befragt zu werden
  • zufällig ein Haushaltsmitglied auswählt (etwa das volljährige Mitglied des Haushalts, welches zuletzt Geburtstag hatte), damit nicht derjenige im Haushalt, der am Häufigsten zu Hause ist, eine höhere Chance hat, befragt zu werden
  • usw.

Damit kann man lange nicht alle Probleme lösen, man kann aber viele systematische Fehler ausschließen. In unserem Beispiel habe ich durch Zufallsauswahl von 20 Befragten etwa 14 getroffen, die für den Verbleib Wulffs im Amt sind, fünf Gegner und einen der keine Meinung zu dem Thema hat. Das ergäbe ein Verhältnis von 70 % zu 25 % zu 5 % und wäre somit verhältnismäßig nahe an der Verteilung in der Auswahlgesamtheit. Bei so kleinen Zahlen dürften die Abweichungen in der Realität höher liegen; tatsächlich genügen aber rund 1000 zufällig Befragte um verhältnismäßig zuverlässige Aussagen über alle Deutschen (bei einer maximalen Abweichung von vielleicht drei oder vier Prozentpunkten) treffen zu können.

Was dagegen bei Online-Umfragen stattfindet, ist eine willkürliche Auswahl: Es kann jeder mitmachen, der mitmachen möchte. Man kann Freunde oder Bekannte auf die Umfrage aufmerksam machen, man kann den Link bei Twitter und Facebook einstellen und zum Mitmachen aufrufen usw. usf. Auf diese Weise bildet sich in politischen Umfragen nicht mehr unbedingt ab, was die Mehrheit der Nutzer denkt, sondern welche Seite ihre Anhänger besser mobilisieren konnte (so kamen im Bundestagswahlkampf 2009 auch bei manchen Umfragen Ergebnisse von 80 % und mehr für die Piratenpartei zustande). Wer gut vernetzt ist oder auf Twitter aktiv nach Hashtags sucht, wird also eher auf die Umfrage aufmerksam und hat damit eine deutlich höhere Chance, auch befragt zu werden.

In unserem kleinen Beispiel wären die Gegner nun deutlich besser vernetzt und/oder hätten eine höhere Motivation, tatsächlich abzustimmen (etwa aus ihrer Position als „Angreifer“ oder weil sie sich ihrer Sache sicherer sind). Sie verbreiten den Link zur Abstimmung weiter (natürlich vornehmlich an Gleichgesinnte), rufen zur Abstimmung auf – und schon zeigt das Ergebnis das Gegenteil dessen, was die Mehrheit denkt. Nämlich in unserem Beispiel 25 % für die eigentliche Mehrheit und 75 % für die eigentliche Minderheit…

Journalisten sollten darüber aufklären

Dieses Problem haben alle Online-Umfragen, auch wenn ihre Fragestellung (im Gegensatz zum Tübinger-Wochenblatt-Beispiel von letztem Mal) methodisch nicht zu beanstanden ist. Diese bringen häufig trotzdem ganz plausible Ergebnisse hervor – wenn eben eine Frage nicht besonders dazu motiviert, andere Leute zur Teilnahme aufzurufen. Auch dann haben wir keinerlei Repräsentativität und können die Abweichung der Antworten der Befragten von denen der Grundgesamtheit nicht mathematisch berechnen, die willkürliche Auswahl führt aber nicht zu all zu großen Verzerrungen. Sobald aber eine Frage – etwa, weil sie von aktueller politischer Brisanz ist – zum Beeinflussen der Umfrage motiviert, sind die Ergebnisse faktisch wertlos. Und da wir nicht feststellen können, wann dies der Fall war, können wir festhalten: Auf die Ergebnisse von Online-Umfragen (wenigstens bei solchen Ein-Klick-Schnellumfragen, bei denen nicht einmal eine Quotenauswahl möglich ist) sollten wir grundsätzlich nichts geben.

Übrigens: Gerade wenn ungewöhnlich viele Menschen an so einer Umfrage teilnehmen, ist dies damit (auch wenn dies zunächst konterintuitiv erscheint) ein deutliches Indiz dafür, dass ihre Aussagekraft in Zweifel zu ziehen ist.

Die Überschrift des Artikels, „FOCUS-Online-User wünschen Rücktritt Wulffs“ ist mithin auch irreführend: Sicherlich gibt es FOCUS-Online-User, die den Rücktritt Wulffs wünschen (so verstanden wäre die Aussage allerdings trivial); ob es die Mehrheit ist, wissen wir nicht und können wir durch eine solche Online-Umfrage auch nicht herausfinden.

Aufgabe der Journalisten sollte es sein, über diese Unzulänglichkeiten der eigenen Methoden aufzuklären. Wenn dies nicht geschieht, sondern im Gegenteil bewusst eine Interpretation aus den wertlosen Zahlen gezogen wird, hat dies nichts mit Meinungsforschung zu tun, sondern ist reine Meinungsmache. Oder, wie ich es nach Lektüre des FOCUS-Online-Artikels etwas polemisch ausdrückte:

Es gibt sicherlich viele sympathischere Menschen als #Wulff, aber bei einem bin ich mir sicher: Die meisten Journalisten gehören nicht dazu.

Nachtrag: Wie es richtig geht, zeigt tagesschau.de: Die Umfrage ist keineswegs aussagekräftiger, es gibt aber die Antwortmöglichkeit „Weiß nicht. / Ist mir egal.“ mit aktuell immerhin 2,4 % und den Hinweis darauf, dass es sich nicht um eine repräsentative Umfrage handelt. Eine Interpretation der Ergebnisse, die Repräsentativität implizieren würde, findet nicht statt. Und unter dem Teilnahmeformular sowie dem Ergebnis findet sich folgender Hinweis „in eigener Sache“:

Liebe User,

wir freuen uns über Ihre rege Beteiligung an unseren Umfragen!

Weniger erfreut nehmen wir zur Kenntnis, dass viele unserer Umfragen von Interessengruppen zum Anlass genommen wurden und werden, ihre jeweiligen Mitglieder zur massenhaften Teilnahme aufzurufen.

Wenn Ihnen derlei bekannt wird, schicken Sie uns doch einfach eine E-Mail an redaktion@tagesschau.de. Das hilft uns dabei, unsere Umfrageergebnisse besser einzuordnen.

Herzlichst
tagesschau.de

Dieser Beitrag wurde unter Weblog abgelegt und mit , , verschlagwortet. Setze ein Lesezeichen auf den Permalink.

Hinterlasse eine Antwort

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind markiert *

Du kannst folgende HTML-Tags benutzen: <a href="" title=""> <abbr title=""> <acronym title=""> <b> <blockquote cite=""> <cite> <code> <del datetime=""> <em> <i> <q cite=""> <strike> <strong>