Survey-Kritik: Reaktion auf Gutachten

Der „Glücksspiel-Survey 2021“ des ISD Hamburg und der Universität Bremen taugt wegen unter anderem gravierender methodischer Fehler nicht als wissenschaftliche Grundlage für eine politische Diskussion über problematisches Glücksspiel. Zu diesem folgenreichen Schluss kommt die Statistikerin Katharina Schüller in einem aktuellen Gutachten, initiiert von allen Verbänden der privaten Glücksspielanbieter.

Umgehende Stellungnahme

Auf diese Kritik reagieren die Autoren des „Glücksspiel-Survey 2021” Prof. Dr. Gerhard Meyer (Universität Bremen) Dr. Jens Kalke (ISD-Hamburg), Dr. Sven Buth (ISD-Hamburg) und Dr. Holger Liljeberg (INFO GmbH) umgehend mit folgender Stellungnahme:

„Frau Katharina Schüller (STAT-UP GmbH) hat im Auftrag von vier Verbänden der privaten Glücksspielindustrie ein Gutachten zum Glücksspiel-Survey 2021 (GS-Survey) verfasst. Die vier Fachverbände vertreten die Interessen der bundesdeutschen Anbieter von Glücksspielformen, die nach dem nationalen und internationalen Kenntnisstand ein besonders hohes Gefährdungspotential aufweisen (Geld- und Glücksspielautomaten, Kasinospiele, Sportwetten).

Das Gutachten stellt aus Sicht des Instituts für interdisziplinäre Sucht- und Drogenforschung (ISD), der Universität Bremen und der INFO GmbH in großen Teilen eine Mischung aus selektiven Befunden, unterschwelligen Behauptungen sowie einseitigen methodischen Ansichten dar. Mit dem Gutachten wird offensichtlich der Zweck verfolgt, die Aussagekraft der Ergebnisse des GS-Survey in Zweifel zu ziehen und die an diesem Projekt beteiligten Institutionen in Misskredit zu bringen.

Acht Kritikpunkte

Zu zentralen Kritikpunkten des Gutachtens von Frau Schüller nehmen wir im Folgenden kurz Stellung:
1. Im GS-Survey 2021 ist durch die Kombination von Telefon- und onlinegestützten Interviews ein grundlegender Wechsel der Erhebungsmethodik gegenüber den bisherigen Repräsentativerhebungen vorgenommen worden. Ein solches Verfahren wurde gewählt, um den Nachteilen einer rein telefonischen oder onlinegestützten Befragung entgegenzuwirken. Eine entsprechende Methodik findet sowohl in Befragungen anderer Themenbereiche (z.B. in der Wahlforschung) als auch in nationalen und internationalen Glücksspielstudien Anwendung (Buth & Stöver, 2008; Wood & Williams, 2011; Nower et al., 2017; infratest dimap, 2022).

Bei einem Festhalten an der vorherigen ausschließlichen telefonischen Befragung würde es – insbesondere aufgrund der seit Jahren festzustellenden stetigen Abnahme der Bereitschaft in der Bevölkerung, an Umfragen teilzunehmen – zu starken Selektionseffekten und somit zu einer Unterschätzung der Spiel- und Problemprävalenz kommen. Die Anpassung der Erhebungsmethodik war demnach unter methodischen Gesichtspunkten nahezu alternativlos. Frau Schüllers Kritik an dem Methodenmix können wir daher nicht teilen.

2. Beim GS-Survey handelt es sich um eine Querschnittsbefragung. Ein Längsschnittdesign hätte für den ersten Erhebungszeitraum (GS-Survey 2021) eine deutlich größere Fallzahl vorausgesetzt, da bei diesem Erhebungsmodus von Befragung zu Befragung Verluste von Teilnehmenden zu erwarten wären. Es ist davon auszugehen, dass diese sogenannte Panelmortalität insbesondere die wenig themenaffinen Befragten betreffen und somit zu einer (rein methodisch bedingten) signifikanten Erhöhung des Anteils glücksspielaffiner Personen in der verbleibenden Stichprobe führen würde. Zudem waren alle vorherigen Erhebungen des GS-Survey (BZgA) als Querschnittserhebungen angelegt. Die Frage einer Längsschnittbefragung stellte sich bei Abgabe unseres Angebotes somit nicht.

3. Frau Schüller erweckt in ihrem Gutachten den Eindruck, als ob die Onlinestichprobe nach einem River-Sampling-Verfahren mit einer Selbstselektion glücksspielaffiner Probanden gezogen worden wäre. Dies ist ausdrücklich nicht der Fall. Im Gegenteil handelt es sich im vorliegenden Fall um eine strenge Quota-Auswahl aus aktiv rekrutierten Teilnehmer*innen mehrerer Online-Accesspanels.

4. Frau Schüller betont in ihrem Gutachten zudem eine Nonresponse-Quote der Online-Befragung von 90 Prozent und erweckt den Eindruck, als ob es sich dabei um systematische Ausfälle wegen Antwortverweigerung handelt. Zunächst ist darauf hinzuweisen, dass die Online-Access-Teilnehmer*innen der Einladung zu einer Befragung nicht entnehmen können, worum es dort inhaltlich geht. Themenspezifische Ausfälle sind somit vor Beginn der eigentlichen Befragung ausgeschlossen. Des Weiteren ist anzumerken, dass eine (mit der Telefon-Ausschöpfung vergleichbare) Kooperationsquote bei derartigen Befragungen aus Online-Accesspanels nicht ausgewiesen werden kann. So ist beispielsweise nicht bekannt und auch nicht messbar, wie viele der E-Mail-Einladungen zur Befragung ihre anvisierten Empfänger nicht erreicht haben (z.B. wegen Abwesenheit, Zeitmangel, überfüllten Postfächern), im Spam gelandet sind, ungelesen weggeklickt wurden usw. Ein Vergleich der Telefon-Kooperationsquote und der Online-Antwortquote ist daher nicht möglich.

5. Es wurden die Konfidenzintervalle für die Glücksspielstörungen nach DSM-5 im Bericht ausgewiesen. Der Hinweis von Frau Schüller, dass deren Bedeutung besser hätte erklärt werden können, ist nachvollziehbar. Im GS-Survey 2023 wird dieses berücksichtigt.

6. Für den finalen Erhebungsbogen des GS-Surveys wurden umfangreiche Pretest durchgeführt. Im Gutachten von Frau Schüller wird der Anschein erweckt, als sei das nicht der Fall gewesen.

7. Bei der Auswertung des Glücksspielverhaltens wurde eine Kategorie „riskante Spieler“ gebildet, welche in der fünften Auflage des Diagnostic and Statistical Manual of Mental Disorders (DSM-5) nicht explizit definiert ist. Hierbei handelt sich um Personen, die 1 bis 3 Kriterien des DSM-5 erfüllen. Eine solche Form der Klassifizierung ist in der internationalen Suchtforschung nicht unüblich, um zusätzlich zu den Personen mit einer Glücksspielstörung (bzw. pathologischem Spielverhalten) auch Hinweise für möglicherweise gefährdete Spieler zu erhalten (Grant et al., 2019; Marcos & Chóliz, 2021). Solche – empirisch fundierten – Informationen sind für die differenzierte Ausgestaltung von Präventions- und Hilfemaßnahmen unerlässlich (Bowden-Jones et al., 2022).

Die Arbeitsgruppe „Abhängiges Verhalten, Risikoanalyse und Risikomanagement“ der TU Dresden unter Leitung von Prof. Dr. Bühringer empfiehlt ebenfalls für die Gruppe der Personen, die in Untersuchungen 1–4 (DSM-IV) bzw. 1–3 (DSM-5) Kriterien einer glücksspielbezogenen Störung erfüllen, den Begriff „riskantes Glücksspielen“ zu verwenden. Von daher teilen wir die Kritik von Frau Schüller an einer solchen Vorgehensweise nicht.

8. Zu den Ergebnissen des GS-Surveys liegen neben dem Projektbericht bislang zwei Publikationen vor, die vor Veröffentlichung jeweils durch von den Zeitschriften beauftragte Gutachter*innen geprüft wurden (peer-reviewed, siehe Meyer et al. (2023) und Buth et al. (2023)). Die Aussage von Frau Schüller, Methodik und Ergebnisse des GS-Surveys hätten kein peer-reviewed-Verfahren durchlaufen, ist somit nicht korrekt.“

games & business wird in der Oktober-Ausgabe ausführlich über die Wissenschaftsdebatte berichten. Noch kein Abonnent? Hier geht es zu unserem kostenlosen Probe-Abo.

Foto: © Halyna – stock.adobe.com