Der blinde Fleck der Screener-Frage

Über kaum eine Frage einer Studie wird so wenig nachgedacht wie über ihre erste. Noch bevor ein Fragebogen inhaltlich überhaupt beginnt, entscheidet der Screener darüber, wer als qualifiziert gilt und wer aussortiert wird, und legt damit die Zusammensetzung der gesamten Stichprobe fest. Dass die Antwort auf diese eine Frage genau derselben Fehleranfälligkeit unterliegt wie jeder andere Selbstbericht, wird dabei nur selten berücksichtigt.

In der Marktforschung wird unglaublich viel Aufwand betrieben, das perfekte Studiendesign zu erstellen. Die Anwendung von Pretests oder Fieldwork dient der Garantie der Signifikanz einer Studie, und doch werden gerade an den entscheidenden Stellen der Erhebung der fundamentalen Daten die Augen vor strukturellen Problemen verschlossen. Die Rede ist von der Screener-Frage.

Genau diesen Umgang haben wir in unserem Beitrag für das marktforschung.de-Dossier zur Insights-Branche 2035 bereits angesprochen und hervorgehoben, wie die Lücke zwischen Behauptung und tatsächlichem Verhalten (der Say-Do-Gap) an genau dieser Stelle zu Problemen führt und die Validität aller folgenden Ergebnisse einer Umfrage zumindest in Frage stellt. Wenn Befragte genau das Verhalten angeben müssen, welches am Ende über ihre Vergütung entscheidet, sorgt die Gestaltung der Umfrage für eine problematische Incentivierung.

Wir wollen an dieser Stelle aber noch etwas hinzufügen. Der Fehler, der an dieser Stelle entsteht, ist zweierlei und geht über die Setzung von Fehlanreizen und deren Konsequenzen hinaus.

Die andere Seite der Medaille

Die erste Richtung des Problems ist allseits bekannt: Leute haben eine bestimmte Handlung nie ausgeführt, behaupten es aber trotzdem, qualifizieren sich für die Umfrage und verfälschen somit die Stichprobe. Hier finden die Debatten über Fraud-Protection, Klickfarmen und Qualitätsstandards der Branche statt.

Das zweite Problem, das sich auftut, findet hingegen nicht annähernd so viel Aufmerksamkeit wie sein Gegenstück: Leute haben eine bestimmte Handlung ausgeführt, behaupten aber aufgrund einer Vielzahl von Möglichkeiten, sie hätten es nicht getan, und fallen demnach aus der Umfrage heraus.

Auch dieses Problem ist eigentlich bekannt. Schaut man sich Guidelines von großen Panel-Anbietern zur Inzidenzrate an, so steht dort ganz klar: Ein schlecht konzipierter Screener filtert Leute heraus, die eigentlich qualifiziert wären. Der Kontext, in dem dieses Problem behandelt wird, ist jedoch der vollkommen falsche. False Negatives werden hier eher als reines Einkaufs- bzw. Budgetproblem dargestellt, da die Samples schlicht teurer wären, wenn man zu viele Leute mittels Screener aussortiert. Vernachlässigt wird hierbei vollkommen, dass jeder fälschlicherweise abgelehnte Teilnehmer ein echtes Mitglied der eigenen Zielgruppe ist, das systematisch aus der Stichprobe gestrichen und als „nicht qualifiziert" verbucht wurde.

Anders als bei der fehlerhaften Anreizsetzung gibt es in diesem Fall keinen offensichtlichen Grund für ein gezieltes Durchfallen der Voraussetzungskriterien. Logischerweise können daher die geläufigen Betrugserkennungsmaßnahmen auch keine fehlerhaften Antworten erkennen und anmerken. Das Versagen des Erinnerungsvermögens sorgt fälschlicherweise für den Ausschluss qualifizierter Umfrageteilnehmer. Die Qualitätssicherung kann einen fälschlicherweise Ausgeschlossenen nicht von einem korrekterweise Ausgeschlossenen unterscheiden und meldet ihn entsprechend auch nicht.

Das Problem des Screeners

Wenn gerade das versagende Erinnerungsvermögen Grund für den Ausschluss durch den Screener ist, wird der Screener schnell zum Problem. Er schließt Gelegenheitsnutzer systematisch aus.

Gelegenheitskäufer erinnern sich schlichtweg unzuverlässiger als Vielkäufer. Unsichere Erinnerungen scheitern also zwangsläufig an der Screening-Frage. Es werden überproportional oft Gelegenheitskäufer und Menschen mit geringem Involvement herausgefiltert – also eine Zielgruppe, die häufig genau die ist, die verstanden werden möchte. Übrig bleibt eine Stichprobe, die massiv in Richtung der Konsumenten verzerrt ist, für die das Produktsegment ohnehin schon überdurchschnittlich wichtig ist.

Dabei macht genau diese Gruppe die absolute Mehrheit der Kundenbasis einer Marke aus, sorgt für fast die Hälfte des Umsatzes und ist exakt dort, wo die Literatur seit zwei Jahrzehnten den wahren Hebel für Markenwachstum verortet. Gleichzeitig sind es genau ihre Antworten zu Motivation, Preissensibilität und Markenbedeutung, die am stärksten abweichen. Es ist gut belegt, dass Käufer einer Marke bei markenbezogenen Fragen systematisch höhere Werte angeben als Nicht-Käufer. Das bedeutet: Die verzerrte Zusammensetzung der qualifizierten Stichprobe verfälscht am Ende nicht nur die gemessene Inzidenzrate, sondern verschiebt die kompletten inhaltlichen Ergebnisse zu den Einstellungen der Konsumenten.

Kollateralschaden des Wettrüstens

Daraus folgt eine unbequeme Schlussfolgerung. Während die Branche über die Jahre immer neuere und strengere Methoden entwickelt hat, um gegen das Falschbeantworten der ersten Frage zugunsten einer Vergütung bzw. das im Dossier beschriebene Problem vorzugehen, haben die strengeren Auflagen nur dazu geführt, die Wahrscheinlichkeit zu erhöhen, Gelegenheitskäufer ebenfalls herauszufiltern. Die Qualitätssicherung kann, wie bereits gesagt, ja genau zwischen diesen beiden Gruppen eben nicht unterscheiden. Am Ende sehen die Qualitätsmetriken vielleicht nach außen hin besser aus, doch in Wahrheit wird mit jeder neuen Hürde der Selection Bias nur noch stärker.

In anderen Disziplinen wird damit längst besser umgegangen. In der Gesundheitsforschung werden die Screening-Fragen routinemäßig gegen die Daten der echten Patientenakten validiert. Eine US-Validierungsstudie zu Krebsvorsorgefragen aus diesem Jahr verdeutlicht dies sehr eindrücklich: Gemessen an der von der USPSTF empfohlenen Vorsorge-Periodizität berichteten die Befragten 12 % bis knapp 50 % mehr Vorsorgeuntersuchungen, als in ihren tatsächlichen medizinischen Unterlagen dokumentiert war.

Es ist also nicht weit hergeholt, auch in der Marktforschung die Validierung von selbstberichteten Umfragedaten gegen faktische Verhaltensdaten zu erwarten. Dass dieser Schritt bis heute nicht zufriedenstellend vollzogen wurde, liegt nachvollziehbarerweise an dem Mangel an verfügbaren, unabhängigen Aufzeichnungen, die man hätte überprüfen können. Diese Einschränkung existiert heute nicht mehr.

Wer oder was qualifiziert einen Befragten stattdessen?

Es zeigt sich nun sehr deutlich, dass der Screener aufgrund der beiden beschriebenen Probleme als Filtermedium längst überholt ist. Es macht daher keinen Sinn, mit immer ausgeklügelteren Systemen zu versuchen, etwas zu verbessern, was bereits im Fundament fehlerhaft ist. Auch die beste textliche Optimierung des Fragebogens läuft hier ins Leere. Es bleibt also die Frage offen, wie sich Personen in Zukunft für die Teilnahme an Umfragen qualifizieren können.

Die Antwort ist relativ simpel, auch wenn sie vielleicht zunächst von vielen abgetan wird: durch reale Verhaltensdaten aus der Vergangenheit einer Person, aus denen sich die Voraussetzungen auslesen lassen. Warum sollte ich noch fragen, ob eine Person in der Vergangenheit einen Einkauf getätigt oder die Marke gewechselt hat, wenn es sich einfach aus den Verhaltensdaten der Person auslesen lässt? Man muss sich nicht mehr nur auf Kaufbehauptungen verlassen. Dies zeigt sich besonders deutlich am Beispiel des Cross-Shoppings: Welche Marken hat jemand wirklich gegeneinander abgewogen? Bei großen Kaufentscheidungen mit High-Involvement würde sich dies vielleicht noch bis zu einem gewissen Grad abfragen lassen, aber beim absoluten Großteil der alltäglichen Käufe werden die verworfenen Alternativen sofort wieder vergessen. Auch in diesem Fall ist es wieder nur der Heavy-User, der den Screener mit gutem Gewissen wahrheitsgemäß beantworten kann.

Die Tatsache, dass Verhaltensdaten in vielen Bereichen Selbstberichten überlegen sind, ist bei weitem keine neue Erkenntnis. Der Einwand an dieser Stelle ist berechtigt: Verhaltensdaten mögen überlegen sein, doch bislang fehlte schlicht die Möglichkeit, sie systematisch zu erheben. Daher wurde mit der nächstbesten Alternative, der Screener-Frage, gearbeitet.

Der Punkt liegt auf bisher. Aus exakt diesem Grund haben wir Datapods gebaut. Unsere Mission ist es, Verhaltensdaten verfügbar zu machen, die vom Nutzer selbst freigegeben werden. So lässt sich das Problem der Walled Gardens umgehen und es ist zum ersten Mal möglich, den Nutzer plattformübergreifend zu identifizieren und eben auch nachzuvollziehen, ob sich diese Person für eine Studie qualifiziert.

Der unschlagbare Vorteil liegt auf der Hand: Wir stützen die Qualifizierung auf Fakten, nicht auf fehleranfällige Erinnerungen. Das löst exakt die Probleme, an denen klassische Fragebögen scheitern:

• Die Rückkehr der Light Buyer: Wir holen die wichtigste, aber am schwersten greifbare Käufergruppe zurück in die Stichprobe. Ihr Verhalten wird einfach aus den Datenspuren abgelesen, anstatt dass sie durch Erinnerungslücken im Screener durchs Raster fallen.
• Reales Cross-Shopping wird sichtbar: Welche Marken wirklich verglichen wurden, zeigt sich in den Such- und Kaufpfaden glasklar – ungeschönt und komplett unabhängig davon, wie involviert ein Konsument beim Kauf war.
• Qualifizierung wird messbar: Die Zugehörigkeit zur Zielgruppe ist keine bloße Behauptung mehr, sondern eine auditierbare, belegbare und vor allem auch reproduzierbare Eigenschaft der Stichprobe.

Wir ersetzen die wackelige Behauptung durch den echten Beweis. Denn wer weitreichende strategische Entscheidungen auf Basis von Marktforschungsdaten trifft, sollte sich beim wichtigsten Türsteher seiner Studie schlichtweg keinen Blindflug mehr leisten.

Quellen

• Kessler, L. G. et al.: Measuring the Validity of Survey Questions on Breast, Cervical, Colorectal, and Lung Cancer Screening. American Journal of Epidemiology, 2026. pubmed.ncbi.nlm.nih.gov/41755645
• Meyer, B. D. / Mittag, N.: What leads to measurement errors? Evidence from reports of program participation in three surveys. Journal of Public Economics, 2023.
• Bazaman, M.: Understanding incidence rate in market research. Kantar, 20. März 2025. kantar.com
• Sharp, B. / Romaniuk, J.: There is a Pareto Law, but not as you know it. Ehrenberg-Bass Institute, 2007.
• Graham, C. / Sharp, B. / Trinh, G. / Dawes, J.: The unbearable lightness of buying. Report 73, Ehrenberg-Bass Institute, 2017.
• Bird, M. / Channon, C. / Ehrenberg, A. S. C. (1970) sowie Romaniuk, J. / Wight, S. (2009).