Sinds het uitbreken van de coronapandemie schieten er alsmaar meer enquêtes als paddenstoelen uit de grond. Bijna allemaal menen ze te weten wat dé Belg denkt, omdat ze naar eigen zeggen zijn afgenomen bij steekproeven die representatief zijn voor de ganse Belgische bevolking. Maar is dat wel zo? En hoe weten we dat?

Dat lijken op het eerste zicht misschien banale vragen, maar zijn dat allerminst wanneer overheden hun beleid afstemmen op de resultaten van enquêtes. Niet alleen tijdens de pandemie merken we dat politici hun beslissingen wel eens baseren op enquêtegegevens, bijvoorbeeld over de bereidheid van mensen om zich aan de geldende maatregelen te houden. Ook andere thema's, zoals de volgende staatshervorming, worden binnenkort onderwerp van grootschalige bevragingen. Vanuit het oogpunt van burgerparticipatie valt dit alleen maar aan te moedigen. Maar als beleid wordt afgestemd op enquêtes is het van cruciaal belang dat de geselecteerde steekproef een zo correct mogelijke afspiegeling is van de populatie waarover men uitspraken wil doen. En laat nu net dat hetgeen zijn waar het schoentje vaak knelt.

Om representativiteit te benaderen, moet een enquête aan minstens twee belangrijke voorwaarden voldoen. De meest voor de hand liggende is dat het aantal deelnemers voldoende groot moet zijn. Vaak schuift men in algemeen bevolkingsonderzoek een minimum van 1.000 respondenten naar voor. Dat lijkt weinig op een bevolking van 11 miljoen Belgen, maar is vanuit statistisch oogpunt voldoende. Grotere steekproeven doen het echter niet noodzakelijk beter op vlak van representativiteit. Daarvoor is een tweede voorwaarde nodig: de enquête moet gebaseerd zijn op een toevalssteekproef, waarbij iedere burger precies evenveel kans heeft om geselecteerd te worden. Je kan dit beschouwen als een soort loterij, waarbij een onschuldige hand op willekeurige wijze namen trekt uit één grote pot – zoals het rijksregister – waarin alle Belgen zijn opgenomen.

Het merendeel van de enquêtes voldoet echter niet aan de cruciale voorwaarde van de toevalssteekproef, omdat ze bijvoorbeeld geen toegang hebben tot de benodigde administratieve data, of omdat het duurder en dus commercieel minder interessant is. In plaats daarvan wordt in toenemende mate gebruik gemaakt van zogenaamde 'opt-in' panels. Dat zijn (veelal online) panels waarvoor mensen zich zélf kunnen inschrijven. Dat soort van zelfselectie leidt echter vaak tot misleidende resultaten, als het panel bestaat uit mensen die op een bepaalde manier systematisch verschillen van de populatie waarover men informatie wil.

Een relevant voorbeeld is de recente De Grote Corona-studie, die bedoeld is om experts en beleidsmakers te informeren over het gedrag en de opinies van 'de bevolking'. Het zou echter zomaar kunnen dat er onder de respondenten een sterke oververtegenwoordiging is van bepaalde bevolkingscategorieën – de blanke middenklasse voorop –, met als gevolg dat het beleid niet zozeer wordt afgestemd op dé Belg maar eerder op de blanke middenklasse.

Gevolg is dat het beleid niet zozeer wordt afgestemd op dé Belg, maar eerder op de blanke middenklasse.

Al te vaak denkt men de vertekening door zelfselectie te kunnen oplossen door de resultaten van enquêtes te 'wegen'. Concreet wordt daarbij nagegaan in welke mate de getrokken steekproef afwijkt van de populatie op een aantal karakteristieken, zoals bijvoorbeeld gender of leeftijd. Vervolgens corrigeert men de resultaten door personen uit ondervertegenwoordigde groepen een groter 'gewicht' te geven (en vice versa voor oververtegenwoordigde groepen). Het probleem is echter dat men daarbij enkel rekening kan houden met karakteristieken waarvoor relatief betrouwbare en stabiele bevolkingsdata bestaan. Karakteristieken waarvoor zulke data ontbreken – zoals politieke interesse of taalvaardigheid – vallen daarbij uit de boot, hoewel ze belangrijke oorzaken zijn van non-respons.

De boodschap van deze column is echter niet om dan maar geen enquêtes meer af te nemen. Het is daarentegen in de eerste plaats een oproep om er vooral mee te blijven doorgaan, maar dan wel met een eerlijke en transparante communicatie over de steekproeftrekking en dus de representativiteit van de enquête. Op die manier laat je toe dat wetenschappers maar ook burgers en beleidsmakers de betrouwbaarheid van enquêtes beter kunnen inschatten. Daarnaast is deze column tevens een warme oproep om zo veel mogelijk gebruik te maken van toevalssteekproeven. Het bemoedigende nieuws hier is dat de Vlaamse universiteiten recent de handen in elkaar geslagen hebben om een grootschalig wetenschappelijk internet panel op poten te zetten dat gebaseerd zal zijn op toevalssteekproeven. Hopelijk sluiten de Franstalige universiteiten zich daar binnenkort bij aan.

Dit interuniversitair panel is een belangrijke stap in de goede richting, voor wetenschappers, burgers én beleidsmakers. Maar ook hier blijft voorzichtigheid geboden. Het is immers niet omdat elke Belg een gelijke kans heeft om geselecteerd te worden voor een enquête dat ook elke Belg een gelijke kans heeft om er ook effectief aan deel te nemen. Zo zijn er bijvoorbeeld nog steeds een aantal belangrijke struikelblokken die zorgen voor hogere non-respons onder moeilijk te bereiken en vaak maatschappelijk kwetsbare groepen. Denk daarbij maar aan taalproblemen bij etnische minderheden of aan digitale ongeletterdheid bij ouderen. Mede daardoor is volledige representativiteit van de ganse Belgische bevolking niet meer dan een illusie en weet je pas écht wat dé Belg denkt wanneer je ze (bijna) allemaal zou bevragen. Maar met een toevalssteekproef van minstens 1.000 Belgen kom je gelukkig al een heel eind.

• column
• Corona
• enquête