Het eenzijdig of zelfs foutief weergeven van allerhande bevindingen uit sociaal onderzoek vult de kranten met de regelmaat van een klok. Hoe zou dat komen? Is het omdat de onderzoekers door de journalisten verkeerd begrepen worden? Of ligt het aan de gebrekkige communicatie van de onderzoekers die zich met weinig zelfkritiek aan te verregaande interpretaties wagen die niet door de bevindingen uit hun onderzoek gestaafd worden? En wat zit daar dan achter? Is de onderzoeker bevooroordeeld vanuit de eigen waardevoorkeur of ideologie? Tot het tegendeel is aangetoond, neem ik aan onderzoekers afstand (kunnen) nemen van de eigen vooroordelen. Ik wil de discussie vanuit een methodologisch oogpunt bekijken en nagaan hoe het komt dat er deze keer opnieuw zo’n grote afstand is tussen een beperkte maar grotendeels correct uitgevoerde studie die in voorpublicatie verschenen is in een ‘peer reviewed’ wetenschappelijk tijdschrift (British Journal of Criminology) en de informatie die het publiek daarover bereikt via de media.

OP HET VERKEERDE SPOOR GEZET

Het is lovenswaardig dat onderzoekers deze keer eerst in een wetenschappelijk tijdschrift publiceren alvorens naar de media te trekken. De bedoeling van de gepubliceerde studie is na te gaan in hoever criminaliteitcijfers variëren naargelang het sociaaleconomisch klimaat van geografisch-politieke entiteiten (gemeenten). Dit kan een interessante structurele aanvulling zijn van verklaringen op individueel niveau. Maar… verschillende gevolgtrekkingen die in de media op 6 december gemaakt werden, kunnen geenszins afgeleid worden uit de gepubliceerde studie. Uit het interview in De Standaard van 6 december krijg ik sterk de indruk dat de hoofdonderzoeker zelf deze onterechte conclusies in de hand heeft gewerkt. Dat ‘niet het aantal allochtonen in een gemeente maar wel de werkloosheid de criminaliteit bepaalt’ heeft in elk geval stevig het nieuws gehaald. Ik krijg hier de indruk dat scoren in het nieuws een belangrijke drijfveer is bij het verspreiden van onderzoek naar het ruime publiek via de media.

Ik wil mij hier helemaal niet uitspreken over de vraag of allochtonen meer of minder kans hebben dan autochtonen om in de misdaad terecht te komen. Daar gaat het mij niet om. Ik wil alleen nagaan of het bewuste onderzoek daar wel iets kan over zeggen zoals de media én het opiniestuk van Jan Blommaert (De Standaard, 7 december) suggereren. Het voorgestelde onderzoek van Marc Hooghe e.a. kan hier inderdaad niets over zeggen. Deze vraag staat niet eens centraal in de publicatie zoals de titel Unemployment, Inequality, Poverty and Crime. Spatial Distribution Patterns of Criminal Acts in Belgium, 2001-06 trouwens laat vermoeden. In dit onderzoek dat uitgevoerd werd op aggregaatsniveau - de onderzoekseenheden zijn 589 gemeenten in de periode 2001-06 - gaat het om percentages geregistreerde misdrijven per gemeente en helemaal niet om daders. De variabele percentage niet-Belgen (non-nationals rate) per gemeente komt in deze studie slechts zijdelings ter sprake als controle variabele om beter op gemeenteniveau het netto verband tussen economische factoren (werkloosheidsgraad, mediaan inkomen, inkomensongelijkheid) en twee soorten van criminaliteitsgraden te kunnen inschatten. Het gaat m.a.w. om het samen variëren van metingen op het niveau van de gemeenten. Op grond van deze gegevens kan men, weliswaar met de nodige omzichtigheid, beweren dat het verband tussen de werkloosheidsgraad van gemeenten en (geregistreerde) ‘crime-rates’ sterker is dan het verband van criminaliteitsgraden met het aandeel van niet-Belgen in de gemeenten. Onderzoekers spreken omwille van de gebruikte analysetechniek (regressie) vaak van ‘effecten’ maar het nogal kwistig gebruik van de term ‘oorzaken’ wordt best vermeden. Dat het niet om causale verbanden gaat wordt tot vijf keer toe terecht onderstreept in de gepubliceerde studie.

BRONNEN VAN MISVERSTANDEN

De onderzoekers leggen aanvankelijk ook in de media (De Standaard, 6 december) zelf geen causaal verband tussen criminaliteit en sociaaleconomische factoren, maar dit verband wordt wel gesuggereerd in de redactionele bewerking van het interview door te beweren dat de werkloosheid de criminaliteit in de gemeente bepaalt (De Standaard, 6 dec., Binnenland, blz 10) of, sterker nog, door de dag daarop bij de verslaggeving van de studiedag over Sociale Cohesie te beweren dat er een causaal verband is tussen criminaliteit en sociaaleconomisch profiel van een gemeente (De Standaard, 7 dec., Binnenland, blz 10). Zulke verwarring tussen verband, effect en oorzaak komt heel vaak voor. Het is ook niet zo simpel om aan ‘leken’ op vlak van sociologisch onderzoek uit te leggen waarom de technische term effect geen oorzaak mag worden genoemd. Marc Hooghe heeft ondertussen wellicht begrepen tot welke misverstanden zijn interview van de dag voordien aanleiding kan geven want hij preciseert zelf in een kader ‘Werklozen zijn niet verantwoordelijk voor de criminaliteit. We weten wel dat ze vaker slachtoffer zijn, omdat ze geen gestructureerde dagindeling hebben en dus vaker beschikbaar zijn als slachtoffer’. Gaat de studie dan over slachtoffers? Ik laat die verklaring voor wat ze waard is: een interessante hypothese die zou kunnen worden onderzocht.

Er zijn nog andere redenen waarom deze verkeerde conclusie over de oorzaken van crimineel gedrag van individuen in de hand gewerkt wordt. Het onderzoek van Marc Hooghe wordt voorgesteld als een antwoord op de studie van Marion Van San die een aantal jaren geleden in een totaal ander type van studie een verband had gevonden tussen allochtone jongeren en criminaliteit. In het interview van 6 december werkt Marc Hooghe deze vergaande gevolgtrekking zelf in de hand (tenzij de verslaggever deze verwijzing naar de Van San studie zelf heeft uitgevonden). Dit moet dan wel onbedoeld zijn want in de gepubliceerde studie wordt tegen het doortrekken van de bevindingen naar relaties op individueel niveau meermaals gewaarschuwd. Dat deze gevolgtrekking van het aggregaatsniveau naar het individueel niveau niet mag worden gemaakt, wordt door de onderzoeker ook nog eens herhaald in de krant van 9 december. Ik had niet anders verwacht. Minstens één geïnformeerde en aandachtige lezer (Marc Deweerdt) heeft deze foutieve gevolgtrekking eveneens opgemerkt, een reden om aan Jan Blommaert te vragen waarop die zich dan wel baseert om Marc Hooghe tegen Van San uit te spelen (De Standaard, 8 dec., Waarde redactie, blz 29). Zeker op deze studie niet tenzij men eigen wensen voor werkelijkheid neemt.

DE VALSTRIK VAN DE ECOLOGISCHE FOUT

Het ten onrechte, op grond van inzichten over relaties tussen kenmerken die gemeten worden op groepsniveau (hier gemeenten), gevolgtrekkingen maken naar relaties tussen kenmerken op niveau van de samenstellende delen (hier individuen), wordt in de methodologie ‘ecologische fout’ genoemd. Er bestaan in de methodologische literatuur voorbeelden te over van waarschuwingen tegen zulke misleidende gevolgtrekkingen. Soms is de fout niet zo grof en kan men mits correct gebruik van theoretische inzichten en bijkomende informatie wel uit onderzoek op groepsniveau enige inzichten verwerven in relaties op individueel niveau. Maar het is moeilijk, zo niet onmogelijk, om de sterkte van de relaties tussen de twee niveaus te vergelijken of tegen elkaar af te wegen, laat staan bevindingen afkomstig van het ene niveau statistisch te weerleggen met bevindingen afkomstig van het andere niveau.

Redenen waarom zulke gevolgtrekking naar onderzoek op individueel niveau niet kan of mag worden gemaakt, hebben onder meer te maken met de betekenis van de gemeten kenmerken op gemeenteniveau. Het probleem zit vooral in de metingen op geaggregeerd niveau en dit maakt dat er niet alleen meetproblemen zijn bij de verschuiving van niveau maar ook in de metingen op groepsniveau zelf. In de media - niet in de studie - is geregeld sprake van allochtonen. Dat schept verwarring want in de studie gaat het om gemeentekenmerk percentage ‘non-nationals’ en dat is niet hetzelfde als wat doorgaans in de samenleving onder allochtoon verstaan wordt. Het gaat dus ook om West-Europeanen (Nederlanders, Duitsers, Fransen) die hier wonen. Hun aandeel varieert nogal per gemeente. Bij de ‘nationals’ zitten anderzijds ook ‘allochtonen’. De bewering dat de correlatie tussen het percentage niet-Belgen en de werkloosheidsgraad een betrouwbare meting is van de correlatie tussen het percentage ‘allochtonen’ (in de bruikbare betekenis van niet-Europeanen) en de werkloosheidsgraad omdat de percentages niet-Belgen en allochtonen sterk samen variëren, is weinig overtuigend.

De allochtonen zijn natuurlijk ook aanwezig in de werkloosheidscijfers maar die informatie wordt niet gebruikt op gemeenteniveau. Dit betekent dat ook de correlaties op gemeenteniveau vertekend zijn. Anders dan bij micro data (gegevens gemeten op individueel niveau) kan men in de gebruikte verklaringsmodellen daar niet effectief voor controleren want er ontbreekt een geëigende covariantieterm. Met gebruikt in de analyse de informatie over het percentage niet-Belgen op het percentage werklozen per gemeente niet. Ook dat kan nogal eens variëren. Dat is wellicht een van de redenen waarom methodologen aanraden om zeer voorzichtig te zijn met gegroepeerde gegevens als context variabelen, en om zoveel mogelijk oorspronkelijke kenmerken onafhankelijk te meten; kenmerken die specifiek zijn voor het niveau dat in het onderzoek gebruikt wordt. Hier zijn de gemeenten geen context maar zelf analyse eenheden maar het geschetste probleem van de ontbrekende informatie is daardoor nog veel acuter. Ik zeg niet dat aggregeren nooit kan, maar het zal afhangen wat men er mee doet.

Een bijkomend gegeven waarom de media (niet de studie in JBC) voor verwarring zorgen is het gegeven dat criminaliteit geen betrekking heeft op daders maar op het aantal geregistreerde misdrijven per gemeente. Dit maakt uitspraken over oorzaken van criminaliteit zeer precair. Eenzelfde niet-geïdentificeerde dader kan verantwoordelijk zijn voor meerdere misdrijven in meerdere gemeenten. Om die reden zijn ook hier de vastgestelde relaties op gemeenteniveau onzuivere metingen voor wat zich op het individueel niveau afspeelt. Men zou kunnen beweren dat men beter in staat is om criminaliteit te meten op gemeenteniveau vermits het om harde ‘objectieve’ cijfers gaat. Dat is niet helemaal waar want het gaat enkel om geregistreerde criminaliteit. Sommige misdrijven waar mensen last van hebben worden niet eens geregistreerd en ook dat kan systematisch verschillen per gemeente. Dit zijn natuurlijk meetproblemen eigen aan elk onderzoek. De conclusie blijft dat om relaties tussen sociaaleconomische factoren en criminaliteit te bestuderen het onderzoek z’n waarde heeft, maar dat die waarde toch heel beperkt is. De vaststelling dat de onderzoekers in hun modellen terecht inspanningen deden om de metingen per gemeente uit te zuiveren voor het effect van naburige gemeenten doet niets af van de vermelde meetproblemen bij de gebruikte variabelen op groepsniveau.

SPOREN VAN EEN METHODESTRIJD DIE NIET HOEFT

In een opiniebijdrage van 9 december bepleiten de onderzoekers de door hen gebruikte methode. Deze methode zou superieur zijn omdat ze toelaat om - anders dan microanalyses - de structurele oorzaken van criminaliteit te achterhalen (De Standaard, 9 dec., blz 27). Dus toch oorzakelijkheid? Pogingen om structurele oorzaken op het spoor te komen zijn natuurlijk prijzenswaardig, maar het is zeer de vraag of men dit wel kan via het vaststellen van relaties tussen metingen (of effecten) op niveau van de gemeenten. Deze vraag dringt zich des te meer op omdat het gaat om geaggregeerde gegevens. Ik zie dit niet in en ben hierin blijkbaar de enige niet. Meerder collega’s sociologen spreken mij hierover aan. Om tot een structurele analyse te komen zouden de sociaaleconomische indicatoren (werkloosheidsgraad, mediaan inkomen als indicatie voor armoede, ongelijkheidsindex) samen een geldige meting moeten zijn voor het sociaaleconomisch en cultureel klimaat in de gemeenten en dat concept is heel wat rijker en ruimer dan de beperkte meting ervan. Moet men bovendien niet veeleer proberen om onderzoek op individueel niveau te combineren met kenmerken van de context? Dat is natuurlijk een ideaal want betrouwbare metingen van daderschap zijn via zelfrapportage op individueel niveau niet te vinden. Men zou ook een duidelijke keuze moeten maken tussen ‘criminal act’ en de kenmerken daderschap of slachtofferschap want dat verschuift nu wel eens in de interpretatie. Men zal dus heel wat creatiever moeten zijn dan te zweren bij analyse op aggregaatsniveau. Zo’n analyse is wel interessant, levert bijkomend inzicht, maar blijft toch heel beperkt als studie van structurele oorzaken van criminaliteit. De onderzoekers tonen dit impliciet aan in hun studie en ook in de media. Waar verklaringen gegeven worden, gebruikt men volop bestaande gegevens die afkomstig zijn van onderzoek op microniveau, met name de indicatoren van sociale cohesie. Dit zijn (culturele) attitude variabelen. Oorzaken worden dus niet empirisch aangetoond op niveau van de gemeenten maar zijn het resultaat van interpretatie. Natuurlijk staat sociale cohesie op het lijstje, de studiedag ging daarover. De conclusie dat men iets moet doen aan de werkloosheid zal overigens niemand tegenspreken. Het kan dus allemaal niet zo veel kwaad tenzij men werklozen zou gaan stigmatiseren.

De laatste paragraaf handelt niet over mediacommunicatie over onderzoek maar, naar aanleiding van het interview van 9 december, over het ontwerpen van onderzoek. Daarom nog even terug naar de doelstelling van deze bijdrage. De gebrekkige berichtgeving is niet uitsluitend toe te schrijven aan de media die de taal van de onderzoekers niet steeds begrijpen of aan de behoefte om sensationeel nieuws te brengen. Onderzoekers zijn mee verantwoordelijk. Voorliggende case was een aanleiding, want wie daar als sociaal onderzoeker volledig van vrij te pleiten is, mag de eerste steen werpen. Wees gerust, die zal niet geworpen worden. Toch kan men pleiten voor meer voorzichtigheid bij de onderzoekers en voor een regel van Karl Popper die ik heel mijn loopbaan als methodoloog aan de eerstejaars heb voorgehouden: als je als onderzoeker iets ‘nieuws’ gevonden hebt, probeer dan met alle mogelijke middelen uw eigen bevinding te weerleggen en ga alleen naar de media als die weerlegging niet gelukt is. Er zal veel minder bericht worden over onderzoek, en zeker over peilingen.

Jaak Billiet
Emeritus professor van sociaal wetenschappelijk onderzoek, K.U.Leuven

Een reactie op deze bijdrage verscheen in het decembernummer van Samenleving en politiek (2011, nr.02):
Marc Hooghe - Pleidooi voor correcte en relevante sociale wetenschappen.

media - mediacommunicatie - sociaal onderzoek

Samenleving & Politiek, Jaargang 18, 2011, nr. 1 (januari), pagina 76 tot 81

• sociaal onderzoek
• mediacommunicatie
• media