Academici, stelde Patrick Loobuyck
in deze krant, maken te vaak de fout hun feiten te presenteren op een
bedje van ideologische of politieke voorkeur. Ze slagen er niet in om
het onderscheid te maken tussen wetenschappelijke feiten enerzijds en
morele opinies anderzijds (DS 21 november).
Dat klopt. Maar misschien kunnen ze daar niets aan doen. Misschien is
dat onderscheid niet zo glashelder als Loobuyck denkt. Je overtuigingen
zijn geen jas die je als academicus even kan uitdoen zodra je aan
wetenschap begint. Alleen als we dat erkennen, kunnen we samen de
moeizame tocht naar meer zekerheid aanvatten.
Donkere vs. blanke spelers
Wat gebeurt er als je een
grote groep wetenschappers dezelfde vraag laat beantwoorden op basis van
dezelfde dataset? Komen ze dan uiteindelijk allemaal tot dezelfde
conclusie? Dat probeerde Brian Nosek, een sociaal psycholoog verbonden
aan de universiteit van Virginia, te weten te komen. Hij verzamelde alle
data van de voetbalwedstrijden in de eerste klasse in Engeland,
Duitsland, Spanje en Frankrijk en gaf die aan 29 verschillende
onderzoeksgroepen. De vraag die ze moesten beantwoorden: krijgen donkere
spelers vaker een rode kaart dan blanke spelers?
Negen van de 29
onderzoeksgroepen zagen geen verschil tussen het aantal kaarten bij
blanke en donkere voetballers, twintig groepen concludeerden dat donkere
voetballers vaker een rode kaart aangesmeerd kregen dan blanke spelers.
Over hoeveel vaker dat gebeurde, verschilden ze dan weer van mening:
van 20 procent meer kans tot, volgens één onderzoeksgroep, liefst 300
procent meer kans op een kaart. Doordat elk team totaal transparant was
over de gebruikte methodologie, kon Nosek op zoek gaan naar de oorzaken
van deze verschillen. Die werden niet veroorzaak door fraude of
methodologische fouten, maar wel door op het eerste gezicht vrij
triviale beslissingen. Hou je in je analyse rekening met de positie van
de speler? Want verdedigers begaan vaker overtredingen dan aanvallers,
en als verdedigers ook vaak donker zijn, vertekent dat je resultaat. Hou
je rekening met de leeftijd van de spelers? Want misschien zijn jonge
spelers wel impulsiever en krijgen ze daarom vaker kaarten? Neem je ook
het gewicht van een speler mee in het onderzoek? Zijn lengte? Met welke
van deze factoren de onderzoeksgroepen rekening hielden en hoe ze dat
precies deden, had een grote invloed op de uiteindelijke conclusie.
De invloed van
overtuigingen op wetenschappelijke resultaten komt niet, zoals we vaak
denken, door bewuste misleiding. Niet door gegevens weg te laten of te
vervalsen, maar door een hele reeks kleine beslissingen. Beslissingen
die vanzelfsprekend en verdedigbaar lijken, maar toch een grote invloed
hebben op het resultaat. In de werkelijke wereld is het aantal kleine
beslissingen nog groter dan in het experiment van Nosek. Daar krijgen
wetenschappers geen kant-en-klare datasets aangereikt. En dus moeten ze
beslissingen nemen over definities (Hoe definieer je armoede? Wie is wel
en wie is geen migrant?) en over hoe ze die dingen gaan meten (Hoe tel
je het aantal migranten of armen?). Al die kleine beslissingen
beïnvloeden de uiteindelijke conclusie. De duivel zit, ook in de
wetenschap, in de details. En door die details kunnen ideologie en
overtuigingen haast ongemerkt binnen sijpelen.
Betekent dat nu dat er geen
feiten bestaan? Dat we de werkelijkheid, ook als wetenschapper,
moeiteloos in elke vorm kunnen kneden? Gelukkig niet. Feiten bestaan,
maar het is alleen door diverse onderzoekers een probleem te laten
analyseren dat we ze kunnen ontdekken. Had Nosek maar één
onderzoeksgroep gevraagd om de dataset te analyseren, dan hadden we,
afhankelijk van de onderzoeksgroep, ten onrechte geconcludeerd dat
scheidsrechters notoire racisten zijn dan wel dat ze absoluut niet
discrimineren. Net door de diversiteit aan onderzoeksgroepen kunnen we
een onderbouwde schatting maken van de invloed van de huidskleur op de
kans dat een speler een kaart krijgt. En het is ook door die diversiteit
dat elke groep de tekortkomingen van zijn analyse kon blootleggen. Ook
wetenschappers zijn vaak blind voor de eigen blindheid. Door
wetenschappers van diverse pluimage op een probleem los te laten, kunnen
ze die blinde vlekken bij elkaar ontdekken en komt de waarheid, met
horten en stoten, bovendrijven.
Die diversiteit is er niet
altijd. Uit een grootschalige analyse van de overtuigingen van
Amerikaanse sociaal psychologen bleek dat conservatieve wetenschappers
duidelijk in de minderheid zijn. In 2010 waren er veertien keer meer
zelfverklaarde progressieve dan conservatieve psychologen. Als dat
resultaat ook geldt voor andere vakgebieden en andere landen, dan zitten
we met een probleem. Want door dat gebrek aan diversiteit lopen we dan
het risico dat we allemaal, waarschijnlijk onbewust, de werkelijkheid in
één richting interpreteren. Zonder dat er iemand is die ons op die
vertekening kan wijzen. Dus hebben we meer conservatieve wetenschappers
nodig – hoe vreemd om dit als progressieve jongen te beweren.
Tegengesproken worden is vervelend, maar wel noodzakelijk willen we
kennis verwerven.
Ook ik heb vanzelfsprekend
mijn blinde vlekken, en waarschijnlijk zijn deze binnen gesijpeld in
bovenstaande tekst. Patrick, je weet wat je te doen staat.
Net door de diversiteit aan onderzoeksgroepen kunnen we een onderbouwde schatting maken van de invloed van de huidskleur op de kans dat een speler een kaart krijgt. En het is ook door die diversiteit dat elke groep de tekortkomingen van zijn analyse kon blootleggen. Ook wetenschappers zijn vaak blind voor de eigen blindheid. Door wetenschappers van diverse pluimage op een probleem los te laten, kunnen ze die blinde vlekken bij elkaar ontdekken en komt de waarheid, met horten en stoten, bovendrijven.
Het toeval wil dat ik de resultaten van deze onderzoeksgroepen aan een wetenschappelijk onderzoek onderworpen heb. Ik heb aan honderd verschillende wetenschappers gevraagd een onderbouwde schatting te maken van de invloed van de huidskleur op de kans dat een speler een kaart krijgt.
Let wel: de honderd verschillende wetenschappers kregen GEEN toegang tot de initiële dataset, ze konden zich uitsluitend baseren op het beschikbare uitgevoerde wetenschappelijke onderzoek. Vreemd genoeg kwam daar niet echt een eensluitende conclusie uit de bus, de onderbouwde schatting varieerde nagenoeg van 0% tot 100%. Opvallend was echter wel de uniformiteit in de antwoorden op de vraag naar het fundament van hun onderbouwing. Zonder uitzondering gaf iedereen aan zich gebaseerd te hebben op wetenschappelijk onderzoek. En dat is nog waar ook.
Zo zie je maar dat Ruben Mersch gelijk heeft. De waarheid komt inderdaad met horten en stoten bovendrijven.
