Hier bij Greater Good, behandelen we onderzoek naar sociaal en emotioneel welzijn, en we proberen mensen te helpen de bevindingen toe te passen op hun persoonlijke en professionele leven. We zijn ons er terdege van bewust dat ons vak een lastige zaak is.

Het samenvatten van wetenschappelijke studies en ze toepassen op het leven van mensen is niet alleen moeilijk om voor de hand liggende redenen, zoals het begrijpen en vervolgens uitleggen van wetenschappelijk jargon of methoden aan niet-specialisten. Het is ook zo dat de context verloren gaat wanneer we bevindingen vertalen in verhalen, tips en hulpmiddelen voor een zinvoller leven, vooral wanneer we het allemaal door de nuance-squashing machine van het internet duwen. Veel mensen lezen nooit verder dan de koppen, die er intrinsiek op gericht zijn te overgeneraliseren en interesse te wekken. Omdat onze artikelen nooit zo volledig kunnen zijn als de originele studies, laten ze bijna altijd enkele cruciale voorbehouden weg, zoals de beperkingen die door de onderzoekers zijn erkend. Om die te krijgen, moet je toegang hebben tot de studies zelf.

En het komt vaak voor dat bevindingen elkaar lijken tegen te spreken. Zo hebben we onlangs een experiment besproken dat suggereert dat stress empathie vermindert – nadat we eerder ander onderzoek hadden besproken dat suggereert dat stressgevoelige mensen empathischer kunnen zijn. Sommige lezers vroegen: Welke van de twee is correct? (U vindt mijn antwoord hier.)

Maar het belangrijkste ontbrekende stuk is waarschijnlijk de toekomst. Dat klinkt misschien grappig, maar in feite is een nieuwe studie het PDF-document waarop zij is afgedrukt niet waard totdat de bevindingen ervan zijn gerepliceerd en gevalideerd door andere studies – studies die nog niet hebben plaatsgevonden. Een experiment is slechts interessant totdat de tijd en het testen de bevindingen in een feit veranderen.

Wetenschappers weten dit, en zij zijn getraind om zeer sceptisch te reageren op elk nieuw artikel. Zij verwachten ook met scepsis te worden begroet wanneer zij bevindingen presenteren. Vertrouwen is goed, maar wetenschap gaat niet over vertrouwen. Het gaat om verificatie.

Ik ben het daar niet mee eens.

Ondanks alle fouten en overdreven beweringen en kritiek en tegenstrijdigheden en argumenten – of misschien juist daardoor – is onze kennis van menselijke hersenen en geesten de afgelopen eeuw enorm toegenomen. Psychologie en neurowetenschap hebben fenomenen als cognitieve dissonantie gedocumenteerd, veel van de hersenstructuren die onze emoties ondersteunen geïdentificeerd, en het placebo-effect en andere dimensies van de geest-lichaam verbinding bewezen, naast andere bevindingen die keer op keer zijn getest.

Deze ontdekkingen hebben ons geholpen de ware oorzaken van veel ziekten te begrijpen en te behandelen. Ik heb horen beweren dat het stijgende aantal diagnoses van geestesziekten bewijst dat de psychologie faalt, maar in feite is het tegendeel waar: We zien meer en betere diagnoses van problemen die vorige generaties ertoe zouden hebben gebracht mensen af te doen als “dom” of “gek” of “hyper” of “blauw”. Het is belangrijk om in gedachten te houden dat het heel, heel lang heeft geduurd voordat de wetenschap tot deze inzichten en behandelingen is gekomen, na veel vallen en opstaan.

Wetenschap is geen geloof, maar eerder een methode die tijd nodig heeft om zich te ontvouwen. Daarom is het evenzeer verkeerd om kritiekloos alles te omarmen wat je leest, ook wat je op deze pagina leest.

Gezien de complexiteit en dubbelzinnigheid van de wetenschappelijke inspanning, is het voor een niet-wetenschapper mogelijk om een evenwicht te vinden tussen afwijzing en kritiekloos geloof? Zijn er rode vlaggen waar je op moet letten als je over een studie leest op een site als Greater Good of in een populair zelfhulpboek? Als je een echte studie leest, hoe moet je dan, als niet-wetenschapper, de geloofwaardigheid ervan inschatten?

Ik putte uit mijn eigen ervaring als wetenschapsjournalist, en enquêteerde bij mijn collega’s hier bij het UC Berkeley Greater Good Science Center. We kwamen tot 10 vragen die je zou kunnen stellen als je leest over de nieuwste wetenschappelijke bevindingen. Dit zijn ook vragen die we onszelf stellen, voordat we een studie verslaan.

1. Is de studie verschenen in een peer-reviewed tijdschrift?

Peer review – het voorleggen van papers aan andere deskundigen voor een onafhankelijke beoordeling voordat ze worden aanvaard – blijft een van de beste manieren om de fundamentele ernst van de studie vast te stellen, en veel wetenschappers beschrijven peer review als een waarlijk vernederende smeltkroes. Als een studie dit proces niet heeft doorlopen, om wat voor reden dan ook, moet het met een veel grotere korrel zout worden genomen.

2. Wie is er onderzocht, waar?

Dierproeven vertellen wetenschappers veel, maar hun toepasbaarheid op ons dagelijks menselijk leven zal beperkt zijn. Als onderzoekers alleen mannen bestuderen, zijn de conclusies misschien niet relevant voor vrouwen, en omgekeerd.

Dit was eigenlijk een groot probleem met Nosek’s poging om experimenten van anderen te repliceren. Om bijvoorbeeld een Duitse studie te repliceren, moesten zij andere kaarten gebruiken (die studenten van de Universiteit van Virginia zouden kennen) en een schaal voor het meten van agressie aanpassen aan de Amerikaanse normen. Dit soort verschillen zou de verschillende resultaten kunnen verklaren. Het kan ook wijzen op de beperkingen van het veralgemenen van de resultaten van één studie naar andere populaties die niet in die studie zijn opgenomen.

Bij wijze van benadering moeten de lezers bedenken dat veel psychologische studies gebaseerd zijn op WEIRD (Westers, opgeleid, geïndustrialiseerd, rijk en democratisch) steekproeven, voornamelijk universiteitsstudenten, hetgeen een ingebouwd vooroordeel oplevert in de conclusies van de discipline. Betekent dit dat je de Westerse psychologie moet verwerpen? Natuurlijk niet. Het is gewoon het equivalent van een “Let op” of “Voorzichtig” bordje op de weg naar begrip.

3. Hoe groot was de steekproef?

In het algemeen geldt: hoe meer deelnemers aan een studie, hoe beter de resultaten. Dit gezegd zijnde, is een grote steekproef soms onmogelijk of zelfs onwenselijk voor bepaalde soorten studies. Dit geldt met name voor dure neurowetenschappelijke experimenten met functionele magnetische resonantie imaging, of fMRI, scans.

En veel mindfulness studies hebben de hersenen gescand van mensen met vele duizenden uren meditatie-ervaring-een relatief kleine groep. Maar zelfs in die gevallen is een studie waarbij 30 ervaren mediteerders zijn onderzocht waarschijnlijk degelijker dan een soortgelijke studie waarbij de hersenen van slechts 15 mediteerders zijn gescand.

4. Hebben de onderzoekers de belangrijkste verschillen gecontroleerd?

Diversiteit of evenwicht tussen mannen en vrouwen zijn niet per se deugden in een onderzoek; het is eigenlijk een goede zaak als een onderzoekspopulatie zo homogeen mogelijk is, omdat het de onderzoekers in staat stelt het aantal verschillen dat het resultaat zou kunnen beïnvloeden, te beperken. Een goede onderzoeker probeert appels met appels te vergelijken, en in haar analyse voor zoveel mogelijk verschillen te controleren.

5. Was er een controlegroep?

Een van de eerste dingen om naar te kijken in methodologie is of de steekproef gerandomiseerd is en een controlegroep omvatte; dit is vooral belangrijk als een studie wil suggereren dat een bepaalde variabele daadwerkelijk een specifiek resultaat zou kunnen veroorzaken, in plaats van er slechts mee gecorreleerd te zijn (zie volgende punt).

Bijvoorbeeld, kregen sommigen in de steekproef willekeurig een specifieke meditatie-oefening toegewezen en anderen niet? Als de steekproef groot genoeg is, kunnen gerandomiseerde studies solide conclusies opleveren. Maar soms zal een studie geen controlegroep hebben omdat het ethisch onmogelijk is. (Zouden mensen nog steeds een trolley omleiden om één persoon te doden en zo vijf levens te redden, als hun beslissing een echte persoon zou doden, in plaats van slechts een gedachte-experiment te zijn? We zullen het nooit zeker weten!)

De conclusies kunnen nog enig inzicht verschaffen, maar ze moeten wel in perspectief worden gehouden.

6. Hebben de onderzoekers causaliteit, correlatie, afhankelijkheid, of een ander soort relatie vastgesteld?

Ik hoor vaak “Correlatie is geen causatie” roepen als een soort strijdkreet, om te proberen een studie in diskrediet te brengen. Maar correlatie – de mate waarin twee of meer metingen op hetzelfde moment lijken te veranderen – is belangrijk, en is een stap in de richting van causaliteit – dat wil zeggen, de vaststelling dat een verandering in een variabele direct een verandering in een andere variabele teweegbrengt.

Het gaat erom de relatie correct vast te stellen.

7. Overdrijft de journalist, of zelfs de wetenschapper, het resultaat?

Taalgebruik dat suggereert dat een feit “bewezen” is door één studie of dat één oplossing voor alle mensen propageert, is hoogstwaarschijnlijk overdreven. Verregaande generalisaties duiden vaak op een gebrek aan bescheidenheid dat een rode vlag zou moeten zijn voor de lezers. Een studie kan heel goed een bepaalde conclusie “suggereren”, maar zij “bewijst” die zelden of nooit.

Daarom gebruiken we in Greater Good veel voorzichtige, afdekkende taal, zoals “zou kunnen” of “impliceert”.

8. Is er sprake van belangenverstrengeling als gevolg van de financiering of de connecties van de onderzoekers?

Uit een recente studie bleek dat je veel suikerhoudende dranken kon drinken zonder bang te zijn dik te worden, zolang je maar sportte. De financier? Coca Cola, die de resultaten gretig promootte. Dit betekent niet dat de resultaten fout zijn. Maar het suggereert wel dat je een tweede opinie moet zoeken.

9. Lijkt de onderzoeker een agenda te hebben?

Het is begrijpelijk dat lezers sceptisch staan tegenover studies naar mindfulness-meditatie die worden gepromoot door praktiserende boeddhisten of experimenten naar de waarde van gebed die worden uitgevoerd door christenen. Nogmaals, dat betekent niet automatisch dat de conclusies fout zijn. Het legt echter wel de lat hoger voor peer review en replicatie. Er waren bijvoorbeeld honderden experimenten nodig voordat we met vertrouwen konden zeggen dat mindfulness inderdaad stress kan verminderen.

10.

10. Erkennen de onderzoekers beperkingen en aanvaarden zij alternatieve verklaringen?

Is de studie gericht op slechts één kant van het verhaal of één interpretatie van de gegevens? Heeft het nagelaten alternatieve verklaringen te overwegen of te weerleggen? Laten ze zien dat ze zich bewust zijn van welke vragen beantwoord worden en welke niet door hun methoden?

Ik vat mijn persoonlijke houding als niet-wetenschapper ten opzichte van wetenschappelijke bevindingen als volgt samen: Nieuwsgierig, maar sceptisch. Ik neem het allemaal serieus en ik neem het allemaal met een korreltje zout. Ik beoordeel het aan de hand van mijn ervaring, wetende dat mijn ervaring vooringenomenheid creëert. Ik probeer nederigheid, twijfel en geduld aan te kweken. Ik slaag niet altijd; als ik faal, probeer ik mijn schuld toe te geven en mezelf te vergeven. Mijn eigen begrip is onvolmaakt, en ik herinner mezelf eraan dat een studie slechts één stap in het begrijpen is. Bovenal probeer ik in gedachten te houden dat wetenschap een proces is, en dat conclusies altijd meer vragen oproepen die we moeten beantwoorden.