Här på Greater Good bevakar vi forskning om socialt och känslomässigt välbefinnande, och vi försöker hjälpa människor att tillämpa resultaten i sina personliga och professionella liv. Vi är väl medvetna om att vår verksamhet är knepig.

Att sammanfatta vetenskapliga studier och tillämpa dem på människors liv är inte bara svårt av uppenbara skäl, som att förstå och sedan förklara vetenskaplig jargong eller metoder för icke-specialister. Det är också så att sammanhanget går förlorat när vi översätter resultat till berättelser, tips och verktyg för ett mer meningsfullt liv, särskilt när vi pressar det hela genom Internets nyansförstörande maskin. Många människor läser aldrig mer än rubrikerna, som i sig syftar till att övergeneralisera och väcka intresse. Eftersom våra artiklar aldrig kan vara lika omfattande som de ursprungliga studierna, utelämnar de nästan alltid vissa viktiga förbehåll, t.ex. begränsningar som erkänns av forskarna. För att få dessa måste du få tillgång till själva studierna.

Och det är mycket vanligt att resultaten verkar motsäga varandra. Vi har till exempel nyligen behandlat ett experiment som tyder på att stress minskar empatin – efter att tidigare ha diskuterat annan forskning som tyder på att stressbenägna människor kan vara mer empatiska. Några läsare frågade: Vilken av dem är korrekt? (Du hittar mitt svar här.)

Men den förmodligen viktigaste saknade biten är framtiden. Det kanske låter som en lustig sak att säga, men i själva verket är en ny studie inte värd den PDF-fil som den är tryckt på förrän dess resultat replikeras och valideras av andra studier – studier som ännu inte har ägt rum. Ett experiment är bara intressant tills tid och testning förvandlar dess resultat till ett faktum.

Vetenskapsmän vet detta, och de är tränade att reagera mycket skeptiskt på varje ny artikel. De förväntar sig också att bli bemötta med skepsis när de presenterar resultat. Förtroende är bra, men vetenskap handlar inte om förtroende. Det handlar om verifiering.

Däremot är journalister som jag, och medlemmar av allmänheten, ofta benägna att behandla varje ny studie som om den representerar det sista ordet i den fråga som behandlas. Just denna fråga belystes förra veckan av – vänta lite – en ny studie där man försökte reproducera 100 tidigare psykologiska studier för att se om deras resultat höll. Resultatet av det treåriga initiativet är skrämmande: Teamet, som leddes av psykologen Brian Nosek från University of Virginia, fick samma resultat i endast 36 procent av experimenten de replikerade. Detta har lett till några förutsägbart provocerande, övergeneraliserande rubriker som antyder att vi inte bör ta psykologin på allvar.

Jag håller inte med.

Trots alla misstag och överdrivna påståenden och kritik och motsägelser och argument – eller kanske på grund av dem – har vår kunskap om människans hjärnor och sinnen expanderat dramatiskt under det senaste århundradet. Psykologi och neurovetenskap har dokumenterat fenomen som kognitiv dissonans, identifierat många av de hjärnstrukturer som stöder våra känslor och bevisat placeboeffekten och andra dimensioner av sambandet mellan kropp och själ, bland andra upptäckter som har testats om och om igen.

Dessa upptäckter har hjälpt oss att förstå och behandla de verkliga orsakerna till många sjukdomar. Jag har hört det hävdas att den ökande andelen diagnoser av psykiska sjukdomar utgör ett bevis för att psykologin misslyckas, men i själva verket är det motsatta sant: Vi ser fler och bättre diagnoser av problem som skulle ha tvingat tidigare generationer att avfärda människor som “dumma” eller “galna” eller “överdrivna” eller “blåa”. Det viktiga att komma ihåg är att det tog mycket, mycket lång tid för vetenskapen att komma fram till dessa insikter och behandlingar, efter mycket försök och misstag.

Vetenskap är inte en tro, utan snarare en metod som tar tid att utveckla. Därför är det lika fel att okritiskt anamma allt man läser, inklusive det man läser på den här sidan.

Med tanke på den vetenskapliga strävandets komplexitet och tvetydighet, är det möjligt för en icke-vetenskapsman att hitta en balans mellan att helt och hållet avfärda och okritiskt tro? Finns det röda flaggor att leta efter när man läser om en studie på en webbplats som Greater Good eller i en populär självhjälpsbok? Om du läser en av de faktiska studierna, hur ska du som icke-vetenskapsman bedöma dess trovärdighet?

Jag använde mig av min egen erfarenhet som vetenskapsjournalist och frågade mina kollegor här på UC Berkeley Greater Good Science Center. Vi kom fram till 10 frågor som du kan ställa dig när du läser om de senaste vetenskapliga rönen. Det är också frågor som vi ställer oss själva innan vi bevakar en studie.

1. Har studien publicerats i en fackgranskad tidskrift?

Peer review – att skicka in artiklar till andra experter för oberoende granskning innan de godkänns – förblir ett av de bästa sätten vi har för att förvissa oss om studiens grundläggande seriositet, och många vetenskapsmän beskriver peer review som en verkligt förödmjukande smältdegel. Om en studie inte genomgått denna process, av någon anledning, bör den tas med en mycket större nypa salt.

2. Vem studerades, var?

Djurförsök berättar mycket för forskarna, men deras tillämplighet på vårt dagliga människoliv kommer att vara begränsad. På samma sätt kan det hända att slutsatserna inte är relevanta för kvinnor om forskarna endast studerat män, och vice versa.

Detta var faktiskt ett stort problem med Noseks försök att replikera andras experiment. När de försökte replikera en tysk studie var de till exempel tvungna att använda olika kartor (sådana som skulle vara bekanta för studenter från University of Virginia) och ändra en skala som mäter aggression för att återspegla amerikanska normer. Denna typ av varians skulle kunna förklara de olika resultaten. Den kan också visa på gränserna för att generalisera resultaten från en studie till andra populationer som inte ingår i den studien.

Som ett tillvägagångssätt måste läsarna komma ihåg att många psykologiska studier bygger på WEIRD (västerländska, utbildade, industrialiserade, rika och demokratiska) urval, främst universitetsstudenter, vilket skapar en inbyggd bias i disciplinens slutsatser. Betyder det att man bör avfärda den västerländska psykologin? Naturligtvis inte. Det är bara motsvarigheten till en “Caution” eller “Yield”-skylt på vägen till förståelse.

3. Hur stort var urvalet?

I allmänhet gäller att ju fler deltagare i en studie, desto mer giltiga är dess resultat. Med det sagt är ett stort urval ibland omöjligt eller till och med oönskat för vissa typer av studier. Detta är särskilt sant i dyra neurovetenskapliga experiment med funktionell magnetresonansavbildning, eller fMRI, skanningar.

Och många mindfulnessstudier har skannat hjärnorna hos personer med många tusen timmars meditationserfarenhet – en relativt liten grupp. Även i dessa fall är dock en studie som tittar på 30 erfarna meditatörer förmodligen mer solid än en liknande studie som skannat hjärnan hos endast 15 personer.

4. Kontrollerade forskarna för viktiga skillnader?

Mångfald eller könsbalans är inte nödvändigtvis dygder i en forskningsstudie; det är faktiskt bra när studiepopulationen är så homogen som möjligt, eftersom forskarna på så sätt kan begränsa antalet skillnader som kan påverka resultatet. En bra forskare försöker jämföra äpplen med äpplen och kontrollera så många skillnader som möjligt i sin analys.

5. Fanns det en kontrollgrupp?

En av de första sakerna man bör titta på när det gäller metodik är om urvalet är randomiserat och om det ingick en kontrollgrupp; detta är särskilt viktigt om en studie ska antyda att en viss variabel faktiskt kan orsaka ett visst resultat, i stället för att bara vara korrelerad med det (se nästa punkt).

Till exempel, tilldelades vissa i urvalet slumpmässigt en specifik meditationsövning medan andra inte gjorde det? Om urvalet är tillräckligt stort kan randomiserade försök ge solida slutsatser. Men ibland har en studie ingen kontrollgrupp eftersom det är etiskt omöjligt. (Skulle människor fortfarande styra om en vagn för att döda en person för att rädda fem liv, om deras beslut dödade en riktig person i stället för att bara vara ett tankeexperiment? Vi kommer aldrig att få veta med säkerhet!)

Slutsatserna kan fortfarande ge en viss insikt, men de måste hållas i perspektiv.

6. Har forskarna fastställt kausalitet, korrelation, beroende eller någon annan typ av relation?

Jag hör ofta “Korrelation är inte kausalitet” ropas ut som ett slags stridsrop, för att försöka misskreditera en studie. Men korrelation – graden i vilken två eller flera mätvärden tycks förändras samtidigt – är viktig och är ett steg för att så småningom finna orsakssamband, dvs. att fastställa att en förändring i en variabel direkt utlöser en förändring i en annan variabel.

Det viktiga är att korrekt identifiera sambandet.

7. Överdriver journalisten, eller till och med forskaren, resultatet?

Språk som antyder att ett faktum är “bevisat” av en studie eller som förespråkar en lösning för alla människor överdriver med största sannolikhet fallet. Svepande generaliseringar av alla slag tyder ofta på en brist på ödmjukhet som bör vara en röd flagga för läsarna. En studie kan mycket väl “antyda” en viss slutsats, men den “bevisar” den sällan eller aldrig.

Detta är anledningen till att vi i Greater Good använder oss av en hel del försiktigt, säkrande språkbruk, som “kanske” eller “antyder”.

8. Finns det någon intressekonflikt som antyds av finansieringen eller forskarnas anknytning?

En nyligen genomförd studie visade att man kan dricka mycket sockerhaltiga drycker utan att vara rädd för att bli fet, så länge man motionerar. Finansiären? Coca Cola, som ivrigt marknadsförde resultaten. Detta betyder inte att resultaten är felaktiga. Men det tyder på att du bör söka en andra åsikt.

9. Verkar forskaren ha en agenda?

Läsare kan förståeligt nog vara skeptiska till studier av mindfulnessmeditation som främjas av praktiserande buddhister eller experiment om värdet av böner som utförs av kristna. Återigen, det betyder inte automatiskt att slutsatserna är felaktiga. Det höjer dock ribban för peer review och replikering. Det krävdes till exempel hundratals experiment innan vi kunde börja säga med säkerhet att mindfulness verkligen kan minska stress.

10. Erkänner forskarna begränsningar och tar de upp alternativa förklaringar?

Är studien fokuserad på endast en sida av historien eller en tolkning av data? Har den misslyckats med att överväga eller vederlägga alternativa förklaringar? Visar de att de är medvetna om vilka frågor som besvaras och vilka som inte besvaras av deras metoder?

Jag sammanfattar min personliga hållning som icke-vetenskapsman gentemot vetenskapliga rön på följande sätt: Nyfiken, men skeptisk. Jag tar allt på allvar och jag tar allt med en nypa salt. Jag bedömer det mot min erfarenhet, med vetskap om att min erfarenhet skapar fördomar. Jag försöker odla ödmjukhet, tvivel och tålamod. Jag lyckas inte alltid; när jag misslyckas försöker jag erkänna fel och förlåta mig själv. Min egen förståelse är ofullständig, och jag påminner mig själv om att en studie bara är ett steg mot förståelse. Framför allt försöker jag komma ihåg att vetenskapen är en process och att slutsatserna alltid väcker fler frågor som vi måste besvara.