Qui a Greater Good, ci occupiamo di ricerca sul benessere sociale ed emotivo, e cerchiamo di aiutare le persone ad applicare i risultati alla loro vita personale e professionale. Siamo ben consapevoli che il nostro è un business difficile.

Sintetizzare gli studi scientifici e applicarli alla vita delle persone non è solo difficile per le ragioni ovvie, come capire e poi spiegare il gergo scientifico o i metodi ai non specialisti. È anche il caso che il contesto si perde quando traduciamo i risultati in storie, consigli e strumenti per una vita più significativa, specialmente quando spingiamo tutto attraverso la macchina schiaccia sfumature di Internet. Molte persone non leggono mai oltre i titoli, che intrinsecamente mirano a sovrageneralizzare e provocare interesse. Poiché i nostri articoli non possono mai essere così completi come gli studi originali, quasi sempre omettono alcuni avvertimenti cruciali, come le limitazioni riconosciute dai ricercatori. Per ottenerli, è necessario accedere agli studi stessi.

Ed è molto comune che i risultati sembrino contraddirsi a vicenda. Per esempio, abbiamo recentemente coperto un esperimento che suggerisce che lo stress riduce l’empatia – dopo aver precedentemente discusso altre ricerche che suggeriscono che le persone soggette a stress possono essere più empatiche. Alcuni lettori hanno chiesto: Quale delle due è corretta? (Troverete la mia risposta qui.)

Ma probabilmente il pezzo mancante più importante è il futuro. Può sembrare una cosa divertente da dire, ma, di fatto, un nuovo studio non vale il PDF su cui è stampato finché i suoi risultati non sono replicati e convalidati da altri studi, studi che non sono ancora avvenuti. Un esperimento è semplicemente interessante finché il tempo e i test non trasformano le sue scoperte in un fatto.

Gli scienziati lo sanno, e sono addestrati a reagire in modo molto scettico ad ogni nuovo documento. Si aspettano anche di essere accolti con scetticismo quando presentano i risultati. La fiducia è un bene, ma la scienza non riguarda la fiducia. Si tratta di verifica.

Tuttavia, i giornalisti come me, e i membri del pubblico in generale, sono spesso inclini a trattare ogni nuovo studio come se rappresentasse l’ultima parola sulla questione affrontata. Questo particolare problema è stato evidenziato la settimana scorsa da un nuovo studio che ha cercato di riprodurre 100 studi psicologici precedenti per vedere se i loro risultati reggono. Il risultato dell’iniziativa triennale è agghiacciante: Il team, guidato dallo psicologo dell’Università della Virginia Brian Nosek, ha ottenuto gli stessi risultati solo nel 36% degli esperimenti replicati. Questo ha portato ad alcuni titoli prevedibilmente provocatori ed eccessivamente generalizzanti che implicano che non dovremmo prendere sul serio la psicologia.

Non sono d’accordo.

Nonostante tutti gli errori e le affermazioni esagerate e le critiche e le contraddizioni e gli argomenti – o forse a causa di essi – la nostra conoscenza del cervello umano e della mente si è espansa in modo drammatico durante il secolo scorso. La psicologia e le neuroscienze hanno documentato fenomeni come la dissonanza cognitiva, identificato molte delle strutture cerebrali che supportano le nostre emozioni e dimostrato l’effetto placebo e altre dimensioni della connessione mente-corpo, tra le altre scoperte che sono state testate più e più volte.

Queste scoperte ci hanno aiutato a capire e trattare le vere cause di molte malattie. Ho sentito dire che l’aumento delle diagnosi di malattie mentali è la prova che la psicologia sta fallendo, ma in realtà è vero il contrario: Stiamo vedendo più e migliori diagnosi di problemi che avrebbero costretto le generazioni precedenti a liquidare le persone come “stupide” o “pazze” o “iper” o “blu”. La cosa importante da tenere a mente è che la scienza ha impiegato molto, molto tempo per arrivare a queste intuizioni e trattamenti, dopo molti tentativi ed errori.

La scienza non è una fede, ma piuttosto un metodo che richiede tempo per dispiegarsi. Ecco perché è altrettanto sbagliato abbracciare acriticamente tutto ciò che si legge, compreso quello che si sta leggendo in questa pagina.

Viste le complessità e le ambiguità dello sforzo scientifico, è possibile per un non scienziato trovare un equilibrio tra il rifiuto totale e la credenza acritica? Ci sono bandiere rosse da cercare quando si legge di uno studio su un sito come Greater Good o in un popolare libro di auto-aiuto? Se si legge uno degli studi veri e propri, come si dovrebbe, da non scienziati, valutare la sua credibilità?

Ho attinto alla mia esperienza di giornalista scientifico e ho intervistato i miei colleghi qui al Centro Scientifico Greater Good della UC Berkeley. Siamo arrivati a 10 domande che potreste porvi quando leggete le ultime scoperte scientifiche. Queste sono anche domande che ci poniamo noi stessi, prima di coprire uno studio.

1. Lo studio è apparso in una rivista peer-reviewed?

La revisione tra pari – sottoporre i documenti ad altri esperti per una revisione indipendente prima dell’accettazione – rimane uno dei modi migliori che abbiamo per accertare la serietà di base dello studio, e molti scienziati descrivono la revisione tra pari come un crogiolo davvero umiliante. Se uno studio non è passato attraverso questo processo, per qualsiasi motivo, dovrebbe essere preso con un granello di sale molto più grande.

2. Chi è stato studiato, dove?

Gli esperimenti sugli animali dicono molto agli scienziati, ma la loro applicabilità alla nostra vita umana quotidiana sarà limitata. Allo stesso modo, se i ricercatori hanno studiato solo gli uomini, le conclusioni potrebbero non essere rilevanti per le donne, e viceversa.

Questo era in realtà un enorme problema con lo sforzo di Nosek di replicare gli esperimenti di altre persone. Nel tentativo di replicare uno studio tedesco, per esempio, hanno dovuto usare mappe diverse (quelle che sarebbero familiari agli studenti dell’Università della Virginia) e cambiare una scala che misura l’aggressività per riflettere le norme americane. Questo tipo di varianza potrebbe spiegare i diversi risultati. Può anche suggerire i limiti della generalizzazione dei risultati di uno studio ad altre popolazioni non incluse in quello studio.

Per quanto riguarda l’approccio, i lettori devono ricordare che molti studi psicologici si basano su campioni WEIRD (occidentali, istruiti, industrializzati, ricchi e democratici), principalmente studenti universitari, il che crea un pregiudizio intrinseco nelle conclusioni della disciplina. Questo significa che si dovrebbe liquidare la psicologia occidentale? Certo che no. È solo l’equivalente di un segnale di “Attenzione” o “Resa” sulla strada della comprensione.

3. Quanto era grande il campione?

In generale, più partecipanti ci sono in uno studio, più validi sono i risultati. Detto questo, un grande campione è a volte impossibile o addirittura indesiderabile per alcuni tipi di studi. Questo è particolarmente vero in costosi esperimenti di neuroscienze che coinvolgono la risonanza magnetica funzionale, o fMRI, scansioni.

E molti studi di mindfulness hanno scansionato il cervello di persone con molte migliaia di ore di esperienza di meditazione – un gruppo relativamente piccolo. Anche in questi casi, tuttavia, uno studio che esamina 30 meditatori esperti è probabilmente più solido di uno simile che ha scansionato il cervello di soli 15.

4. I ricercatori hanno controllato le differenze chiave?

La diversità o l’equilibrio di genere non sono necessariamente virtù in uno studio di ricerca; in realtà è una buona cosa quando una popolazione di studio è il più omogeneo possibile, perché permette ai ricercatori di limitare il numero di differenze che potrebbero influenzare il risultato. Un buon ricercatore cerca di confrontare mele con mele, e di controllare il maggior numero possibile di differenze nella sua analisi.

5. C’era un gruppo di controllo?

Una delle prime cose da cercare nella metodologia è se il campione è randomizzato e ha coinvolto un gruppo di controllo; questo è particolarmente importante se uno studio vuole suggerire che una certa variabile potrebbe effettivamente causare un risultato specifico, piuttosto che essere solo correlata ad esso (vedi punto successivo).

Per esempio, ad alcuni del campione è stata assegnata casualmente una specifica pratica di meditazione mentre ad altri no? Se il campione è abbastanza grande, gli studi randomizzati possono produrre conclusioni solide. Ma, a volte, uno studio non avrà un gruppo di controllo perché è eticamente impossibile. (Le persone devierebbero ancora un carrello per uccidere una persona per salvare cinque vite, se la loro decisione uccidesse una persona reale, invece di essere solo un esperimento mentale? Non lo sapremo mai con certezza).

Le conclusioni possono ancora fornire qualche intuizione, ma devono essere tenute in prospettiva.

6. I ricercatori hanno stabilito causalità, correlazione, dipendenza, o qualche altro tipo di relazione?

Sento spesso gridare “Correlazione non è causalità” come una sorta di grido di battaglia, per cercare di screditare uno studio. Ma la correlazione – il grado in cui due o più misure sembrano cambiare allo stesso tempo – è importante, ed è un passo per trovare la causalità – cioè, stabilire che un cambiamento in una variabile innesca direttamente un cambiamento in un altro.

L’importante è identificare correttamente la relazione.

7. Il giornalista, o anche lo scienziato, sta esagerando il risultato?

Il linguaggio che suggerisce che un fatto è “provato” da uno studio o che promuove una soluzione per tutte le persone è molto probabilmente esagerato. Le generalizzazioni estese di qualsiasi tipo spesso indicano una mancanza di umiltà che dovrebbe essere una bandiera rossa per i lettori. Uno studio può benissimo “suggerire” una certa conclusione ma raramente, se mai, la “prova”.

Questo è il motivo per cui usiamo un sacco di linguaggio cauto e di copertura in Greater Good, come “potrebbe” o “implica”.

8. C’è qualche conflitto di interessi suggerito dal finanziamento o dalle affiliazioni dei ricercatori?

Uno studio recente ha scoperto che si possono bere molte bevande zuccherate senza paura di ingrassare, finché si fa esercizio. Il finanziatore? Coca Cola, che ha promosso con entusiasmo i risultati. Questo non significa che i risultati siano sbagliati. Ma suggerisce di cercare un secondo parere.

9. Il ricercatore sembra avere un’agenda?

I lettori potrebbero comprensibilmente essere scettici sugli studi di meditazione mindfulness promossi da buddisti praticanti o sugli esperimenti sul valore della preghiera condotti da cristiani. Di nuovo, questo non significa automaticamente che le conclusioni siano sbagliate. Tuttavia, alza l’asticella della revisione tra pari e della replica. Per esempio, ci sono volute centinaia di esperimenti prima che potessimo iniziare a dire con fiducia che la mindfulness può effettivamente ridurre lo stress.

10. I ricercatori riconoscono i limiti e prendono in considerazione spiegazioni alternative?

Lo studio è focalizzato solo su un lato della storia o su un’interpretazione dei dati? Non ha considerato o confutato spiegazioni alternative? Dimostrano consapevolezza di quali domande trovano risposta e quali no con i loro metodi?

Riassumo così la mia posizione personale di non scienziato nei confronti dei risultati scientifici: Curioso, ma scettico. Prendo tutto sul serio e lo prendo con un grano di sale. Lo giudico rispetto alla mia esperienza, sapendo che la mia esperienza crea pregiudizi. Cerco di coltivare l’umiltà, il dubbio e la pazienza. Non sempre ho successo; quando fallisco, cerco di ammettere la colpa e di perdonarmi. La mia comprensione è imperfetta e mi ricordo che uno studio è solo un passo verso la comprensione. Soprattutto, cerco di tenere a mente che la scienza è un processo e che le conclusioni sollevano sempre altre domande a cui dobbiamo rispondere.