Aqui no Greater Good, cobrimos pesquisas sobre bem-estar social e emocional, e tentamos ajudar as pessoas a aplicar os resultados na sua vida pessoal e profissional. Estamos bem conscientes de que o nosso negócio é complicado.

Summerizar os estudos científicos e aplicá-los à vida das pessoas não é apenas difícil pelas razões óbvias, como compreender e depois explicar o jargão científico ou métodos aos não-especialistas. É também o caso que o contexto se perde quando traduzimos as descobertas em histórias, dicas e ferramentas para uma vida mais significativa, especialmente quando empurramos tudo isso através da máquina de esmagar nuances da Internet. Muitas pessoas nunca lêem além das manchetes, que intrinsecamente visam a generalizar demais e provocar interesse. Como nossos artigos nunca podem ser tão abrangentes quanto os estudos originais, eles quase sempre omitem algumas advertências cruciais, como as limitações reconhecidas pelos pesquisadores. Para obtê-los, você precisa ter acesso aos próprios estudos.

E é muito comum que os resultados pareçam contradizer-se. Por exemplo, cobrimos recentemente uma experiência que sugere que o stress reduz a empatia – depois de ter discutido previamente outras pesquisas que sugerem que as pessoas com tendência para o stress podem ser mais empáticas. Alguns leitores perguntaram: Qual deles está correcto? (Você encontrará minha resposta aqui.)

Mas provavelmente a peça que falta mais importante é o futuro. Isso pode parecer uma coisa engraçada de se dizer, mas, na verdade, um novo estudo não vale o PDF em que está impresso até que seus achados sejam replicados e validados por outros estudos-estudos que ainda não aconteceram. Um experimento é meramente interessante até que o tempo e os testes transformem seus achados em fatos.

Os cientistas sabem disso, e são treinados para reagir com muito ceticismo a cada novo trabalho. Eles também esperam ser recebidos com ceticismo quando apresentam os achados. Confiança é bom, mas a ciência não é sobre confiança. É uma questão de verificação.

No entanto, jornalistas como eu, e membros do público em geral, são frequentemente propensos a tratar cada novo estudo como se ele representasse a última palavra sobre a questão abordada. Esta questão em particular foi destacada na semana passada – espere por ele – um novo estudo que tentou reproduzir 100 estudos psicológicos anteriores para ver se as suas conclusões se aguentavam. O resultado da iniciativa de três anos é arrepiante: A equipa, liderada pelo psicólogo da Universidade da Virgínia, Brian Nosek, obteve os mesmos resultados em apenas 36 por cento das experiências que replicaram. Isto levou a algumas manchetes previsivelmente provocadoras e exageradas, implicando que não devemos levar a psicologia a sério.

Não concordo.

Apesar de todos os erros e afirmações exageradas e críticas e contradições e argumentos – ou talvez por causa deles – o nosso conhecimento do cérebro e da mente humana expandiu-se dramaticamente durante o século passado. Psicologia e neurociência têm documentado fenômenos como dissonância cognitiva, identificado muitas das estruturas cerebrais que suportam nossas emoções, e provado o efeito placebo e outras dimensões da conexão mente-corpo, entre outras descobertas que têm sido testadas repetidamente.

Estas descobertas têm nos ajudado a entender e tratar as verdadeiras causas de muitas doenças. Tenho ouvido dizer que as taxas crescentes de diagnósticos de doenças mentais constituem evidências de que a psicologia está falhando, mas na verdade, o oposto é verdadeiro: Estamos a ver mais e melhores diagnósticos de problemas que teriam obrigado as gerações anteriores a dispensar as pessoas como “estúpidas” ou “loucas” ou “hiper” ou “azuis”. O importante a ter em mente é que levou muito, muito tempo para que a ciência chegasse a estes conhecimentos e tratamentos, após muita tentativa e erro.

A ciência não é uma fé, mas sim um método que leva tempo para se desdobrar. É por isso que é igualmente errado abraçar acriticamente tudo o que você lê, incluindo o que você está lendo nesta página.

Dadas as complexidades e ambiguidades do esforço científico, é possível para um não-cientista encontrar um equilíbrio entre demissão por atacado e crença acrítica? Há bandeiras vermelhas para procurar quando você lê sobre um estudo em um site como o Greater Good ou em um livro popular de auto-ajuda? Se você ler um dos estudos reais, como você, como não cientista, deve avaliar a sua credibilidade?

Fundo a minha própria experiência como jornalista científico, e fiz uma pesquisa com os meus colegas aqui na UC Berkeley Greater Good Science Center. Fizemos 10 perguntas que você pode fazer quando ler sobre as últimas descobertas científicas. Essas também são perguntas que fazemos a nós mesmos, antes de cobrir um estudo.

1. O estudo apareceu em uma revista revisada por pares?

Revisão por pares – submetendo artigos a outros especialistas para revisão independente antes da aceitação – mantém uma das melhores formas que temos para determinar a seriedade básica do estudo, e muitos cientistas descrevem a revisão por pares como um cadinho verdadeiramente humilde. Se um estudo não passou por esse processo, por qualquer razão, deve ser tomado com um grão de sal muito maior.

2. Quem foi estudado, onde?

As experiências anímicas dizem muito aos cientistas, mas a sua aplicabilidade à nossa vida humana diária será limitada. Da mesma forma, se os pesquisadores estudassem apenas homens, as conclusões poderiam não ser relevantes para as mulheres, e vice-versa.

Este foi na verdade um enorme problema com o esforço de Nosek para replicar os experimentos de outras pessoas. Ao tentar replicar um estudo alemão, por exemplo, eles tiveram que usar mapas diferentes (que seriam familiares aos estudantes da Universidade da Virgínia) e mudar uma escala que medisse a agressão para refletir as normas americanas. Este tipo de variação poderia explicar os diferentes resultados. Pode também sugerir os limites de generalização dos resultados de um estudo para outras populações não incluídas nesse estudo.

Como uma questão de abordagem, os leitores devem lembrar que muitos estudos psicológicos dependem de amostras WEIRD (ocidental, educado, industrializado, rico e democrático), principalmente estudantes universitários, o que cria um viés embutido nas conclusões da disciplina. Isso significa que você deve descartar a psicologia ocidental? Claro que não. É apenas o equivalente a um sinal de “Cuidado” ou “Rendimento” no caminho para o entendimento.

3. Qual foi o tamanho da amostra?

Em geral, quanto mais participantes de um estudo, mais válidos são os seus resultados. Dito isto, uma amostra grande é por vezes impossível ou mesmo indesejável para certos tipos de estudos. Isto é especialmente verdade em experiências neurocientíficas caras envolvendo ressonância magnética funcional, ou fMRI, scans.

E muitos estudos de consciência têm escaneado os cérebros de pessoas com muitos milhares de horas de experiência de meditação – um grupo relativamente pequeno. Mesmo nesses casos, porém, um estudo que olha para 30 meditadores experientes é provavelmente mais sólido do que um semelhante que digitalizou os cérebros de apenas 15,

4. Os pesquisadores controlaram as diferenças chave?

Diversidade ou equilíbrio de gênero não são necessariamente virtudes em um estudo de pesquisa; na verdade é uma coisa boa quando uma população de estudo é tão homogênea quanto possível, porque permite aos pesquisadores limitar o número de diferenças que podem afetar o resultado. Uma boa pesquisadora tenta comparar maçãs com maçãs, e controlar o maior número possível de diferenças em sua análise.

5. Houve um grupo controle?

Uma das primeiras coisas a procurar na metodologia é se a amostra é randomizada e envolve um grupo controle; isto é especialmente importante se um estudo for para sugerir que uma determinada variável pode realmente causar um resultado específico, ao invés de apenas estar correlacionada com ele (ver próximo ponto).

Por exemplo, a alguns da amostra foi atribuída aleatoriamente uma prática de meditação específica, enquanto a outros não foi? Se a amostra for suficientemente grande, os ensaios aleatórios podem produzir conclusões sólidas. Mas, às vezes, um estudo não terá um grupo de controle porque é eticamente impossível. (Será que as pessoas ainda desviariam um carrinho para matar uma pessoa a fim de salvar cinco vidas, se sua decisão matasse uma pessoa real, em vez de ser apenas uma experiência de pensamento? Nós nunca saberemos com certeza!)

As conclusões ainda podem fornecer alguma percepção, mas precisam ser mantidas em perspectiva.

6. Os pesquisadores estabeleceram causalidade, correlação, dependência, ou algum outro tipo de relacionamento?

Ouço com freqüência “Correlação não é causalidade” gritar como uma espécie de grito de batalha, para tentar desacreditar um estudo. Mas a correlação – o grau em que duas ou mais medidas parecem mudar ao mesmo tempo é importante, e é um passo para eventualmente encontrar a causação – isto é, estabelecer uma mudança em uma variável desencadeia diretamente uma mudança em outra.

O importante é identificar corretamente a relação.

7. O jornalista, ou mesmo o cientista, está exagerando o resultado?

A linguagem que sugere que um fato é “provado” por um estudo ou que promove uma solução para todas as pessoas é muito provavelmente exagerando o caso. Generalizações de varredura de qualquer tipo muitas vezes indicam uma falta de humildade que deveria ser uma bandeira vermelha para os leitores. Um estudo pode muito bem “sugerir” uma certa conclusão, mas raramente, se é que alguma vez, a “prova”.

É por isso que usamos uma linguagem muito cautelosa, de hedging em Greater Good, como “poderia” ou “implica”.

8. Existe algum conflito de interesses sugerido pelo financiamento ou pela afiliação dos pesquisadores?

Um estudo recente descobriu que você poderia beber muitas bebidas açucaradas sem medo de engordar, desde que você se exercitasse. O financiador? Coca Cola, que avidamente promoveu os resultados. Isto não significa que os resultados estejam errados. Mas sugere que você deve procurar uma segunda opinião.

9. O pesquisador parece ter uma agenda?

Os leitores podem, compreensivelmente, ser céticos em relação a estudos de meditação de mente promovidos por budistas praticantes ou experimentos sobre o valor da oração conduzida por cristãos. Mais uma vez, isso não significa automaticamente que as conclusões estejam erradas. No entanto, ele eleva a fasquia para a revisão e replicação por pares. Por exemplo, foram necessárias centenas de experimentos antes que pudéssemos começar a dizer com confiança que a atenção pode realmente reduzir o estresse.

10. Os pesquisadores reconhecem limitações e entretem explicações alternativas?

O estudo está focado apenas em um lado da história ou em uma interpretação dos dados? O estudo não considerou ou refutou explicações alternativas? Eles demonstram consciência de quais perguntas são respondidas e quais não são pelos seus métodos?

Eu resumo a minha posição pessoal como não cientista em relação a descobertas científicas como esta: Curiosa, mas céptica. Eu levo tudo a sério e levo tudo com um grão de sal. Julgo-o contra a minha experiência, sabendo que a minha experiência cria preconceitos. Tento cultivar a humildade, a dúvida e a paciência. Nem sempre tenho sucesso; quando falho, tento admitir a culpa e perdoar-me a mim mesmo. Minha própria compreensão é imperfeita, e lembro a mim mesmo que um estudo é apenas um passo na compreensão. Acima de tudo, procuro ter em mente que a ciência é um processo, e que as conclusões sempre levantam mais questões para que possamos responder.