Aquí, en Greater Good, cubrimos la investigación sobre el bienestar social y emocional, y tratamos de ayudar a la gente a aplicar los hallazgos a su vida personal y profesional. Somos muy conscientes de que nuestro negocio es peliagudo.

Resumir estudios científicos y aplicarlos a la vida de las personas no sólo es difícil por las razones obvias, como entender y luego explicar la jerga o los métodos científicos a los no especialistas. También se da el caso de que el contexto se pierde cuando traducimos los hallazgos en historias, consejos y herramientas para una vida más significativa, sobre todo cuando lo empujamos todo a través de la máquina de romper matices de Internet. Mucha gente no lee más allá de los titulares, que intrínsecamente pretenden sobregeneralizar y provocar interés. Como nuestros artículos nunca pueden ser tan completos como los estudios originales, casi siempre omiten algunas advertencias cruciales, como las limitaciones reconocidas por los investigadores. Para obtenerlas, es necesario acceder a los propios estudios.

Y es muy común que los resultados parezcan contradecirse. Por ejemplo, recientemente cubrimos un experimento que sugiere que el estrés reduce la empatía, después de haber discutido previamente otra investigación que sugiere que las personas propensas al estrés pueden ser más empáticas. Algunos lectores preguntaron: ¿Cuál es la correcta? (Encontrará mi respuesta aquí.)

Pero probablemente la pieza más importante que falta es el futuro. Esto puede sonar como algo gracioso, pero, de hecho, un nuevo estudio no vale el PDF en el que está impreso hasta que sus conclusiones sean replicadas y validadas por otros estudios -estudios que aún no se han realizado-. Un experimento es meramente interesante hasta que el tiempo y las pruebas convierten su hallazgo en un hecho.

Los científicos lo saben, y están entrenados para reaccionar con mucho escepticismo ante cada nuevo artículo. También esperan ser recibidos con escepticismo cuando presentan hallazgos. La confianza es buena, pero la ciencia no se trata de confianza. Se trata de la verificación.

Sin embargo, los periodistas como yo, y los miembros del público en general, son a menudo propensos a tratar cada nuevo estudio como si representara la última palabra sobre la cuestión abordada. Esta cuestión en particular se puso de manifiesto la semana pasada por -espera- un nuevo estudio que trató de reproducir 100 estudios psicológicos anteriores para ver si sus conclusiones se mantenían. El resultado de esta iniciativa de tres años es escalofriante: El equipo, dirigido por el psicólogo de la Universidad de Virginia Brian Nosek, obtuvo los mismos resultados en sólo el 36% de los experimentos que reprodujeron. Esto ha dado lugar a algunos titulares previsiblemente provocadores y exagerados que implican que no deberíamos tomarnos la psicología en serio.

No estoy de acuerdo.

A pesar de todos los errores y las afirmaciones exageradas y las críticas y las contradicciones y los argumentos -o quizás a causa de ellos- nuestro conocimiento del cerebro y la mente humanos se ha ampliado de forma espectacular durante el último siglo. La psicología y la neurociencia han documentado fenómenos como la disonancia cognitiva, han identificado muchas de las estructuras cerebrales que sustentan nuestras emociones y han demostrado el efecto placebo y otras dimensiones de la conexión mente-cuerpo, entre otros hallazgos que se han puesto a prueba una y otra vez.

Estos descubrimientos nos han ayudado a comprender y tratar las verdaderas causas de muchas enfermedades. He oído argumentar que el aumento de las tasas de diagnósticos de enfermedades mentales constituye una prueba de que la psicología está fallando, pero en realidad es lo contrario: Estamos viendo más y mejores diagnósticos de problemas que habrían obligado a las generaciones anteriores a descartar a las personas como “estúpidas” o “locas” o “hiperactivas” o “azules”. Lo importante es tener en cuenta que la ciencia tardó mucho, mucho tiempo en llegar a estos conocimientos y tratamientos, tras mucho ensayo y error.

La ciencia no es una fe, sino un método que tarda en desarrollarse. Por eso es igualmente erróneo abrazar acríticamente todo lo que se lee, incluyendo lo que se está leyendo en esta página.

Dadas las complejidades y ambigüedades del esfuerzo científico, ¿es posible para un no-científico encontrar un equilibrio entre el rechazo total y la creencia acrítica? ¿Existen señales de alarma cuando se lee sobre un estudio en un sitio como Greater Good o en un libro de autoayuda popular? Si lees uno de los estudios reales, ¿cómo deberías, como no científico, calibrar su credibilidad?

Me basé en mi propia experiencia como periodista científico, y encuesté a mis colegas aquí en el Centro de Ciencias del Bien de la UC Berkeley. Hemos formulado 10 preguntas que uno puede hacerse cuando lee los últimos descubrimientos científicos. También son preguntas que nos hacemos nosotros mismos, antes de cubrir un estudio.

1. Apareció el estudio en una revista revisada por pares?

La revisión por pares -presentar los trabajos a otros expertos para que los revisen de forma independiente antes de aceptarlos- sigue siendo una de las mejores formas que tenemos para comprobar la seriedad básica del estudio, y muchos científicos describen la revisión por pares como un verdadero crisol de humildad. Si un estudio no pasó por este proceso, por la razón que sea, debe tomarse con un grano de sal mucho mayor.

2. ¿Quién fue estudiado, dónde?

Los experimentos con animales dicen mucho a los científicos, pero su aplicabilidad a nuestra vida humana cotidiana será limitada. Del mismo modo, si los investigadores sólo estudiaron a los hombres, las conclusiones podrían no ser relevantes para las mujeres, y viceversa.

Este fue en realidad un gran problema con el esfuerzo de Nosek para replicar los experimentos de otras personas. Al intentar replicar un estudio alemán, por ejemplo, tuvieron que utilizar mapas diferentes (que serían familiares para los estudiantes de la Universidad de Virginia) y cambiar una escala que medía la agresión para reflejar las normas estadounidenses. Este tipo de variación podría explicar los diferentes resultados. También puede sugerir los límites de la generalización de los resultados de un estudio a otras poblaciones no incluidas en ese estudio.

Como cuestión de enfoque, los lectores deben recordar que muchos estudios psicológicos se basan en muestras WEIRD (occidentales, educadas, industrializadas, ricas y democráticas), principalmente estudiantes universitarios, lo que crea un sesgo intrínseco en las conclusiones de la disciplina. ¿Significa eso que hay que descartar la psicología occidental? Por supuesto que no. Es sólo el equivalente a una señal de “Precaución” o “Ceda el paso” en el camino hacia la comprensión.

3. ¿Qué tamaño tenía la muestra?

En general, cuantos más participantes haya en un estudio, más válidos serán sus resultados. Dicho esto, una muestra grande es a veces imposible o incluso indeseable para ciertos tipos de estudios. Esto es especialmente cierto en los costosos experimentos de neurociencia que implican escáneres de resonancia magnética funcional, o fMRI.

Y muchos estudios de mindfulness han escaneado los cerebros de personas con muchos miles de horas de experiencia en meditación, un grupo relativamente pequeño. Sin embargo, incluso en esos casos, un estudio que analiza a 30 meditadores experimentados es probablemente más sólido que uno similar que escanea los cerebros de sólo 15.

4. ¿Controlaron los investigadores las diferencias clave?

La diversidad o el equilibrio de género no son necesariamente virtudes en un estudio de investigación; en realidad es algo bueno cuando una población de estudio es lo más homogénea posible, porque permite a los investigadores limitar el número de diferencias que podrían afectar al resultado. Un buen investigador trata de comparar manzanas con manzanas, y de controlar tantas diferencias como sea posible en su análisis.

5. ¿Hubo un grupo de control?

Una de las primeras cosas que hay que buscar en la metodología es si la muestra es aleatoria e incluyó un grupo de control; esto es especialmente importante si un estudio va a sugerir que una determinada variable podría realmente causar un resultado específico, en lugar de sólo estar correlacionada con él (véase el siguiente punto).

Por ejemplo, ¿se asignó aleatoriamente a algunos de la muestra una práctica de meditación específica mientras que a otros no? Si la muestra es lo suficientemente grande, los ensayos aleatorios pueden producir conclusiones sólidas. Pero, a veces, un estudio no tendrá un grupo de control porque es éticamente imposible. (¿Seguiría la gente desviando un carro para matar a una persona con el fin de salvar cinco vidas, si su decisión matara a una persona real, en lugar de ser sólo un experimento mental? Nunca lo sabremos con seguridad).

Las conclusiones pueden seguir aportando alguna información, pero hay que mantenerlas en perspectiva.

6. ¿Los investigadores establecieron causalidad, correlación, dependencia o algún otro tipo de relación?

A menudo oigo gritar “Correlación no es causalidad” como una especie de grito de guerra, para intentar desacreditar un estudio. Pero la correlación -el grado en que dos o más medidas parecen cambiar al mismo tiempo- es importante, y es un paso para encontrar eventualmente la causalidad, es decir, establecer que un cambio en una variable desencadena directamente un cambio en otra.

Lo importante es identificar correctamente la relación.

7. ¿El periodista, o incluso el científico, está exagerando el resultado?

El lenguaje que sugiere que un hecho está “probado” por un estudio o que promueve una solución para todas las personas es muy probable que esté exagerando el caso. Las generalizaciones de cualquier tipo suelen indicar una falta de humildad que debería ser una señal de alarma para los lectores. Un estudio puede muy bien “sugerir” una determinada conclusión, pero rara vez, o nunca, la “prueba”.

Por eso usamos mucho lenguaje cauteloso y de cobertura en Greater Good, como “podría” o “implica”.

8. ¿Existe algún conflicto de intereses sugerido por la financiación o las afiliaciones de los investigadores?

Un estudio reciente descubrió que se podía beber muchas bebidas azucaradas sin temor a engordar, siempre que se hiciera ejercicio. ¿El financiador? Coca Cola, que promocionó con entusiasmo los resultados. Esto no significa que los resultados sean erróneos. Pero sí sugiere que deberías buscar una segunda opinión.

9. ¿Parece que el investigador tiene una agenda?

Los lectores podrían ser comprensiblemente escépticos ante los estudios de meditación de atención plena promovidos por budistas practicantes o los experimentos sobre el valor de la oración realizados por cristianos. De nuevo, esto no significa automáticamente que las conclusiones sean erróneas. Sin embargo, eleva el listón de la revisión por pares y la replicación. Por ejemplo, se necesitaron cientos de experimentos antes de que pudiéramos empezar a decir con confianza que el mindfulness puede efectivamente reducir el estrés.

10. ¿Reconocen los investigadores las limitaciones y contemplan explicaciones alternativas?

¿Se centra el estudio en un solo lado de la historia o en una sola interpretación de los datos? ¿No ha considerado o refutado explicaciones alternativas? ¿Demuestran ser conscientes de qué preguntas se responden y cuáles no por sus métodos?

Resumo mi postura personal como no científico hacia los hallazgos científicos así: Curiosa, pero escéptica. Me lo tomo todo en serio y lo tomo con un grano de sal. Lo juzgo en función de mi experiencia, sabiendo que mi experiencia crea un sesgo. Intento cultivar la humildad, la duda y la paciencia. No siempre tengo éxito; cuando fracaso, intento admitir la culpa y perdonarme a mí mismo. Mi propia comprensión es imperfecta, y me recuerdo que un estudio es sólo un paso en la comprensión. Sobre todo, trato de tener en cuenta que la ciencia es un proceso y que las conclusiones siempre plantean más preguntas que debemos responder.