Medicina crítica e independiente: ¿Podemos confiar en los resultados de los artículos científicos publicados?

"Por qué la mayoría de los hallazgos de investigación publicados son falsos" Ése es el provocativo título que da nombre al artículo más leído de la historia de la revista PLoS Medicine.

En él se plantea que en torno a 2/3 de los artículos científicos que encontramos en la literatura científica nos muestran hallazgos que, en realidad, no están de acuerdo con la realidad.  No se trata de engaños por parte de los investigadores (la buena fe de los mismos vamos a presuponer, de momento), sino de condiciones de los experimentos científicos, el análisis estadístico y la interpretación de los mismos, que llevan a que lo que tomamos por inmutablemente cierto no lo sea.

Uno de los aspectos básicos que determina este hecho es la investigación de asociaciones/relaciones cuya probabilidad preprueba (la probabilidad de que una asociación sea cierta antes de realizar un determinado experimento, que correspondería a la probabilidad según el conocimiento disponible). Para entender este fenómeno sería recomendable comprender algunos aspectos básicos de estadística bayesiana, brillantemente plasmados Luis carlos Silva en su artículo "El enfoque bayesiano: otra manera de inferir" y por xkcd en la siguiente viñeta:

En su artículo, Ioannidis plantea 6 aspectos que podrían estar relacionados con la certeza de los hallazgos científicos de una publicación:

1. A menor tamaño muestral, menor probabilidad de que lo publicado sea cierto. Por otro lado, podríamos añadir que si leemos un estudio que precisa de un elevado tamaño muestral para conseguir diferencias estadísticamente significativas (con modestas magnitudes del efecto/asociación) entonces es que, aunque sea una relación cierta es probable que su relevancia clínica sea pequeña.
2. A menor magnitud del efecto, menor probabilidad de que lo publicado sea cierto. El efecto del tabaco sobre el cáncer o las enfermedades cardiovasculares tiene unas cifras de riesgo relativo entre 3 y 20, mientras que las asociaciones entre ciertos marcadores genéticos y el desarrollo de enfermedades multifactoriales tiene cifras de riesgo relativo en torno a 1.1-1.15; como señala Ioannidis, el aumento de la búsqueda de asociaciones de baja magnitud incrementará la publicación de hallazgos científicos que no sean realmente ciertos.
3. A mayor número de asociaciones "testadas", menor probabilidad de que lo publicado sea cierto. Incluso mediante la aplicación de correcciones estadísticas para comparaciones múltiples (por ejemplo, la corrección de Bonferroni), dado que las comparaciones múltiples suelen llevar aparejada una disminución de la probabilidad preprueba de que la asociación sea cierta.
4. Cuanto mayor flexibilidad en el diseño del estudio, mayor probabilidad de que aparezcan sesgos y errores.
5. Cuanta más gente haya investigando (y publicando) en ese campo, menor probabilidad de que lo publicado sea cierto. Un ejemplo reciente lo tenemos en el caso de la interacción entre omeprazol y clopidogrel, que hizo que aparecieran datos contradictorios de forma encadenada durante meses.
6. Cuanto mayor sean los conflictos de interés (económicos, principalmente, pero también académicos y de otro tipo), menor es la probabilidad de que lo publicado sea cierto. Este punto lo desarrollaremos con más calma y detalle en la próxima entrega de esta serie, cuando hablemos del sesgo de publicación.

En el ámbito de la salud, probablemente el gran problema al que nos enfrentamos en la actualidad no es tanto la coincidencia de los resultados publicados con la realidad, sino la relevancia clínica de los mismos...

... pero esto lo veremos en próximos posts...

Bibliografía.

1. Ioannidis J. Why most published research findings are false. PLoS Med 2005;2(8):e124 doi:10.1371/journal.pmed.0020214 [texto completo]
2. Silva LC, Benavides A. El enfoque bayesiano: otra manera de inferir. Gac Sanit 2001;15(4):341-6 [texto completo]
3. Oficina de evaluación de medicamentos. Servicio extremeño de salud. ¿Es clínicamente relevante además de estadísticamente significativo? 2012 [texto completo]

La serie "Medicina crítica e independiente" constará de los siguientes artículos (se aceptan sugerencias):

1. ¿Podemos confiar en los resultados de los artículos científicos publicados?
2. El sesgo de publicación, un síntoma de una enfermedad que amenaza a la práctica basada en la evidencia.
3. ¿Qué actores intervienen en la práctica clínica y qué intereses representa cada uno?
4. ¿Qué principios generales deben regir la formación independiente y cómo conseguir ponerlos en práctica?
5. ¿Cómo hacer que no nos vendan la moto: herramientas estadísticas para comprender los datos más fácilmente manipulables?
6. Nosotros y la industria (farmacéutica, del diagnóstico,...)... ¿un conflicto inevitable?
7. Concluyendo: ¿es posible la autoformación en tiempos de infoxicación?