Medicina crítica e independiente: El sesgo de publicación, un síntoma de una enfermedad que amenaza a la práctica basada en la evidencia.

"Según los estudios disponibles en la literatura científica blablablablabla"...
y es en ese momento cuando alguien levanta la mano y pide hacer dos preguntas muy simples:

- ¿Quién financiaba esos estudios?

- ¿Esos estudios representan a la totalidad de los trabajos de investigación sobre ese tema o ha habido algún criterio "extra" que seleccionara qué se publicaba y qué no?

Sudores fríos y balbuceos... eh... esto... "algunas publicaciones son incluso del New England, no de cualquier sitio"...

y con esta alusión al argumento de autoridad creyó salir airoso del tema.

Los estudios financiados por la industria farmacéutica son más tendentes a producir resultados positivos.

Se han llevado múltiples estudios para analizar qué tipos de resultados se asocian al financiador de los estudios científicos; todos coinciden en señalar que los estudios con financiación de la industria farmacéutica es más probable que muestren resultados a favor de los fármacos estudiados que los financiados por otras entidades. [nota 1]

Según el artículo "Outcome reporting among drug trials registered in clinicaltrials.gov" publicado en 2010 en Annals of Internal Medicina [enlace al resumen], los estudios que tenían financiación de la industria farmacéutica publicaban resultados positivos en mayor proporción que los que carecían de esta financiación (81% frente a 61.2%, p=0.013); además, los estudios con financiación de la industria farmacéutica tardaban más tiempo en sacar sus resultados a la luz (publicación durante los primeros 24 meses tras la finalización del estudio: CON financiación de la industria = 32.4% SIN financiación de la industria = 56.2%. Resumiendo, los estudios con financiación de la industria farmacéutica tenían más probabilidad de publicar resultados positivos y menor probabilidad de publicar sus resultados en los 2 primeros años tras la finalización del estudio.

Otro texto interesante a este respecto es "Factors associated with findings of published trials of drug-drug comparisons: why some statins appear more efficacious than others", publicado en 2007 en la revista PLoS [enlace al texto completo]. En este trabajo se muestra cómo los trabajos ensayos clínicos aleatorizados con financiación de la industria farmacéutica se asocian con la presentación de resultados favorables al fármaco experimental (OR=20.16 IC95%:4.37-92,98).

¿Cómo es esto posible? ¿Cómo puede ser que los estudios tengan distintos resultados según quién los financie? La respuesta es sencilla, basta con medir aquello que sabes que va a resultar favorable a tus deseos, con independencia de que esto esté más o menos relacionado con la salud de los pacientes; los estudios con financiación pública muestran más tendencia a medir variables como la mortalidad o el tiempo libre de discapacidad, mientras que aquellos con financiación de la industria tienden a medir más variables intermedias (tema del que también hablaremos en otros artículos de esta serie). Los estudios con resultados negativos tienen menos probabilidad de ser publicados que los que tienen hallazgos positivos.

En un capítulo del libro Bad Pharma, se relata cómo unos investigadores de las universidades de Yale y Cambridge se propusieron revisar los resultados de todos los estudios sobre medicamentos antidepresivos que hubieran sido registrados ante la FDA (Food and Drugs Administration) entre los años 1987 y 2004. Encontraron 74 estudios (con un total de 12.500 pacientes), de los cuales 38 presentaban resultados positivos (favorables al fármaco estudiado) y 36 con resultados negativos.
Posteriormente, decidieron ver cuántos de esos estudios se habían publicado en revistas científicas, obteniendo los siguientes resultados: 37 de los estudios con resultados positivos habían sido publicados mientras que sólo 3 de los que tenían resultados negativos lo habían hecho; además, de los 33 estudios restantes con resultados negativos había 11 que se habían presentado "disfrazando" los resultados de hallazgos positivos relevantes (mediante algunos trucos que veremos en entregas posteriores de esta serie).
Resumiendo, un médico que fuera a prescribir un antidepresivo y quisiera saber la verdadera eficacia de estos según los estudios llevados a cabo se encontraba con dos panoramas distintos:

• la ciencia publicada: 48 estudios positivos, 3 estudios negativos.
• la realidad (silenciada): 38 estudios positivos, 36 estudios negativos.

Esto que hemos comprado es tan solo una cara del sesgo de publicación; otros estudios sobre este tema concluyeron lo siguiente:

• Dickersin (1997): los resultados estadísticamente significativos tienen el doble de probabilidad de ser publicados.
• Bardy (1998): estudios con resultados positivos se publicaron en un 47% mientras que los que tenían resultados negativos sólo en un 11%.
• Cronin E (2004): estudios con financiación pública en Reino Unido se publicaron de forma equiprobable con independencia del tipo de resultados que arrojaran.

Otro ejemplo más reciente de este sesgo de publicación lo podríamos observar en relación con la vacuna del papiloma humano. En un reciente artículo publicado en la revista Current Pharmaceutical Design, llamado " Human Papillomavirus (HPV) Vaccines as an Option for Preventing Cervical Malignancies: (How) Effective and Safe?" [enlace al texto completo] se analizaron todos los ensayos clínicos aleatorizados llevados a cabo sobre la vacuna del virus del papiloma humano, utilizando los datos centralizados del comité asesor de vacunas de la FDA; encontraron que existen sesgos de publicación por notificación selectiva de ciertos resultados a la hora de ser presentados en revistas científicas; así mismo, al analizar los datos de la base de datos de la FDA los resultados sobre la eficacia de la vacuna se mostraron mucho más modestos que lo publicado en múltiples publicaciones en revistas de alto factor de impacto. 

En la actualidad existe una iniciativa importante para que se hagan públicos los resultados de todos los ensayos clínicos realizados, con independencia de los resultados o intereses detrás de estos. Se trata de "All trials registered"

Individuos e instituciones pueden adherirse a la petición que comienza así:

Ha llegado el momento de que todos los ensayos clínicos sean publicados. Los pacientes, investigadores, farmacéuticos, doctores y entidades reguladoras de todo el mundo se verán beneficiados con la publicación de resultados de los ensayos clínicos. Estés donde estés, por favor, firma la petición.

A esta iniciativa  se han unido instituciones oficiales, así como empresas privadas, incluyendo a alguna gran empresa framacéutica como GlaxoSmithKline, mientras que otras como Roche han afirmado su intención de NO adherirse (la ocultación de datos por parte de Roche en relación con su medicamento Tamiflú -oseltamivir- ha sido uno de los detonantes para la aparición de esta iniciativa).

El medicamento como bien social...

Hace unos meses Roche manifestó su decisión de interrumpir el suministro de fármacos antineoplásicos a los hospitales griegos debido a los impagos (ver noticia); lo que hemos comentado anteriormente nos debería llevar a hacer dos reflexiones:

1- Si la financiación de la I+D básica es principalmente de titularidad pública, mientras que la I+D de investigación aplicada (ensayos clínicos fase III, por ejemplo) es de financiación privada, los resultados del proceso final de las investigaciones aplicadas descansan sobre un lecho de propiedad pública (no legalmente pero sí "moralmente"). Recomendamos la lectura de "¿De quién son los medicamentos? Por una moratoria a la participaciónd e investigadores y pacientes en ensayos clínicos patrocinados por Roche", publicado por No Gracias.
2- El ánimo de lucro y la inversión en I+D no autoriza a la industria farmacéutica a ocultar datos que, en la mayoría de las ocasiones, se han obtenido con una implicación mayor o menor de fondos y recursos públicos.

Como publicó Nature hace unas semanas "Government mandates that taxpayer-funded reserach be freely available within 12 months"


[nota 1] Cuando se presentan estos datos es común escuchar a alguien argumentar que si la industria farmacéutica no investigara etc (no vamos a repetir ese argumento porque de tan manoseado resulta cansino); sólo dos matices:

- Según datos de Farmaindustria, los porcentajes de inversión en I+D según financiador son como sigue:

- La inversión en I+D (o en lo que sea) no capacita a nadie para falsear o manipular datos.


Bibliografía.

1. Goldacre B. Bad Pharma.
2. Bourgeois FT, Murthy S, Mandl KD. Outcome reporting among drug trials registered in clinicaltrials.gov. Ann Intern Med 2010;152(3):158-166 [enlace al resumen] 
3. Bero L, Oostvogel F, Bachetti P, Lee K. Factors associated with findings of published trials of drug-drug comparisons: why some statins appear more efficacious than others. PLoS Med 2007;4(6):e184 [enlace al texto completo]
4. Tomljenovic L, Spinosa JP, Shaw CA. Human Papillomavirus (HPV) Vaccines as an option for preventing cervical malignancies: (How) effective and safe? Curr Pharm Des. 2013;19:1466-87. [enlace al texto completo]

La serie "Medicina crítica e independiente" constará de los siguientes artículos (se aceptan sugerencias):

1. ¿Podemos confiar en los resultados de los artículos científicos publicados?
2. El sesgo de publicación, un síntoma de una enfermedad que amenaza a la práctica basada en la evidencia.
3. ¿Qué actores intervienen en la práctica clínica y qué intereses representa cada uno?
4. ¿Qué principios generales deben regir la formación independiente y cómo conseguir ponerlos en práctica?
5. ¿Cómo hacer que no nos vendan la moto: herramientas estadísticas para comprender los datos más fácilmente manipulables?
6. Nosotros y la industria (farmacéutica, del diagnóstico,...)... ¿un conflicto inevitable?
7. Concluyendo: ¿es posible la autoformación en tiempos de infoxicación?

Medicina crítica e independiente: ¿Podemos confiar en los resultados de los artículos científicos publicados?

"Por qué la mayoría de los hallazgos de investigación publicados son falsos" Ése es el provocativo título que da nombre al artículo más leído de la historia de la revista PLoS Medicine.

En él se plantea que en torno a 2/3 de los artículos científicos que encontramos en la literatura científica nos muestran hallazgos que, en realidad, no están de acuerdo con la realidad.  No se trata de engaños por parte de los investigadores (la buena fe de los mismos vamos a presuponer, de momento), sino de condiciones de los experimentos científicos, el análisis estadístico y la interpretación de los mismos, que llevan a que lo que tomamos por inmutablemente cierto no lo sea.

Uno de los aspectos básicos que determina este hecho es la investigación de asociaciones/relaciones cuya probabilidad preprueba (la probabilidad de que una asociación sea cierta antes de realizar un determinado experimento, que correspondería a la probabilidad según el conocimiento disponible). Para entender este fenómeno sería recomendable comprender algunos aspectos básicos de estadística bayesiana, brillantemente plasmados Luis carlos Silva en su artículo "El enfoque bayesiano: otra manera de inferir" y por xkcd en la siguiente viñeta:

En su artículo, Ioannidis plantea 6 aspectos que podrían estar relacionados con la certeza de los hallazgos científicos de una publicación:

1. A menor tamaño muestral, menor probabilidad de que lo publicado sea cierto. Por otro lado, podríamos añadir que si leemos un estudio que precisa de un elevado tamaño muestral para conseguir diferencias estadísticamente significativas (con modestas magnitudes del efecto/asociación) entonces es que, aunque sea una relación cierta es probable que su relevancia clínica sea pequeña.
2. A menor magnitud del efecto, menor probabilidad de que lo publicado sea cierto. El efecto del tabaco sobre el cáncer o las enfermedades cardiovasculares tiene unas cifras de riesgo relativo entre 3 y 20, mientras que las asociaciones entre ciertos marcadores genéticos y el desarrollo de enfermedades multifactoriales tiene cifras de riesgo relativo en torno a 1.1-1.15; como señala Ioannidis, el aumento de la búsqueda de asociaciones de baja magnitud incrementará la publicación de hallazgos científicos que no sean realmente ciertos.
3. A mayor número de asociaciones "testadas", menor probabilidad de que lo publicado sea cierto. Incluso mediante la aplicación de correcciones estadísticas para comparaciones múltiples (por ejemplo, la corrección de Bonferroni), dado que las comparaciones múltiples suelen llevar aparejada una disminución de la probabilidad preprueba de que la asociación sea cierta.
4. Cuanto mayor flexibilidad en el diseño del estudio, mayor probabilidad de que aparezcan sesgos y errores.
5. Cuanta más gente haya investigando (y publicando) en ese campo, menor probabilidad de que lo publicado sea cierto. Un ejemplo reciente lo tenemos en el caso de la interacción entre omeprazol y clopidogrel, que hizo que aparecieran datos contradictorios de forma encadenada durante meses.
6. Cuanto mayor sean los conflictos de interés (económicos, principalmente, pero también académicos y de otro tipo), menor es la probabilidad de que lo publicado sea cierto. Este punto lo desarrollaremos con más calma y detalle en la próxima entrega de esta serie, cuando hablemos del sesgo de publicación.

En el ámbito de la salud, probablemente el gran problema al que nos enfrentamos en la actualidad no es tanto la coincidencia de los resultados publicados con la realidad, sino la relevancia clínica de los mismos...

... pero esto lo veremos en próximos posts...

Bibliografía.

1. Ioannidis J. Why most published research findings are false. PLoS Med 2005;2(8):e124 doi:10.1371/journal.pmed.0020214 [texto completo]
2. Silva LC, Benavides A. El enfoque bayesiano: otra manera de inferir. Gac Sanit 2001;15(4):341-6 [texto completo]
3. Oficina de evaluación de medicamentos. Servicio extremeño de salud. ¿Es clínicamente relevante además de estadísticamente significativo? 2012 [texto completo]

La serie "Medicina crítica e independiente" constará de los siguientes artículos (se aceptan sugerencias):

1. ¿Podemos confiar en los resultados de los artículos científicos publicados?
2. El sesgo de publicación, un síntoma de una enfermedad que amenaza a la práctica basada en la evidencia.
3. ¿Qué actores intervienen en la práctica clínica y qué intereses representa cada uno?
4. ¿Qué principios generales deben regir la formación independiente y cómo conseguir ponerlos en práctica?
5. ¿Cómo hacer que no nos vendan la moto: herramientas estadísticas para comprender los datos más fácilmente manipulables?
6. Nosotros y la industria (farmacéutica, del diagnóstico,...)... ¿un conflicto inevitable?
7. Concluyendo: ¿es posible la autoformación en tiempos de infoxicación?

Medicina crítica e independiente: esbozando una serie de artículos

El otro día publicamos "El espíritu crítico como forma de confrontar una medicina que está podrida", con una presentación acerca de la necesidad de mantener el espíritu crítico y la independencia formativa como guías de nuestra práctica profesional en el ámbito sanitario y, en nuestro caso concreto, en la práctica médica.

En estos días vamos a comenzar a desarrollar algunos de los aspectos tratados en dicha presentación de forma más pausada y detallando la bibliografía correspondiente, y continuaremos con algunos artículos a lo largo de las próximas semanas.

La serie "Medicina crítica e independiente" constará de los siguientes artículos (se aceptan sugerencias):

1. ¿Podemos confiar en los resultados de los artículos científicos publicados?
2. El sesgo de publicación, un síntoma de una enfermedad que amenaza a la práctica basada en la evidencia.
3. ¿Qué actores intervienen en la práctica clínica y qué intereses representa cada uno?
4. ¿Qué principios generales deben regir la formación independiente y cómo conseguir ponerlos en práctica?
5. ¿Cómo hacer que no nos vendan la moto: herramientas estadísticas para comprender los datos más fácilmente manipulables?
6. Nosotros y la industria (farmacéutica, del diagnóstico,...)... ¿un conflicto inevitable?
7. Concluyendo: ¿es posible la autoformación en tiempos de infoxicación?