¿Se puede creer realmente en lo que dicen los informes de renombradas revistas científicas? Esta grave duda surgió tras el descubrimiento de varias fallas estadísticas en dos importantes publicaciones, Nature y British Medical Journal (BMJ).

Emili Garca-Berthou y Carles Alcaraz, de la Universidad de Girona, tomaron una muestra de ensayos de ambos periódicos y verificaron sus cálculos, particularmente los utilizados para medir la “significancia estadística , un criterio muy común para decidir qué conclusiones tomar en serio.

Los investigadores encontraron al menos un error en un cuarto de los informes de BMJ y en más de un tercio en los de Nature.

Los resultados han despertado controversia. Estos errores ocasionales son sólo una pequeña parte de un escándalo científico que suena hace años: el abuso del concepto “significancia estadística .

Introducida en 1930 por el estadístico británico R. Fisher, la “muestra significante se volvió un ritual para los científicos que tratan de respaldar sus descubrimientos. Los datos experimentales, por ejemplo las tasas de cura de un remedio, se ponen en una fórmula que arroja un número llamado valor P. Si éste es menor a 0,05 se dice que el resultado es “estadísticamente significativo .

La técnica fue realizada por investigadores que buscaban una regla rápida y confiable para darle sentido a sus resultados. El valor P se ha convertido desde entonces en un factor estándar en muchos campos, especialmente en ciencias más suaves como la psicología.

En cuanto fueron incorporadas, las pruebas de significancia causaron alarma entre los estadísticos. Les preocupa el hecho de que todo el concepto de valor P descansa en una hipótesis que la mayoría de los científicos parece desconocer.

A primera vista, un valor P aparece como la probabilidad de que un descubrimiento sea una casualidad; un valor P “estadísticamente significativo de 0,05 implicaría una oportunidad de 95% de que el hallazgo no sea fortuito y, por lo tanto, se pueda tomar seriamente.

Los estadísticos advierten, sin embargo, que este es un error conceptual muy peligroso. La teoría detrás del valor P presume que todo descubrimiento es casual. Entonces se pregunta cuál es la probabilidad de obtener otro resultado igualmente extremo como el anterior.

En 1963, un equipo de estadísticos de la Universidad de Michigan advirtió que los valores P tenían una “sorprendente tendencia a ver significancia en hallazgos accidentales. Estas advertencias se repitieron muchas veces desde entonces.

Durante los 80, James Berger, profesor de la Universidad de Purdue, publicó una serie de informes mostrando que los valores P exageraban la verdadera significancia de resultados poco verosímiles en un factor de diez o más.

A pesar de ello, los científicos siguen utilizando los valores P para confirmar sus descubrimientos, en principio porque tener resultados “estadísticamente significantes es un requisito para ser publicado en las revistas más importantes.