Image: Shutterstock.
Es fácil malinterpretar uno de los términos más comunes —e importantes— de la investigación académica: la significación estadística. De ahí que creamos esta guía para que los periodistas eviten algunos errores, que incluso cometen los investigadores más capacitados.
Los académicos suelen buscar patrones y relaciones entre las variables cuando analizan los datos. Por ejemplo, podrían mirar la información sobre accidentes en parques infantiles e intentar descifrar si los niños con ciertas características tienen más probabilidades de sufrir heridas graves. Un análisis estadístico de alta calidad incluirá otros cálculos para determinar la significación estadística: una forma de evidencia que indica qué tan consistentes son los datos con la hipótesis de investigación.
La significación estadística es un concepto muy técnico y con muchos matices, pero los periodistas deberían tener una comprensión básica de lo que representa. Los especialistas en salud, Steven Tenny e Ibrahim Abdelgawad, plantean la significación estadística de la siguiente manera: “En las ciencias, los investigadores nunca pueden probar una afirmación, ya que hay una infinidad de razones alternativas por las que podrían haber obtenido cierto resultado. Lo único que pueden hacer es refutar una hipótesis específica”.
Se trata entonces de desmentir lo que se llama la hipótesis nula, que Tenny y Abdelgawad definen como una afirmación opuesta a la hipótesis. La significación estadística indica qué tanto difieren los datos examinados de la hipótesis nula.
Quienes estudian los accidentes en los parques infantiles tienen la hipótesis de que los niños menores de cinco años sufren más heridas serias que los niños mayores. La hipótesis nula podría ser que no hay ninguna relación entre la edad del niño y las heridas en los parques. Si un análisis estadístico descubre una relación entre las dos variables y la relación es estadísticamente significativa, los datos no coincidirán con la hipótesis nula.
Por tanto, la significación estadística es la evidencia que se utiliza para decidir si rechazar, o no, una hipótesis nula, porque obtener un resultado estadísticamente significativo no prueba nada.
Aquí reunimos algunos detalles que los periodistas deberían saber sobre la significación estadística antes de reportar sobre investigaciones académicas:
En la investigación académica, significativo ≠ importante
A veces, los periodistas asumen de manera errada que si los resultados de una investigación son descritos como “significativos”, esto quiere decir que son importantes, destacables o noticiosos. Por lo general, esto no es correcto. Reiteramos, cuando los investigadores dicen que un resultado es “estadísticamente significativo” o “significativo”, están indicando qué tan coherentes son los datos con su hipótesis de investigación.
Vale la pena señalar que un resultado puede ser estadísticamente significativo pero tener poca o nula relevancia clínica o práctica. Digamos que unos investigadores llegan a la conclusión de que una nueva droga reduce de forma drástcia el dolor de dientes, pero solo por unos minutos. O que los estudiantes que completan un costoso programa de tutorías obtienen mejores calificaciones en los exámenes de ingreso a la universidad —pero solo por dos puntos más en promedio—. Aunque estos resultados pueden ser significativos en el sentido matemático, no tienen mucha importancia en el mundo real.
Se puede manipular el proceso para calibrar la significación estadística
En la investigación, se utiliza un software sofisticado para analizar los datos. Por cada patrón o relación detectada entre ellos —por ejemplo, una variable que aumenta cuando otra disminuye— el software calcula lo que se conoce como el valor de probabilidad, o valor p.
El valor p varía de 0 a 1. Si un valor p entra dentro del umbral determinado, los investigadores consideran el patrón o la relación estadísticamente significativos. Si es mayor que el rango, ocurre lo contrario. Por eso, los investigadores quieren siempre conseguir valores p bajos.
Por lo general, un índice por debajo de 0.05 se considera estadísticamente significativo. “Los valores p son los guardianes de la significación estadística”, escribió Regina Nuzzo, escritora científica y profesora de estadística en la Universidad Gallaudet de Washington D.C., en su guía Consejos para comunicar la significación estadística. “¿Qué es lo más importante que debes tener en mente? Que utilizamos los valores p para alertarnos sobre resultados sorpresivos en los datos, no para dar una respuesta final”, agregó.
Los periodistas deberían comprender que los valores p no son la probabilidad de que una hipótesis sea real. Los valores p tampoco reflejan que las relaciones en los datos estudiados sean el resultado de la casualidad. La Asociación Estadística Americana advirtió que no se deben repetir este y otros errores en su Declaración sobre la significación estadística y los valores p.
Los valores p pueden manipularse. Una manera de hacerlo es el p-hacking. “(Un investigador) puede analizar persistentemente los datos de diferentes maneras hasta que obtiene un resultado estadísticamente significativo”, explicó el psiquiatra Chittaranjan Andrade, catedrático del Instituto Nacional de la Salud Mental y Neurociencias en India, en un artículo que publicó en 2021 en The Journal of Clinical Psychiatry. “El análisis se detiene cuando se obtiene un resultado significativo o cuando el investigador se queda sin opciones”, añadió.
El p-hacking incluye:
- Detener un estudio o experimento para examinar los datos y, después, decidir si continuar recolectándolos o no.
- Recolectar datos después de que se ha terminado un estudio o experimento, con la intención de cambiar los resultados.
- Retrasar decisiones que podrían influenciar los cálculos, como si incluir o no los datos atípicos, hasta que la información ha sido analizada.
Un ejemplo de la vida real que muchos medios reseñaron tuvo que ver con el investigador Brian Wansink, de la Universidad Cornell, quien anunció su jubilación al poco tiempo de que JAMA, la principal publicación de la Asociación Médica Estadounidense, retractaron seis de sus artículos en 2018.
Stephanie Lee, periodista científica de BuzzFeed News, describió correos entre Wansink y sus colaboradores de Cornell Food and Brand Lab, para demostrar que extrajeron datos exhaustivamente hasta conseguir “resultados que parecieran impresionantes”.
Los investigadores sienten presión para producir resultados estadísticamente significativos
Gran parte de la carrera de un investigador se construye con base en qué tan seguido se le publica y el prestigio de las revistas académicas donde aparece su trabajo. “Todo académico tiene tatuada en la cabeza la idea de ‘publicar o perecer”’, escribieron Ione Fine, profesora de psicología en la Universidad de Washington, y Alicia Shen, estudiante doctoral de la misma universidad, en un artículo publicado en 2018 en The Conversation. “Te guste o no, publicar en grandes revistas es el camino más directo para conseguir posiciones en universidades prestigiosas, con colegas ilustres y amplios recursos, premios célebres y cuantiosas subvenciones”.
Ya que las publicaciones académicas suelen priorizar los resultados estadísticamente significativos, los investigadores suelen enfocar sus esfuerzos en esta dirección. Múltiples estudios sugieren que es más probable que una revista especializada publique estudios con estas características.
“Es un hecho bien documentado que la significación estadística es incomprendida o malinterpretada por los investigadores que dependen de ella”. —profesores Jeffrey Spence y David Stanley, de la Universidad de Guelph
Por ejemplo, un análisis publicado en Science de 2014 encontró que, de los 221 artículos examinados, solo se publicaron alrededor de la mitad. De los estudios cuyos resultados no eran estadísticamente significativos, vieron luz nada más 20%.
Los autores descubrieron que la mayoría de las investigaciones sin resultados estadísticamente significativos ni siquiera se llegaban a redactar. En ocasiones porque los investigadores, prediciendo el rechazo, abandonan el trabajo.
“Cuando un investigador no consigue un resultado estadísticamente significativo, a menudo se trata como un fracaso”, escribió el periodista científico Jon Brock en un artículo para Nature Index en 2019. “Los resultados no significativos son difíciles de publicar en las revistas científicas y, por lo tanto, los investigadores a menudo eligen no presentarlos”.
Muchas personas —incluso los investigadores— cometen errores al explicar la significación estadística a quienes no son científicos
“Debido a sus muchas tecnicalidades, las pruebas de significación no están inherentemente listas para el público”, escribieron para la revista Frontiers in Psychology Jeffrey Spence y David Stanley, profesores asociados de psicología en la Universidad de Guelph en Canadá. “Entender apropiadamente las definiciones que son técnicamente correctas es un reto, incluso para los investigadores capacitados, ya que es un hecho bien documentado que la significación estadística es incomprendida o malinterpretada por los investigadores que dependen de ella”.
Spence y Stanley señalaron otras tres interpretaciones erróneas comunes, que los periodistas deberían tener en cuenta y evitar. La significación estadística, afirmaron, no quiere decir:
- “Hay una menor probabilidad de que este resultado se deba a la casualidad”.
- “Hay menos de 5% de probabilidad de que la hipótesis nula sea verdadera”.
- “Hay 95% de probabilidad de encontrar el mismo resultado en una réplica del estudio”.
Spence y Stanley ofrecen dos sugerencias para describir la significación estadística. Aunque ambas son concisas, muchos periodistas (o sus editores) las consideran demasiado vagas para utilizar en sus artículos de noticias.
Si los resultados de un estudio son significativos, Spence y Stanley sugieren escribir alguna de estas opciones:
- “Todos los resultados fueron estadísticamente significativos (indicando que los verdaderos efectos podrían no ser cero).”
- “Todos los resultados fueron estadísticamente significativos (lo cual sugiere que existe razón para dudar que los verdaderos efectos sean cero).”
Se ha debatido mucho entre los académicos cómo reconsiderar la influencia de la significación estadística
Durante décadas, los académicos han escrito sobre los problemas asociados con determinar y reportar la significación estadística. En 2019, la publicación académica Nature publicó una carta, firmada por más de 800 investigadores y otros profesionales de campos que dependen de modelos estadísticos, pidiendo que se abandone por completo el concepto de la significación estadística.
Ese mismo año, The American Statistician, una revista de la Asociación Americana de Estadística, publicó Statistical Inference in the 21st Century: A World Beyond p < 0.05 — una edición especial que constaba de 43 artículos dedicados a este problema—. Muchos proponían alternativas al valor p y los rangos designados para verificar la significación estadística.
“Conforme nos aventuremos por este camino, comenzaremos a ver menos falsas alarmas, menos descubrimientos ignorados y el desarrollo de más estrategias estadísticas personalizadas”, escribieron tres investigadores en una editorial que aparece en la portada de este número. “Los investigadores tendrán libertad de comunicar sus descubrimientos con toda su gloriosa incertidumbre, sabiendo que su trabajo será juzgado por la calidad y comunicación efectiva de su ciencia, y no por sus valores p”.
John Ioannidis, un profesor de medicina de Stanford y vicepresidente de la Asociación de Médicos Americanos, ha argumentado en contra de abandonar el proceso. Los valores p y la significación estadística pueden ofrecer información valiosa cuando se utilizan e interpretan de manera correcta, escribió en una carta publicada en JAMA en 2019. Reconoce que se necesitan reformas. Por ejemplo: filtros mejores y “menos manipulables” para calibrar la significación. También señaló que el cálculo estadístico de la comunidad científica necesita mejorar”.
“Las recientes recomendaciones de reemplazar, abandonar o retirar la significación estadística desvirtúan la función central de la estadística en las ciencias”, afirmaron los profesores Deborah Mayo, de Virginia Tech, y David Hand, del Imperial College London. Los investigadores necesitan, en cambio, denunciar su uso indebido y evitarlo, según escribieron en mayo de 2022 en un artículo titulado Statistical Significance and Its Critics: Practicing Damaging Science or DAmaging Scientific Practice? “El hecho de que una herramienta pueda ser incomprendida o utilizada incorrectamente no justifica descartarla”, agregaron.
Este artículo se publicó en The Journalist’s Resource y se ha republicado aquí por medio de su licencia de Creative Commons.
Recursos adicionales
Interpretar datos: consejos para evitar errores y entender los números
Top 10 de GIJN en proyectos de periodismo de datos de 2021
Guía de recursos de periodismo de datos de GIJN
Denise-Marie Ordway es la gerente editorial de The Journalist’s Resource, al cual se unió en 2015 después de trabajar para periódicos y estaciones de radio en Estados Unidos y América Central. Su trabajo se ha publicado en USA TODAY, The New York Times y The Washington Post. Fue finalista del Premio Pulitzer en 2012 y becaria Harvard Nieman 2014-2015.