Recientemente varios científicos han publicado un manifiesto en Nature criticando la falta de validez de las investigaciones científicas actuales. 

Es un hecho que viene denunciándose desde hace tiempo y que preocupa en el mundo científico. Otros estudios muestran que se publican en el mundo cerca de 2 millones de artículos cada año. Cada artículo lo lee una media de tan solo 10 personas, entre los que están los coautores habituales o los editores y revisores que han intervenido. El 82% de los artículos en humanidades no reciben ni una sola cita. Y de los artículos citados solamente el 20% han sido leídos realmente por los autores. Existe una presión grande por publicar mucho y rápido y esta puede ser una de las causas de este aparente desastre. Pero no es un problema tan nuevo como pudiera parecer. Hace años, se decía que, de los diez artículos más relevantes de la historia de las matemáticas, siete de ellos habían sido rechazados en primera instancia.

En cualquier caso, no es posible que un estudio sea replicable al cien por cien. Solamente los resultados matemáticos demostrados con las leyes de la lógica y basados en principios o supuestos perfectamente definidos e inapelables podríamos decir que son completamente reproducibles. Cuando demostramos matemáticamente que toda línea continua con valores negativos y positivos necesariamente ha de igualarse a cero en algún momento, es algo infalible. Por más veces que reproduzcamos el experimento dibujando líneas continuas que comiencen en la parte negativa y acaben en la positiva, siempre estarán obligadas a pasar por el cero. Nunca fallará el experimento. Pero casi todo lo demás es reproducible con cierta probabilidad. Que el resultado se reproduzca frente a un grupo de expertos o proporcionar los datos es una garantía, pero no añade certeza.

Por otro lado, es obvio que la investigación científica reciente ha hecho, por ejemplo, que la esperanza de vida haya crecido de un modo espectacular en los últimos años y que haya habido avances científicos que contribuyen al bienestar de una manera muy clara. Por eso no soy amigo de caer en alarmismos que no ayudan a mejorar la situación. Para que salga algo relevante no hay más remedio que intentarlo muchas veces y por tanto producir investigaciones que no serán nunca relevantes, aunque se hayan hecho con buena fe. Esto no justifica que no se deban hacer bien las cosas. El manifiesto citado anteriormente da algunas claves de cómo debería ser una buena investigación y eso me parece muy importante y de agradecer.

Desde un punto de vista metodológico estadístico, para conducir una investigación de modo correcto, se deberían tener en cuenta los siguientes principios básicos, entre otros. Las hipótesis que se quieren demostrar se han de establecer al comienzo, no solamente antes de recoger los datos, sino antes de planificar la recogida. Precisamente eso nos permitirá diseñar un plan de recogida de datos (diseño experimental o muestreo) adecuado y eficaz. Los experimentos, encuestas, etc. han de realizarse con la supervisión de quien ha diseñado el plan. El tratamiento correcto de la no respuesta u otras dificultades surgidas en la recogida de los datos, pueden ser clave en un determinado estudio. Al hacer los análisis de los datos se han de comprobar las hipótesis que los sustentan y no conformarse con los resultados que arroja un software estadístico de modo automático. Por poner un ejemplo para personas ajenas a estos ámbitos, si recogemos datos sobre las preferencias en el tipo de literatura que uno lee, podríamos codificar las respuestas como 1 (ciencia ficción), 2 (ensayo), 3 (históricos)… El caso es que un software estadístico calculará el promedio de estos códigos si se lo pedimos, pero sin que esto tenga ningún sentido.

A nadie se le ocurre hacer esto, pero hay errores de este tipo, más sutiles, que se escapan si falta el conocimiento o la ayuda adecuada. Al presentar los resultados en una publicación se han de proporcionar con claridad los inconvenientes y dificultades surgidas durante todo el proceso y todo aquello que pueda ayudar a valorar el estudio ponderadamente.

El modelo estadístico que se ha utilizado nunca se ajusta perfectamente a la realidad y por eso se ha de tomar siempre con las debidas precauciones. George Box, uno de los estadísticos más prominentes contemporáneos, fallecido en 2013, solía decir que todos los modelos son falsos, pero algunos son útiles. Al menos los modelos estadísticos son capaces de precisar el error que se comete, siempre bajo los supuestos básicos del modelo que se ha empleado. Otros procedimientos, por ejemplo los algoritmos basados en la naturaleza, funcionan en la práctica, pero no permiten controlar ese error. Eso no quiere decir que no deban usarse. De hecho se utilizan, por ejemplo en los buscadores en internet o en los traductores automáticos y funcionan, pero siempre ha de hacerse con cautela.

Es necesario seguir investigando mucho y lo mejor que se pueda. Se han hecho grandes progresos en nuestro país. Es necesario apostar por la investigación, no solo de palabra, sino con hechos y con financiación tangible para garantizar la renovación generacional. También es necesario un replanteamiento sosegado de los procedimientos de evaluación de la investigación, pero sin rebajar su exigencia ni atender a las falsas excusas.