¿Por qué no se está adoptando la revisión de preprints?
Los servidores de preprints y la revisión por pares están siendo reevaluados mientras los científicos se enfrentan a fallos de replicación, a una avalancha de artículos de baja calidad y a una confianza pública mal colocada en la etiqueta "revisado por pares". Quienes comentan sostienen que la revisión por pares tradicional funciona más como un filtro de spam y una señal de prestigio que como una verdadera comprobación de validez, y que muchos estudios irreproducibles o débiles se cuelan porque los fallos de diseño o de datos son difíciles de detectar en la revisión. Las soluciones propuestas van desde capas de revisión posteriores a la publicación, revisiones pagadas y de mayor calidad, e incentivos para estudios de replicación, hasta ideas más radicales como eliminar por completo la revisión previa a la publicación, apoyarse en preprints abiertos, comentarios de la comunidad y mejores herramientas para destacar el trabajo fiable.
Límites y propósito de la revisión por pares
- Muchos ven la revisión por pares como un “filtro de spam” débil pero útil que descarta disparates obvios, no como una garantía de verdad o reproducibilidad.
- Varios sostienen que los no expertos sobrevaloran la etiqueta “revisado por pares”; dentro de los campos, los artículos se leen con escepticismo independientemente de la revisión.
- Otros responden que, pese a sus defectos, la revisión por pares y la curaduría de las revistas mejoran mucho la relación señal/ruido y orientan a los lectores hacia trabajos de mayor valor.
Reproducibilidad y replicación
- La irreproducibilidad a menudo no es detectable en el momento de la publicación; algunos presentan la no replicación como una parte esperable de la ciencia.
- Otros dicen que los revisores sí pueden señalar trabajos probablemente no replicables usando herramientas como el análisis de potencia y examinando el diseño con atención (por ejemplo, preregistro, controles).
- Principales obstáculos prácticos: falta de incentivos para la replicación, alto coste (especialmente en ML y grandes experimentos) y datos/métodos ocultos.
- Entre las sugerencias están exigir datos/código abiertos, crear espacios para resultados negativos e intentos de replicación, e incluso vincular los derechos de citación o la publicación a una replicación independiente; aunque los críticos lo consideran inviable y sesgado hacia el trabajo de bajo riesgo.
Preprints, revisión de preprints y revistas
- En algunas áreas (especialmente CS/ML), los preprints al estilo arXiv son, de hecho, la comunicación principal; las conferencias/revistas añaden un “sello” más que encargarse de la difusión central.
- Se discuten plataformas abiertas como OpenReview, los preprints revisados de eLife, TMLR, PREreview y “revistas” basadas en git como modelos emergentes.
- Un sector quiere minimizar o abolir la revisión por pares previa a la publicación, volviendo a comprobaciones solo por parte del editor más la crítica abierta posterior a la publicación.
- Otros subrayan que las revistas siguen proporcionando una curaduría crucial y señales de reputación; sin ellas, el trabajo valioso corre el riesgo de quedar enterrado en el ruido.
Incentivos, estatus y carga de trabajo
- Publicar o perecer y las métricas de prestigio (sede, impacto) se ven como causas raíz de los artículos troceados, los estudios con fallos de diseño y la renuencia a replicar.
- La revisión es trabajo experto no remunerado y que consume tiempo; algunos proponen incluir los costes de revisores/replicadores en las becas y pagar por un trabajo minucioso.
- Los escépticos advierten que el pago puede incentivar el sello de aprobación de bajo esfuerzo, el juego con las valoraciones de revisores y el halago a los autores al estilo de consultoría.
Otras preocupaciones e ideas
- Entre los temores está que la revisión de preprints se convierta en otro campo de batalla de guerras culturales o en “ciencia por consenso”.
- Las propuestas van desde sistemas de comentarios en arXiv y “notas de la comunidad al estilo Twitter” sobre los artículos, hasta mini-revisiones obligatorias al citar, pasando por control de calidad asistido por IA en código/experimentos dentro de la investigación en IA.
- Varios señalan que la desconfianza pública procede al menos tanto del periodismo sensacionalista y de los incentivos institucionales como de la revisión por pares en sí.