La revisión por pares es un sistema basado en el honor (2008)
La revisión por pares en la ciencia se presenta como un filtro de bajo umbral, basado en el honor y la reputación, que ofrece una comprobación básica de cordura más que una garantía de verdad. Los comentaristas destacan problemas sistémicos —sesgo, bloqueo de acceso, incentivos corruptos, poca rendición de cuentas de los revisores y el uso indebido del estatus de “revisado por pares” en la política, los medios y la evaluación profesional— al tiempo que señalan que el trabajo defectuoso e incluso el fraude suelen pasar. Se sugieren alternativas y reformas como la revisión abierta por pares, los servidores de preprints y una evaluación más transparente y colaborativa para mejorar la relación señal/ruido sin sobrecargar a los investigadores ni afianzar el poder de las editoriales.
Rol y límites de la revisión por pares
- Se presenta ampliamente como un umbral bajo / una comprobación de cordura, no como garantía de verdad o consenso científico.
- El valor real de un artículo se considera su influencia posterior y su replicación, no su aceptación.
- Algunos argumentan que, si los artículos son “solo iniciadores de conversación”, no deberían usarse en exceso para recompensas o políticas; otros responden que los profesionales ya los interpretan así.
- Preocupación de que el público y los periodistas traten “revisado por pares” como “hecho probado”, alimentando tanto el entusiasmo exagerado como la reacción adversa.
Replicación, escalas temporales e impacto
- Varios comentarios subrayan que la validación llega con la reproducción a lo largo del tiempo, no con la revisión inicial.
- Se distingue entre artículos “seminales” (muy examinados, replicados) y artículos “de relleno” (trabajo incremental y material para el CV).
- Se usan ejemplos históricos (bacterias de la úlcera, microbioma intestinal, debates sobre Alzheimer) para mostrar cómo el consenso puede resistirse durante años a nuevas pruebas.
Fallos, sesgos e incentivos
- La revisión por pares a menudo no detecta fraude ni fabricación; se citan escándalos de alto perfil y artículos engaño.
- Se informa de revisores que bloquean o ralentizan trabajos competidores, exigen autocitas o imponen modas estrechas; se considera más grave en algunas revistas que en las conferencias, o viceversa, según el campo.
- Los sistemas centrados en conferencias (especialmente en CS/ML) se critican por ser adversariales, estar impulsados por el prestigio y ser vulnerables a revisiones de poco esfuerzo o de mala fe.
- La revisión por pares para subvenciones y las métricas de publicar o perecer se ven como factores que alejan la investigación del trabajo “de ciencia básica” y la empujan hacia temas seguros y financiables.
Modelos alternativos y en evolución
- Fuerte apoyo a la revisión por pares pública y continua: informes abiertos, discusión visible, señales de reputación para los revisores.
- Se mencionan ejemplos de revistas y conferencias que usan revisiones abiertas o firmadas, y preprints al estilo arXiv con comentarios de la comunidad.
- Las sugerencias incluyen espacios separados para resultados tentativos frente a resultados sólidamente replicados, y nuevas “insignias de aprobación” más allá del recuento de citas.
Uso fuera de la comunidad científica
- La disfunción más grande se observa cuando responsables de políticas, financiadores y comités de contratación usan la revisión por pares como un sustituto barato de la evaluación profunda.
- Algunos ven esto como un fallo del periodismo/comunicación; otros, como un uso estructural indebido de una herramienta diseñada para filtrar de experto a experto.
Tecnología e IA
- Preocupa que la IA generativa se esté usando para escribir revisiones; se pide rendición de cuentas y revisiones firmadas.
- Contrapunto: las herramientas son aceptables si los humanos siguen siendo responsables de la corrección, aunque existe inquietud ante un ecosistema de artículos escritos por IA revisados por IA.