Bayesianos pasando de la defensa al ataque
La estadística bayesiana se presenta como cada vez más convincente para campos como la medicina y la experimentación en línea, donde la información previa de estudios o ensayos pasados puede dar forma de manera significativa a nuevos análisis. Los comentaristas contrastan los enfoques bayesiano y frecuentista en cuestiones como los supuestos explícitos, el papel y la subjetividad de los priors, la interpretabilidad de los valores p y los intervalos de confianza, y sus contribuciones a la crisis de replicación. Se comparten varios recursos prácticos para aplicar métodos bayesianos a pruebas A/B y modelado multiestrato, mientras que los críticos advierten que unos priors mal manejados pueden afianzar el sesgo en lugar de corregirlo.
Sesgo de publicación y uso de información previa
- Varios comentaristas señalan que el sesgo de publicación puede distorsionar tanto las conclusiones bayesianas como las frecuentistas.
- Los métodos bayesianos pueden modelar explícitamente el sesgo de publicación o codificar escepticismo mediante priors débiles o menos informativos; no tener en cuenta el sesgo cuando es medible se considera un error mayor.
- Hay desacuerdo sobre cuánto debería uno apoyarse en ensayos anteriores como priors frente a simplemente recopilar más datos y hacer un metaanálisis.
Frecuentista vs bayesiano: fortalezas y casos de uso
- La estadística frecuentista se describe como computacionalmente más sencilla, con una teoría analítica sólida, abundante literatura y “recetas” establecidas para la comprobación de hipótesis.
- Muchos informan que solo se les enseñaron métodos frecuentistas, a menudo sin discusión explícita de los supuestos.
- La estadística bayesiana es elogiada por hacer explícitos los supuestos y sesgos, encajar de forma natural con modelos generativos y jerárquicos, y funcionar mejor con muestras pequeñas o estructuras multiestrato complejas.
- Algunos dicen que la controversia es en gran medida histórica; ambos marcos suelen dar respuestas similares con grandes volúmenes de datos.
Interpretación, priors y filosofía
- Quienes la apoyan sostienen que los priors son inevitables; la verdadera elección es si declararlos explícitamente.
- Quienes la critican encuentran filosóficamente dudosos los priors, temen reforzar errores previos y prefieren separar “lo que dicen los datos” de la creencia subjetiva.
- Se discute sobre priors “no informativos” o débilmente informativos, ideas de máxima entropía y si la “ausencia de creencia” puede representarse.
- Se contrastan los intervalos de confianza frecuentistas con los intervalos creíbles bayesianos; los intervalos frecuentistas tratan sobre la cobertura a largo plazo, no sobre la probabilidad de que un intervalo específico contenga el valor verdadero.
Crisis de replicación y comprobación de hipótesis
- Varios relacionan la crisis de replicación (especialmente en psicología y medicina) con la dependencia excesiva de los valores p, las pruebas de hipótesis nula puntual e ignorar los tamaños del efecto.
- Algunos sostienen que la práctica frecuentista permitió “ciencia basura”; otros dicen que el problema de fondo es el mal razonamiento y los incentivos, no la matemática en sí.
Enseñanza, herramientas y pruebas A/B
- Se sugieren múltiples recursos para aprender modelado bayesiano, con énfasis en los modelos generativos por encima de las “recetas” de prueba.
- Para las pruebas A/B, los comentaristas destacan los modelos beta–binomial, los multi-armed bandits bayesianos, los contextual bandits y los diseños “test and roll” orientados a maximizar beneficios.
- Entre las advertencias prácticas figuran la dificultad con muchos brazos, la necesidad de buenos priors y el manejo de múltiples métricas.