Un grupo improvisado de amigos de internet se convirtió en el mejor pronosticando acontecimientos mundiales
Un artículo sobre “superpronosticadores” que usan tasas base y razonamiento al estilo bayesiano para predecir eventos geopolíticos como una invasión china de Taiwán provoca un debate sobre cuán significativas son realmente esas estimaciones probabilísticas. Los comentaristas exploran el valor de las tasas base, métricas de calibración como las puntuaciones de Brier y los mercados de predicción, mientras que los críticos argumentan que los eventos únicos y raros, así como sistemas complejos como la guerra o el clima, son poco adecuados para este tipo de cuantificación. Otros cuestionan por qué, si estos métodos funcionan, no dominan más en los mercados financieros, y si el aparente éxito en el pronóstico refleja verdadera habilidad o sesgo de supervivencia.
Papel de las tasas base y los métodos de pronóstico
- Muchos comentarios se centran en las “tasas base” como ancla para los pronósticos probabilísticos.
- Quienes las apoyan dicen que las tasas base proporcionan un prior no informado y una comprobación de cordura antes de ajustar con nueva información.
- Quienes las critican sostienen que algunas construcciones de tasas base (por ejemplo, mezclar distintos períodos históricos o priors de Laplace arbitrarios) son vagas y pueden parecer numerología.
- Varios señalan que las tasas base son solo un ingrediente; los buenos pronosticadores combinan múltiples modelos y análisis cualitativo.
Calibración, puntuación y validación
- Se plantea la pregunta: ¿cómo pueden validarse las probabilidades de un solo evento (por ejemplo, “China invade Taiwán”)?
- Respuestas: hay que mirar grandes conjuntos de predicciones; si los eventos del 8% ocurren aproximadamente el 8% de las veces, estás calibrado.
- Mención de las puntuaciones de Brier, la entropía cruzada y las “reglas de puntuación propias” que recompensan las probabilidades honestas y la corrección contraria.
- Algunos siguen siendo escépticos y argumentan que los eventos geopolíticos heterogéneos y únicos son difíciles de agregar de manera significativa.
Comparación con expertos, finanzas y mercados
- Debate sobre si estos pronosticadores deberían competir en los mercados financieros (“las grandes ligas”) si realmente son tan buenos.
- Respuestas: los mercados son distintos (ruido, incentivos, conocimiento del dominio) y muchos pronosticadores priorizan proyectos de impacto social sobre el beneficio.
- Algunos sostienen que, si las predicciones tienen +EV, deberían traducirse en operaciones; otros sospechan sesgo de supervivencia o suerte.
- Los mercados de predicción se consideran un mecanismo útil para codificar creencias y medir la habilidad de pronóstico.
Cisnes negros, guerra nuclear y percepción del riesgo
- Varios sostienen que pronosticar eventos catastróficos raros está estructuralmente sesgado hacia el “no”, y subestima el impacto.
- Otros responden que la puntuación adecuada y los historiales largos siguen haciendo significativo estimar probabilidades bajas.
- Discusión sobre los pronósticos del cambio climático: los modelos climáticos aportan física, pero pronosticar emisiones y políticas es más político e incierto.
Utilidad y límites del pronóstico
- Algunos ven el pronóstico como intelectualmente gratificante y prácticamente útil para políticas, finanzas y gestión de riesgos.
- Otros dudan de que los responsables de decisiones actúen sobre los pronósticos, o comparan la práctica con los horóscopos cuando se aplica a eventos geopolíticos únicos.
- Unos pocos señalan que, aunque las probabilidades sean filosóficamente confusas, las apuestas y los mercados fuerzan creencias coherentes y comprobables.