Paradoja de Simpson
Resumen de la paradoja de Simpson
- Se describe como una aparente contradicción en la que las tendencias en cada subgrupo se invierten cuando los datos se agregan.
- Varios comentaristas subrayan que no es una contradicción lógica, sino solo «dos formas de ver los mismos datos».
- Lección clave: a veces importa el agregado; a veces importan los patrones por subgrupo. Hay que interpretar ambos en contexto.
Causalidad frente a estadística pura
- Tema dominante: la observación pasiva solo revela correlación; la comprensión causal requiere experimentos o un modelo causal.
- Ejemplo de admisiones de UC Berkeley: los datos por sí solos no pueden decir dónde está el «sesgo» sin saber cómo se toman realmente las decisiones de admisión (departamento frente a universidad, financiación, competitividad).
- Normalizar o reescalar no resuelve la paradoja; hay que decidir sobre qué condicionar, lo cual es una cuestión causal, no puramente estadística.
- Referencias a tratamientos de inferencia causal (p. ej., Pearl) y a modelos mixtos/jerárquicos como formas formales de tratar la estructura por subgrupos.
Ejemplos del mundo real
- Comercio electrónico: la eficiencia de marketing a nivel de categoría mejoró, pero la proporción global del coste de marketing empeoró debido a un cambio de mezcla hacia una categoría de alto coste.
- SRE / rendimiento: las optimizaciones redujeron la latencia para todos los segmentos de usuarios, pero las métricas globales de latencia empeoraron después de inducir un crecimiento del uso en regiones de alta latencia. Debate sobre si esto es Simpson o Jevons (demanda inducida); algunos argumentan que ambos aplican en distintas etapas.
- COVID: ejemplo citado en el que las tasas de letalidad por subgrupo frente a los agregados nacionales se invirtieron.
- Vivienda: datos de EE. UU. en los que las casas con aire acondicionado son más caras dentro de cada estado, pero a nivel nacional las casas sin aire acondicionado son más caras debido a la mezcla de estados.
- ML / evaluación de modelos: un conjunto de datos con más casos «fáciles» hizo que la exactitud global pareciera mejor pese a una degradación por clase.
Lecciones prácticas y KPIs
- Las métricas elegidas ingenuamente (p. ej., p99 global de latencia, ratio global de marketing) pueden ser engañosas bajo cambios de mezcla.
- Mejor práctica: definir KPIs estrechamente ligados al problema subyacente (p. ej., latencia p99 para grandes clientes, métricas por categoría) y luego inspeccionar también los agregados.
- Idea principal repetida: mantener siempre «las partes y el todo en mente al mismo tiempo».
Conceptos relacionados y meta
- Ideas relacionadas: paradoja de Berkson, ley de Goodhart, paradoja de Lord, demanda inducida.
- Alguna discusión filosófica lateral sobre tipos de paradojas, pensamiento multi-hipótesis epicúreo y una breve tangente sobre experimentos de física y si se necesitan estadísticas.
- Un hilo meta menor sobre la proliferación de enlaces desnudos de Wikipedia en HN sin contexto añadido.