Paradoxo de Simpson

Visão geral do Paradoxo de Simpson

• Descrito como uma contradição aparente em que tendências em todos os subgrupos se invertem quando os dados são agregados.
• Vários comentaristas enfatizam que não se trata de uma contradição lógica, apenas de “duas maneiras de olhar para os mesmos dados”.
• Lição principal: às vezes o agregado importa; às vezes os padrões dos subgrupos importam. É preciso interpretar ambos no contexto.

Causalidade vs. Estatística Pura

• Tema forte: a observação passiva revela apenas correlação; a compreensão causal exige experimentos ou um modelo causal.
• Exemplo das admissões em UC Berkeley: os dados sozinhos não conseguem dizer onde está o “viés” sem saber como as decisões de admissão são realmente tomadas (departamento vs universidade, financiamento, competitividade).
• Normalizar ou reescalar não resolve o paradoxo; é preciso decidir sobre o que condicionar, o que é uma questão causal, não puramente estatística.
• Referências a tratamentos de inferência causal (por exemplo, Pearl) e modelos mistos/hierárquicos como formas formais de lidar com a estrutura dos subgrupos.

Exemplos do Mundo Real

• E-commerce: a eficiência de marketing no nível de categoria melhorou, mas a razão geral de custo de marketing piorou devido a uma mudança de composição em direção a uma categoria de alto custo.
• SRE / desempenho: otimizações reduziram a latência para todos os segmentos de usuários, mas as métricas globais de latência pioraram após o aumento induzido do uso em regiões de alta latência. Debate sobre se isso é Simpson’s ou Jevons (demanda induzida); alguns argumentam que ambos se aplicam em etapas diferentes.
• COVID: exemplo citado em que as taxas de letalidade por caso em subgrupos vs. os agregados nacionais se inverteram.
• Habitação: dados dos EUA em que casas com ar-condicionado são mais caras dentro de cada estado, mas nacionalmente casas sem ar-condicionado são mais caras devido à composição dos estados.
• ML / avaliação de modelos: conjunto de dados com mais casos “fáceis” fez a acurácia geral parecer melhor, apesar da degradação por classe.

Lições Práticas e KPIs

• Métricas escolhidas ingenuamente (por exemplo, latência p99 geral, razão geral de marketing) podem ser enganosas sob mudanças de composição.
• Melhor prática: definir KPIs fortemente ligados ao problema subjacente (por exemplo, latência p99 para grandes clientes, métricas por categoria) e depois também inspecionar os agregados.
• Principal conclusão repetida: sempre “mantenha ao mesmo tempo em mente as partes e o todo”.

Conceitos Relacionados e Meta

• Ideias relacionadas: paradoxo de Berkson, lei de Goodhart, paradoxo de Lord, demanda induzida.
• Alguma discussão filosófica paralela sobre tipos de paradoxos, pensamento de múltiplas hipóteses epicurista e um breve desvio sobre experimentos de física e se estatísticas são necessárias.
• Pequeno fio meta sobre a proliferação de links nus da Wikipedia no HN sem contexto adicional.