Tudo o que você precisa é de Wide Events, não de "Métricas, Logs e Traces"
Defensores de “wide events” — registros de eventos ricamente estruturados e de alta cardinalidade — argumentam que eles podem unificar logs, métricas e traces em um modelo único e mais flexível de observabilidade. Os comentaristas concordam amplamente que a abordagem se parece com logging estruturado combinado com consultas poderosas, mas enfatizam que armazenar e indexar tantos dados detalhados em escala é caro, impondo trocas em torno de amostragem, design de esquema e backends de armazenamento como Kafka, Elasticsearch, ClickHouse ou bancos de dados time-series especializados. Muitos concluem que wide events são muito valiosos para depuração e análise exploratória, mas funcionam melhor combinados com métricas tradicionais e mais baratas, além de controles cuidadosos sobre volume de dados, privacidade e práticas da equipe.
O que “wide events” são em relação a logs, traces e métricas
- Muitos comentaristas equiparam “wide events” a logs estruturados: registros de chave–valor (muitas vezes JSON) que podem representar métricas, spans e traces.
- Traces podem ser reconstruídos a partir de logs de eventos com trace/span IDs; uma métrica pode ser vista como uma “medição” de evento.
- Alguns argumentam que o termo “wide events” בעיקר enfatiza: incluir muitos campos contextuais e usar armazenamento otimizado para muitas colunas.
Benefícios percebidos de wide events
- Unificar logs, traces e métricas em um único modelo conceitual e backend.
- Ótimo para “unknown unknowns”: exploração ad hoc rápida, correlação entre dimensões e depuração de incidentes complexos.
- Se instrumentados bem, logs sozinhos podem gerar métricas e traces e oferecer depuração forense poderosa.
Preocupações com custo, escala e cardinalidade
- Há forte ceticismo em relação ao custo: armazenar eventos brutos, de alta cardinalidade, em escala (especialmente com fornecedores) é descrito como “realmente caro” e às vezes excessivo para organizações menores.
- Alguns relatam sucesso com sistemas de wide events em escala não gigantesca usando Kafka + Elasticsearch, ELK, ClickHouse ou ferramentas internas, mas reconhecem custos de hardware e operação.
- Vários observam que armazenamento colunar e bancos de dados time-series podem mitigar custos, mas não eliminam as trocas em torno de indexação e cardinalidade.
Amostragem: necessidade e controvérsia
- Defensores de wide events se apoiam fortemente em amostragem (muitas vezes dinâmica / por trace) para manter os custos gerenciáveis sem perder contexto rico.
- Outros chamam a amostragem de telemetria de “uma tragédia” ou “absurdo”, argumentando que você nunca deveria precisar amostrar ou que o ruído e o viés da amostragem prejudicam a precisão.
- Visão intermediária: amostrar fortemente para tráfego uniforme e bem-sucedido; manter tudo para erros e caminhos lentos.
Métricas vs wide events
- As métricas são elogiadas por serem extremamente baratas, com retenção longa e precisas para contagens e SLIs, especialmente em alto throughput.
- Muitos argumentam que wide events não substituem métricas; são complementares. Métricas são melhores para alertas e tendências de longo prazo; eventos/logs para investigações profundas.
- Alguns observam exemplars e span-metrics como híbridos: métricas enriquecidas com links para eventos wide específicos/traces.
Padrões de implementação e ferramentas
- Pilhas sugeridas: Kafka + ES, sistemas baseados em ClickHouse, arquiteturas de log no estilo Loki, TSDBs (Prometheus, VictoriaMetrics, QuestDB), OpenTelemetry + Tempo/Loki/Prometheus, PostgreSQL JSONB para configurações pequenas.
- Vários destacam diferenças entre sistemas de índice invertido (Elasticsearch, Splunk) e abordagens append-only/colunares para telemetria em escala de petabytes.
Problemas organizacionais, de UX e de qualidade de dados
- A usabilidade da ferramenta e UIs simples para consultas exploratórias são vistas como cruciais; linguagens de consulta brutas são poderosas, mas uma barreira para muitos usuários.
- Expor demais fluxos de eventos como “APIs” pode criar dependências frágeis a jusante e dores com mudanças de esquema.
- Incentivos de fornecedores e alegações de marketing sobre “logs são lixo” ou “pare de amostrar” são vistos com ceticismo.
- Foram levantadas preocupações sobre registrar acidentalmente PII em grandes armazenamentos de observabilidade e sobre a necessidade de guardrails.