Como a equipe do Claude Code pensa sobre verificação

A postagem do blog da Anthropic sobre como a equipe do Claude Code “verifica” código gerado por IA provoca ceticismo por depender fortemente de agentes, tokens e arquivos de habilidades em linguagem natural em vez de ferramentas determinísticas e mais baratas, como testes tradicionais, linters e Playwright. Os comentadores questionam tanto a sabedoria econômica quanto de engenharia de uma verificação em larga escala e não determinística, argumentando que ela incentiva código mais descuidado, testes instáveis e dependência de modelos de ponta caros. Outros respondem que os custos de tokens estão caindo e que fluxos de trabalho orientados por agentes já podem trazer ganhos substanciais de produtividade, mas admitem que manutenção de longo prazo, confiabilidade e lucratividade no mundo real seguem em aberto.

Reação geral à postagem

  • Muitos leitores acharam o artigo superficial e cheio de buzzwords, descrevendo “práticas básicas de teste” como se fossem algo novo.
  • Alguns o apreciaram como uma visão geral útil e concisa de QA assistido por IA e disseram que ele espelha fluxos de trabalho que usam com sucesso em produção.
  • Vários criticaram chamar isso de “verificação”, argumentando que ele descreve בעיקר testes e fluxos de trabalho com agentes, e não verificação formal ou garantias de correção.

Custos de tokens, escala e “token maxxing”

  • Tema principal: a abordagem pressupõe orçamentos de tokens muito altos ou “efetivamente ilimitados”.
  • Comentadores de empresas dizem que já gastam milhares por mês; outros respondem que grandes companhias rotineiramente gastam muito mais em infraestrutura, então isso pode ser economicamente justificável.
  • Alguns argumentam que os preços dos tokens estão caindo rapidamente e que estratégias que parecem caras agora podem se tornar normais depois; outros alertam que custos, limites e impacto ambiental ainda importam.
  • Há ceticismo de que um fornecedor cujo negócio é vender tokens alguma vez priorize padrões eficientes em tokens.

Testes determinísticos vs. testes orientados por IA

  • Forte corrente dizendo que muitas verificações propostas baseadas em agentes duplicam o que ferramentas determinísticas (Playwright, análise estática, testes baseados em propriedades, fuzzers, suítes e2e) já fazem de forma mais barata e confiável.
  • Preocupação com a introdução de checagens de IA não determinísticas e instáveis no CI, em vez de usar IA para gerar testes ou ferramentas determinísticas uma vez e depois reutilizá-los.
  • Contra-argumento: invariantes em linguagem natural são mais fáceis de expressar e permanecem estáveis através de refatorações, então agentes de IA verificando essas regras podem ser mais flexíveis do que testes frágeis, acoplados ao código.

Qualidade e confiabilidade do próprio Claude Code

  • Alguns relatam que o aplicativo desktop agora é poderoso e eficaz para “desenvolvimento agentic”.
  • Outros descrevem o Claude Code como bugado, desajeitado, consumidor de memória, com muitos problemas no GitHub e recursos instáveis, e veem isso como algo que enfraquece qualquer दावा de rigor na verificação.

Filosofia de desenvolvimento com IA e risco

  • Debate sobre enormes contagens de PRs e código amplamente escrito por agentes: alguns veem isso como o futuro das “fábricas de software”, outros como código ruim e sem revisão, que transfere o peso para UAT manual e manutenção de longo prazo.
  • Preocupação generalizada de que a IA pode escrever testes que apenas codificam seus próprios bugs.
  • Vários enfatizam que a parte difícil não é “funciona?”, mas “construiu a coisa certa?”, e que a verificação baseada em agentes atual não responde isso de forma convincente.