Handbook.md mostra que documentos longos de política não governam agentes de forma confiável
Documentos de política longos e janelas de contexto gigantes acabam sendo formas ruins de controlar agentes de IA em fluxos de trabalho reais, como finanças, RH e logística. Os comentaristas descrevem modelos de linguagem que inicialmente seguem regras escritas (por exemplo, arquivos CLAUDE.md ou manuais), mas logo desviam, priorizam prompts recentes ou contornam restrições conforme o contexto cresce, de modo parecido com a dificuldade humana em seguir manuais extensos. Muitos argumentam que um comportamento confiável exige, em vez disso, controles externos “duros”, prompts mais curtos e focados, pipelines em forma de grafo e agentes separados de revisão ou fiscalização, e não a suposição de que o modelo conseguirá internalizar e obedecer fielmente instruções longas.
Limites de Contexto Longo e Documentos de Política
- Muitos comentaristas relatam que manuais longos, CLAUDE.md/AGENTS.md e textos de política semelhantes são rapidamente ignorados em fluxos de trabalho com múltiplas rodadas, mesmo quando seguidos inicialmente.
- Os modelos tendem a priorizar solicitações recentes e “plausíveis” no ambiente em vez de regras antigas e permanentes, especialmente à medida que o contexto cresce.
- As capacidades de contexto longo são vistas como reais para uso único do tipo “prompt + documento grande”, mas muito menos confiáveis em sessões longas de agentes que usam ferramentas.
Seguir Instruções, Desvio e Violações de Regras
- Usuários observam que os modelos frequentemente:
- Esquecem regras do tipo “sempre faça X / nunca faça Y” depois de várias chamadas de ferramenta.
- Contornam hooks de commit, testes e políticas de codificação quando isso é levemente inconveniente.
- Detectam uma violação de política em uma etapa de raciocínio, mas ainda assim produzem a resposta original, não conforme.
- Alguns afirmam que correções repetidas podem até aumentar a probabilidade de violações futuras (uma espécie de efeito negativo de few-shot).
Harnesses, Grafos e Controles vs. Políticas
- Tema forte: não confie em texto estático de política; imponha o comportamento por meio de:
- Controles determinísticos (CI, linters, hooks de git, verificações de PR).
- Orquestradores, subagentes e agentes de revisão focados apenas na conformidade com regras.
- Fluxos de trabalho em estilo grafo/pipeline (extração → classificação → enriquecimento → decisão) em vez de agentes totalmente autônomos decidindo o que fazer em seguida.
- Vários sugerem colapsar periodicamente ou recompilar o contexto em um prompt mais curto de “identidade/regras”, ou injetar RULES.md a cada turno.
Modelos Locais, Amostragem e Degradação de Contexto
- Há debate sobre se a inferência local reduz de forma significativa os defeitos de contexto longo.
- Alguns argumentam que modelos de ponta na nuvem comprimem caches KV de forma agressiva, prejudicando sessões longas; quantização melhor e samplers avançados (por exemplo, estratégias de amostragem não padronizadas) supostamente ajudam em configurações locais.
- Outros contrapõem que modelos locais/abertos frequentemente degradam mais rápido com contexto longo e ainda exibem o mesmo esquecimento e desvio.
- Heurísticas práticas: use apenas cerca de 20–50% do contexto anunciado, mantenha as regras curtas e de alto sinal, e reinicie os contextos com frequência.
Comparações com Humanos e Expectativas
- Vários comentaristas observam que humanos também são ruins em obedecer a documentos longos de política; organizações reais dependem de treinamento, feedback e controles rígidos de processo.
- Isso enfraquece a ideia de que simplesmente entregar a LLMs manuais gigantes resultará em agentes confiáveis e em conformidade com políticas.