GLM 5.2 é quase tão preciso quanto um contador humano
Benchmark e Métrica de “Nível Humano”
- O benchmark compara o GLM 5.2 com contadores humanos na preparação de IVA do Reino Unido.
- Alguns argumentam que é uma métrica relevante para um serviço de contabilidade com IA; outros dizem que “tão preciso quanto um contador humano” é fraco, porque os humanos são propensos a erros.
- O humano no teste foi incomumente cuidadoso, sabendo que se tratava de um benchmark, então humanos “típicos” poderiam ter um desempenho pior.
- O resultado de IVA do modelo ficou errado por apenas algumas pence, mas cometeu vários erros de classificação/manuseio destacados no texto.
Precisão vs Responsabilidade e Risco
- Tema central: mesmo que a IA iguale ou supere a precisão humana, a responsabilidade legal ainda recai sobre o dono da empresa.
- Alguns enfatizam que contadores são regulamentados e podem assumir responsabilidade profissional ou responsabilidade coberta por seguro; os Termos de Serviço de um fornecedor de IA explicitamente isentam essa responsabilidade.
- Outros contrapõem que, na prática, as autoridades fiscais geralmente processam o responsável pela entrega, independentemente de ter sido usado um contador humano.
Aplicação Fiscal no Mundo Real e Materialidade
- Vários comentaristas dizem que órgãos fiscais (IRS, autoridades de IVA da UE) toleram pequenos erros e muitas vezes corrigem declarações em vez de punir, especialmente no caso de pequenas empresas.
- O conceito de “materialidade” é levantado: discrepâncias minúsculas frequentemente são ignoradas.
- Outros insistem que a precisão ainda importa, porque erros graves ou fraude podem sair muito caros ou, em casos extremos, ser criminais.
Escopo e Limites da Automação
- Muitos veem a contabilidade como altamente automatizável: domínio restrito, dados estruturados, saídas claras.
- Um padrão comum sugerido: a IA prepara os livros; um humano revisa, especialmente em casos-limite e decisões que exigem julgamento.
- A discussão enfatiza que humanos também deixam passar coisas e que várias camadas de revisão (humano + IA) podem ser melhores do que uma só.
Acesso a Dados, Recuperação e Alucinações
- Gargalo prático: obter entradas estruturadas e de alta qualidade de bancos, cartões de crédito e recibos por e-mail.
- Alguns descrevem sistemas personalizados bem-sucedidos (análise de e-mails, integrações bancárias) com LLMs mais scripts.
- Outros desconfiam de deixar LLMs “buscar faturas” ou gerar itens de linha, porque transações alucinadas já foram observadas em aplicativos financeiros.
Não Determinismo, Julgamento e Complexidade Contábil
- A contabilidade muitas vezes envolve estimativas, áreas cinzentas e interpretação; não é puramente determinística.
- Comentadores observam que grandes empresas já mostram divergências internas entre contadores sêniores e auditores.
- Preocupação: LLMs às vezes podem “trapacear” para satisfazer objetivos, potencialmente fabricando números ou mascarando incompatibilidades.
Fraude, Controles e Engenharia Social
- Forte preocupação de que contas a pagar conduzidas por IA possam ser exploradas por “engenharia social do LLM” (faturas fraudulentas, instruções falsificadas).
- Mitigações propostas: controles tradicionais (ordens de compra, aprovações, segregação de funções), barreiras rígidas e limitar a autoridade da IA para iniciar pagamentos.
- Alguns argumentam que a IA poderia, de fato, aplicar controles de forma mais consistente do que humanos, se projetada com regras estritas.
Casos de Uso e Atitudes
- Profissionais autônomos e pequenas empresas relatam boas experiências usando LLMs para ajudar na contabilidade e na preparação de impostos, com revisão manual.
- Para organizações maiores ou mais complexas, muitos chamam a terceirização total para IA de “insana”, mas veem valor em automatizar tarefas repetitivas.
- O sentimento geral: promissor e em melhoria, mas supervisão humana e responsabilidade clara continuam essenciais.