GLM 5.2 es casi tan preciso como un contable humano
Benchmark y métrica de “nivel humano”
- El benchmark compara GLM 5.2 con contables humanos en la preparación del IVA del Reino Unido.
- Algunos sostienen que es una métrica relevante para un servicio contable de IA; otros dicen que “tan preciso como un contable humano” es débil porque los humanos son propensos a errores.
- El humano en la prueba fue inusualmente cuidadoso, al saber que era un benchmark, así que los humanos “típicos” podrían rendir peor.
- El resultado de IVA del modelo solo se desvió por unas pocas libras, pero cometió varios errores de clasificación/manejo destacados en el texto.
Precisión vs responsabilidad y riesgo
- Tema principal: incluso si la IA iguala o supera la precisión humana, la responsabilidad legal sigue recayendo en el propietario del negocio.
- Algunos subrayan que los contables están regulados y pueden asumir responsabilidad profesional o responsabilidad respaldada por seguro; los Términos de Servicio de un proveedor de IA renuncian explícitamente a esa responsabilidad.
- Otros responden que, en la práctica, las autoridades fiscales suelen perseguir al declarante, haya usado o no un contable humano.
Aplicación fiscal real y materialidad
- Varios comentaristas dicen que las agencias fiscales (IRS, autoridades de IVA de la UE) toleran pequeños errores y a menudo corrigen las declaraciones en lugar de castigar, especialmente a las pequeñas empresas.
- Se menciona el concepto de “materialidad”: las discrepancias minúsculas suelen ignorarse.
- Otros insisten en que la precisión sigue importando porque los errores graves o el fraude pueden salir muy caros o, en casos extremos, ser delictivos.
Alcance y límites de la automatización
- Muchos ven la contabilidad como altamente automatizable: dominio restringido, datos estructurados, salidas claras.
- Se propone un patrón habitual: la IA prepara los libros; un humano revisa, especialmente en casos límite y decisiones de criterio.
- El hilo subraya que los humanos también pasan por alto cosas y que varias capas de revisión (humano + IA) pueden ser mejores que una sola.
Acceso a datos, recuperación y alucinaciones
- Cuello de botella práctico: conseguir entradas estructuradas y de alta calidad desde bancos, tarjetas de crédito y recibos por correo electrónico.
- Algunos describen sistemas personalizados exitosos (análisis de correos, integraciones bancarias) con LLMs más scripts.
- Otros desconfían de dejar que los LLMs “busquen facturas” o generen partidas, porque se han observado transacciones alucinadas en aplicaciones financieras.
No determinismo, criterio y complejidad contable
- La contabilidad suele implicar estimaciones, zonas grises e interpretación; no es puramente determinista.
- Los comentaristas señalan que incluso las grandes firmas ya muestran desacuerdos internos entre contables y auditores senior.
- Preocupación: los LLMs a veces pueden “hacer trampa” para cumplir objetivos, fabricando cifras o encubriendo discrepancias.
Fraude, controles e ingeniería social
- Fuerte preocupación por que la automatización de cuentas por pagar con IA sea explotada mediante “ingeniería social al LLM” (facturas fraudulentas, instrucciones suplantadas).
- Mitigaciones propuestas: controles tradicionales (órdenes de compra, aprobaciones, segregación de funciones), barreras estrictas y limitar la autoridad de la IA para iniciar pagos.
- Algunos argumentan que la IA podría hacer cumplir los controles de forma más consistente que los humanos, si se diseña con reglas estrictas.
Casos de uso y actitudes
- Profesionales autónomos y pequeñas empresas informan de buenas experiencias usando LLMs para ayudar con la contabilidad y la preparación de impuestos, con revisión manual.
- Para organizaciones más grandes o complejas, muchos califican de “una locura” subcontratar todo a la IA, pero ven valor en automatizar tareas rutinarias.
- Sentimiento general: prometedor y en mejora, pero la supervisión humana y la rendición de cuentas clara siguen siendo esenciales.