Cómo piensa el equipo de Claude Code sobre la verificación
La publicación del blog de Anthropic sobre cómo el equipo de Claude Code “verifica” código generado por IA despierta escepticismo por su fuerte dependencia de agentes, tokens y archivos de habilidades en lenguaje natural en lugar de herramientas deterministas y más baratas como las pruebas tradicionales, los linters y Playwright. Los comentaristas cuestionan tanto la sensatez económica como de ingeniería de una verificación a gran escala y no determinista, argumentando que fomenta código más descuidado, tests inestables y dependencia de modelos punteros caros. Otros replican que los costes de tokens están bajando y que los flujos de trabajo impulsados por agentes ya pueden aportar ganancias sustanciales de productividad, pero admiten que la mantenibilidad a largo plazo, la fiabilidad y la rentabilidad real siguen siendo preguntas abiertas.
Reacción general a la publicación
- Muchos lectores consideraron que el artículo era de alto nivel y estaba cargado de jerga, presentando “prácticas básicas de testing” como si fueran algo novedoso.
- Algunos lo valoraron como una visión útil y concisa sobre el QA asistido por IA y dijeron que refleja flujos de trabajo que usan con éxito en producción.
- Varios criticaron que se llamara a esto “verificación”, argumentando que en su mayor parte describe testing y flujos de trabajo con agentes, no verificación formal ni garantías de corrección.
Costes de tokens, escala y “token maxxing”
- El tema principal: el enfoque asume presupuestos de tokens muy altos o “prácticamente ilimitados”.
- Comentarios de empresas dicen que ya gastan miles al mes; otros responden que las grandes compañías suelen gastar mucho más en infraestructura, así que esto puede justificarse económicamente.
- Algunos sostienen que los precios de los tokens están bajando rápido y que estrategias que hoy parecen caras pueden ser normales más adelante; otros advierten que los costes, los límites y el impacto ambiental siguen importando.
- Escepticismo de que un proveedor cuyo negocio es vender tokens vaya a impulsar nunca como prioridad patrones eficientes en consumo de tokens.
Testing determinista frente a testing impulsado por IA
- Hay un bloque fuerte que dice que muchas de las comprobaciones basadas en agentes propuestas duplican lo que ya hacen herramientas deterministas (Playwright, análisis estático, pruebas basadas en propiedades, fuzzers, suites e2e) de forma más barata y fiable.
- Preocupación por introducir checks de IA no deterministas y frágiles en CI, en lugar de usar la IA para generar pruebas deterministas o herramientas una vez y luego reutilizarlas.
- Contraargumento: las invariantes en lenguaje natural son más fáciles de expresar y permanecen estables entre refactors, así que los agentes de IA que las comprueban pueden ser más flexibles que pruebas frágiles ligadas al código.
Calidad y fiabilidad del propio Claude Code
- Algunos informan que la app de escritorio ahora es potente y eficaz para el “desarrollo agéntico”.
- Otros describen Claude Code como con bugs, torpe, consumidor de mucha memoria, con muchos problemas en GitHub y funciones inestables, y ven eso como algo que socava cualquier afirmación sobre su rigor de verificación.
Filosofía de desarrollo con IA y riesgo
- Debate sobre grandes cantidades de PR y código escrito en gran parte por agentes: algunos lo ven como el futuro de las “fábricas de software”, otros como código inmanejable que traslada la carga al UAT manual y al mantenimiento a largo plazo.
- Preocupación generalizada de que la IA pueda escribir tests que simplemente codifiquen sus propios bugs.
- Varios enfatizan que la parte difícil no es “¿funciona?”, sino “¿construyó lo correcto?”, y que la verificación basada en agentes actual no aborda eso de forma convincente.