Amazon ahorra millones al reemplazar Sonnet 4.6 con Strands Decider
Según se informa, Amazon ha recortado en millones de dólares los costes de clasificación de tickets al reemplazar Claude Sonnet 4.6 de Anthropic por un “modelo de decisión” interno llamado Strands Decider, construido sobre pequeños modelos de pesos abiertos como Gemma o Qwen. Los comentaristas ven esto como un ejemplo concreto de un cambio más amplio: los LLM son excelentes para prototipado rápido y etiquetado de datos, pero a menudo son demasiado lentos y caros para tareas de gran volumen y estrecho alcance, donde el ML clásico o modelos especialistas ligeros rinden igual o mejor. El hilo también destaca las tensiones entre la eficiencia de ingeniería, la inercia organizativa y el “hype” de la IA, y muchos predicen que los modelos de decisión especializados y otros modelos pequeños desplazarán cada vez más a los LLM de propósito general en los backends de producción.
Ahorro de costes y escala
- Los comentaristas calculan que, con un ahorro de ~21,7 mil dólares por millón de tickets, que “millones” en ahorros implique decenas de millones de tickets al año; algunos trabajadores de Amazon dicen que más de 92 millones de tickets anuales es plausible dado que los tickets se usan para casi todo.
- Varios señalan que, para Amazon, unos pocos millones son poco en relación con los beneficios totales, pero siguen siendo significativos al nivel de equipo o funcionalidad.
- Algunos señalan que reemplazar un LLM generalista, sobredimensionado y anticuado por un modelo pequeño y específico para la tarea, y recortar las entradas en ~70%, obviamente reduce costes; el valor está en hacerlo de verdad.
¿Por qué Sonnet y por qué Strands Decider?
- Surgen preguntas sobre por qué Amazon usó Sonnet 4.6 en lugar de modelos más baratos (Haiku, Luna, modelos chinos, Jev, etc.).
- Las respuestas: probablemente Sonnet era el mejor o el único modelo viable en Bedrock cuando empezaron; Haiku era más débil entonces, y Luna/Jev/modelos de decisión aún no estaban disponibles.
- Strands Decider se describe como un modelo de decisión originado en AWS (inicialmente basado en Qwen, luego en Gemma) y parte de un SDK de agentes de AWS, por lo que esto se ve en parte como dogfooding interno y en parte como un caso de producto/anuncio.
Modelos de decisión frente a LLMs generalistas
- Muchos ven el enrutamiento de tickets como una tarea clásica de clasificación/decisión en la que los modelos especializados encajan mejor: son más baratos, más rápidos, tienen una calibración más estable y no necesitan generación de texto larga.
- Modelos de decisión como Strands/Jev se presentan como componentes de “system 1” para situarse dentro o junto a agentes, ofreciendo a menudo ~90% del poder de un clasificador personalizado sin entrenamiento a medida.
- Existe cierta confusión sobre la terminología (agente frente a llamada a un solo modelo; “árbol de decisión” frente a “modelo de decisión”).
LLMs frente a ML tradicional y etiquetado de datos
- Un gran subhilo repasa SVM, Naive Bayes, random forests, BERT, embeddings + pequeñas cabezas, etc.
- Puntos a favor de los LLM: configuración trivial, no hacen falta datos etiquetados ni experiencia en ML, muy útiles para prototipado rápido y etiquetado sintético; más tarde se puede destilar a modelos más pequeños.
- Puntos a favor de lo clásico: los LLM suelen ser entre 100 y 1000 veces más caros para clasificación simple, más lentos, sensibles al prompt y al orden de entrada, y se usan en exceso por el hype.
- Varios describen un patrón común: lanzar un MVP basado en LLM y luego refactorizar hacia modelos especializados cuando los costes y la escala aprietan.
Cultura de tickets y discusiones paralelas
- Múltiples comentarios confirman que las organizaciones muy grandes generan tickets para casi todos los eventos operativos, de TI y de instalaciones, a menudo con tickets autogenerados y estructuras de enrutamiento complejas.
- Algunos ven esto como trazabilidad y registro de auditoría necesarios; otros se quejan de la burocracia y del ruido.
Preocupaciones sobre fiabilidad y calidad
- La gente señala que el orden de las claves JSON y pequeños cambios de entrada pueden alterar las salidas de los LLM, subrayando su naturaleza de “completado de texto” y su fragilidad.
- Algunos critican que el artículo se centre en la velocidad y el coste con poca discusión sobre la precisión o las tasas de error, dejando poco claro el impacto real en la calidad.