Amazon economiza milhões ao substituir Sonnet 4.6 por Strands Decider
A Amazon teria reduzido em milhões de dólares os custos de classificação de tickets ao substituir o Claude Sonnet 4.6 da Anthropic por um “modelo de decisão” interno chamado Strands Decider, construído sobre pequenos modelos open-weight como Gemma ou Qwen. Os comentaristas veem isso como um exemplo concreto de uma mudança mais ampla: LLMs são ótimos para prototipagem rápida e rotulagem de dados, mas muitas vezes lentos e caros demais para tarefas estreitas e de alto volume, nas quais o ML clássico ou modelos especializados leves têm desempenho igual ou melhor. A discussão também destaca as tensões entre eficiência de engenharia, inércia organizacional e “hype de IA”, com muitos prevendo que modelos de decisão especializados e outros modelos pequenos substituirão cada vez mais LLMs generalistas em backends de produção.
Economia de custos e escala
- Comentadores calculam que, a ~US$21,7 mil economizados por milhão de tickets, “milhões” em economia implica dezenas de milhões de tickets por ano; alguns funcionários da Amazon dizem que 92 milhões+ de tickets anuais é plausível, já que tickets são usados para quase tudo.
- Vários observam que, para a Amazon, alguns milhões são pouco em relação aos lucros totais, mas ainda assim significativos no nível de equipe/recurso.
- Alguns apontam que substituir um LLM grande demais, desatualizado e generalista por um modelo pequeno e específico para a tarefa, além de reduzir os inputs em ~70%, obviamente corta custos; o valor está em realmente fazer isso.
Por que Sonnet e por que Strands Decider?
- Surgem প্রশ্নões sobre por que a Amazon usou Sonnet 4.6 em vez de modelos mais baratos (Haiku, Luna, modelos chineses, Jev etc.).
- As respostas: Sonnet provavelmente era o melhor/único modelo viável no Bedrock quando começaram; Haiku era mais fraco na época; Luna/Jev/modelos de decisão ainda não estavam disponíveis.
- O Strands Decider é descrito como um modelo de decisão originado na AWS (inicialmente baseado em Qwen, depois em Gemma) e parte de um SDK de agentes da AWS, então isso é visto em parte como dogfooding interno e em parte como um caso de produto/anúncio.
Modelos de decisão vs LLMs gerais
- Muitos veem o roteamento de tickets como uma tarefa clássica de classificação/decisão, em que modelos especializados são mais adequados: mais baratos, mais rápidos, calibração mais estável, sem necessidade de geração de texto longa.
- Modelos de decisão como Strands/Jev são apresentados como componentes de “sistema 1” para ficar dentro ou ao lado de agentes, muitas vezes entregando ~90% do poder de um classificador customizado sem treinamento sob medida.
- Há alguma confusão com a terminologia (agente vs chamada a um único modelo; “árvore de decisão” vs “modelo de decisão”).
LLMs vs ML tradicional e rotulagem de dados
- Uma grande subthread revisita SVMs, Naive Bayes, random forests, BERT, embeddings + pequenas camadas, etc.
- Pontos pró-LLM: configuração trivial, sem necessidade de dados rotulados ou expertise em ML, ótimo para prototipagem rápida e rotulagem sintética; depois, é possível destilar para modelos menores.
- Pontos pró-clássicos: LLMs costumam ser 100–1000x mais caros para classificação simples, mais lentos, sensíveis ao prompt e à ordem dos inputs, e são usados em excesso por causa do hype.
- Vários descrevem um padrão comum: lançar um MVP baseado em LLM e, depois, refatorar para modelos especializados quando os custos e a escala apertam.
Cultura de tickets e discussões paralelas
- Vários comentários confirmam que organizações muito grandes geram tickets para quase todo evento operacional, de TI e de facilities, muitas vezes com tickets gerados automaticamente e estruturas complexas de roteamento.
- Alguns veem isso como rastreabilidade e trilha de auditoria necessárias; outros reclamam de burocracia e ruído.
Confiabilidade e preocupações com qualidade
- Pessoas apontam que a ordem das chaves em JSON e pequenas mudanças no input podem alterar as saídas do LLM, destacando sua natureza de “completador de texto” e sua fragilidade.
- Alguns criticam o artigo por focar em velocidade e custo com pouca discussão sobre precisão ou taxas de erro, deixando o impacto real na qualidade incerto.