Amazon economiza milhões ao substituir Sonnet 4.6 por Strands Decider

A Amazon teria reduzido em milhões de dólares os custos de classificação de tickets ao substituir o Claude Sonnet 4.6 da Anthropic por um “modelo de decisão” interno chamado Strands Decider, construído sobre pequenos modelos open-weight como Gemma ou Qwen. Os comentaristas veem isso como um exemplo concreto de uma mudança mais ampla: LLMs são ótimos para prototipagem rápida e rotulagem de dados, mas muitas vezes lentos e caros demais para tarefas estreitas e de alto volume, nas quais o ML clássico ou modelos especializados leves têm desempenho igual ou melhor. A discussão também destaca as tensões entre eficiência de engenharia, inércia organizacional e “hype de IA”, com muitos prevendo que modelos de decisão especializados e outros modelos pequenos substituirão cada vez mais LLMs generalistas em backends de produção.

Economia de custos e escala

  • Comentadores calculam que, a ~US$21,7 mil economizados por milhão de tickets, “milhões” em economia implica dezenas de milhões de tickets por ano; alguns funcionários da Amazon dizem que 92 milhões+ de tickets anuais é plausível, já que tickets são usados para quase tudo.
  • Vários observam que, para a Amazon, alguns milhões são pouco em relação aos lucros totais, mas ainda assim significativos no nível de equipe/recurso.
  • Alguns apontam que substituir um LLM grande demais, desatualizado e generalista por um modelo pequeno e específico para a tarefa, além de reduzir os inputs em ~70%, obviamente corta custos; o valor está em realmente fazer isso.

Por que Sonnet e por que Strands Decider?

  • Surgem প্রশ্নões sobre por que a Amazon usou Sonnet 4.6 em vez de modelos mais baratos (Haiku, Luna, modelos chineses, Jev etc.).
  • As respostas: Sonnet provavelmente era o melhor/único modelo viável no Bedrock quando começaram; Haiku era mais fraco na época; Luna/Jev/modelos de decisão ainda não estavam disponíveis.
  • O Strands Decider é descrito como um modelo de decisão originado na AWS (inicialmente baseado em Qwen, depois em Gemma) e parte de um SDK de agentes da AWS, então isso é visto em parte como dogfooding interno e em parte como um caso de produto/anúncio.

Modelos de decisão vs LLMs gerais

  • Muitos veem o roteamento de tickets como uma tarefa clássica de classificação/decisão, em que modelos especializados são mais adequados: mais baratos, mais rápidos, calibração mais estável, sem necessidade de geração de texto longa.
  • Modelos de decisão como Strands/Jev são apresentados como componentes de “sistema 1” para ficar dentro ou ao lado de agentes, muitas vezes entregando ~90% do poder de um classificador customizado sem treinamento sob medida.
  • Há alguma confusão com a terminologia (agente vs chamada a um único modelo; “árvore de decisão” vs “modelo de decisão”).

LLMs vs ML tradicional e rotulagem de dados

  • Uma grande subthread revisita SVMs, Naive Bayes, random forests, BERT, embeddings + pequenas camadas, etc.
  • Pontos pró-LLM: configuração trivial, sem necessidade de dados rotulados ou expertise em ML, ótimo para prototipagem rápida e rotulagem sintética; depois, é possível destilar para modelos menores.
  • Pontos pró-clássicos: LLMs costumam ser 100–1000x mais caros para classificação simples, mais lentos, sensíveis ao prompt e à ordem dos inputs, e são usados em excesso por causa do hype.
  • Vários descrevem um padrão comum: lançar um MVP baseado em LLM e, depois, refatorar para modelos especializados quando os custos e a escala apertam.

Cultura de tickets e discussões paralelas

  • Vários comentários confirmam que organizações muito grandes geram tickets para quase todo evento operacional, de TI e de facilities, muitas vezes com tickets gerados automaticamente e estruturas complexas de roteamento.
  • Alguns veem isso como rastreabilidade e trilha de auditoria necessárias; outros reclamam de burocracia e ruído.

Confiabilidade e preocupações com qualidade

  • Pessoas apontam que a ordem das chaves em JSON e pequenas mudanças no input podem alterar as saídas do LLM, destacando sua natureza de “completador de texto” e sua fragilidade.
  • Alguns criticam o artigo por focar em velocidade e custo com pouca discussão sobre precisão ou taxas de erro, deixando o impacto real na qualidade incerto.