Gemini Decisions API

A nova Gemini Decisions API do Google traz modelos de decisão no estilo Jev para o portfólio de IA da empresa, oferecendo probabilidades calibradas para tarefas de classificação, roteamento e guardrails, com suporte para texto, imagens, áudio, vídeo e PDFs. Comentadores a veem como um fast-follow de Jev e da Decisions API da OpenAI, debatendo trade-offs em latência, precisão, custo e calibração de probabilidades, além da longevidade dos produtos do Google e da estratégia de preços. Muitos observam que modelos de decisão podem reduzir drasticamente o uso de tokens e os custos para coisas como filtragem de e-mails, roteamento de ferramentas e verificações de segurança, mas questionam quão confiáveis eles são para casos de uso de alto risco ou muito sensíveis à precisão.

Produto e Recursos

  • A Gemini Decisions API é apresentada como um modelo de decisão no estilo Jev, com suporte para texto, imagens, áudio, vídeo e arquivos (por exemplo, PDFs).
  • A entrada multimodal é vista como um grande diferencial, especialmente para tarefas como análise de chamadas ou decisões baseadas em documentos.
  • Alguns observam que isso se apoia em trabalhos anteriores do Google “Decision Maker” no Mediapipe (inferência local), mas parece ser um esforço separado.

Preço, Desempenho e Benchmarks

  • Vários comentaristas dizem que ela é mais cara do que modelos de decisão concorrentes; comparações específicas citam $0.10/M contra outros a cerca de ~$0.02/M tokens.
  • A latência é relatada como competitiva, mas não obviamente melhor do que Jev ou outras APIs; números de p50 parecem fortes no papel.
  • Os benchmarks entre provedores parecem muito próximos; alguns veem isso como um sinal de que faltam benchmarks melhores, outros como evidência de convergência ou cópia.

Comparação com Jev / OpenAI Decisions

  • Muitos a veem como um fast-follow de Jev, semelhante ao endpoint Decisions da OpenAI.
  • Alguns relatam que a Gemini Decisions alcança Brier scores significativamente menores do que Jev em seus próprios testes, mas a um custo cerca de 2x maior.
  • Jev ainda é elogiado por velocidade, preço e workloads apenas de texto; a expectativa é que Jev continue viável, especialmente dado o financiamento recente.

Casos de Uso para Modelos de Decisão

  • Usos comuns: roteamento, classificação, triagem de spam/chamados, filtragem de e-mails, seleção de ferramentas, guardrails e substituição de LLM-as-judge.
  • Também é usado para rotular dados de treinamento, fazer gating da revisão humana, avaliar saídas do sistema e como um roteador barato antes de chamar um LLM completo.
  • Alguns veem forte valor no uso drasticamente menor de tokens e no comportamento determinístico, de baixa temperatura; outros sentem que o espaço ainda é uma “solução em busca de um problema”.

Probabilidade, Calibração e Debate Técnico

  • Há um grande subthread sobre como esses modelos estimam probabilidades e quão bem calibrados eles são.
  • Pontos levantados: as logprobs de tokens de LLM são mal calibradas após RLHF; APIs de decisão alegam melhor calibração, mas isso é difícil de validar sem ground truth específico da tarefa.
  • Debate sobre se o treinamento por cross-entropy implica boas estimativas de probabilidade na prática, especialmente sob covariate shift ou formulações variadas da tarefa.
  • Alguns argumentam que apenas a verificação empírica com dados rotulados pode estabelecer calibração; consistência sozinha é insuficiente.

Confiança no Google e Longevidade do Produto

  • Ceticismo em adotar novos serviços do Google por causa de encerramentos passados de produtos; alguns restringem a confiança a produtos centrais como Search, Gmail e YouTube.
  • Contraponto: APIs focadas em empresas têm menos chance de ser encerradas abruptamente do que apps de consumo, já que atendem clientes pagantes.
  • Bloqueios de políticas de conteúdo em alguns prompts e a ausência de integração imediata com Vertex são vistos como fricções iniciais.

Ceticismo e Críticas

  • Críticos argumentam que modelos sem “reasoning” explícito são fracos para classificação séria e que modelos pequenos especializados podem igualá-los ou superá-los.
  • Outros questionam se pedir confiança a LLMs ou usar APIs genéricas de decisão pode ser realmente principled sem calibração por tarefa.
  • Alguns se preocupam com o potencial de uso indevido (por exemplo, decisões automatizadas opacas sobre pessoas), mesmo que outros apresentem os modelos de decisão como um freio contra esse comportamento.