Gemini Decisions API
A nova Gemini Decisions API do Google traz modelos de decisão no estilo Jev para o portfólio de IA da empresa, oferecendo probabilidades calibradas para tarefas de classificação, roteamento e guardrails, com suporte para texto, imagens, áudio, vídeo e PDFs. Comentadores a veem como um fast-follow de Jev e da Decisions API da OpenAI, debatendo trade-offs em latência, precisão, custo e calibração de probabilidades, além da longevidade dos produtos do Google e da estratégia de preços. Muitos observam que modelos de decisão podem reduzir drasticamente o uso de tokens e os custos para coisas como filtragem de e-mails, roteamento de ferramentas e verificações de segurança, mas questionam quão confiáveis eles são para casos de uso de alto risco ou muito sensíveis à precisão.
Produto e Recursos
- A Gemini Decisions API é apresentada como um modelo de decisão no estilo Jev, com suporte para texto, imagens, áudio, vídeo e arquivos (por exemplo, PDFs).
- A entrada multimodal é vista como um grande diferencial, especialmente para tarefas como análise de chamadas ou decisões baseadas em documentos.
- Alguns observam que isso se apoia em trabalhos anteriores do Google “Decision Maker” no Mediapipe (inferência local), mas parece ser um esforço separado.
Preço, Desempenho e Benchmarks
- Vários comentaristas dizem que ela é mais cara do que modelos de decisão concorrentes; comparações específicas citam $0.10/M contra outros a cerca de ~$0.02/M tokens.
- A latência é relatada como competitiva, mas não obviamente melhor do que Jev ou outras APIs; números de p50 parecem fortes no papel.
- Os benchmarks entre provedores parecem muito próximos; alguns veem isso como um sinal de que faltam benchmarks melhores, outros como evidência de convergência ou cópia.
Comparação com Jev / OpenAI Decisions
- Muitos a veem como um fast-follow de Jev, semelhante ao endpoint Decisions da OpenAI.
- Alguns relatam que a Gemini Decisions alcança Brier scores significativamente menores do que Jev em seus próprios testes, mas a um custo cerca de 2x maior.
- Jev ainda é elogiado por velocidade, preço e workloads apenas de texto; a expectativa é que Jev continue viável, especialmente dado o financiamento recente.
Casos de Uso para Modelos de Decisão
- Usos comuns: roteamento, classificação, triagem de spam/chamados, filtragem de e-mails, seleção de ferramentas, guardrails e substituição de LLM-as-judge.
- Também é usado para rotular dados de treinamento, fazer gating da revisão humana, avaliar saídas do sistema e como um roteador barato antes de chamar um LLM completo.
- Alguns veem forte valor no uso drasticamente menor de tokens e no comportamento determinístico, de baixa temperatura; outros sentem que o espaço ainda é uma “solução em busca de um problema”.
Probabilidade, Calibração e Debate Técnico
- Há um grande subthread sobre como esses modelos estimam probabilidades e quão bem calibrados eles são.
- Pontos levantados: as logprobs de tokens de LLM são mal calibradas após RLHF; APIs de decisão alegam melhor calibração, mas isso é difícil de validar sem ground truth específico da tarefa.
- Debate sobre se o treinamento por cross-entropy implica boas estimativas de probabilidade na prática, especialmente sob covariate shift ou formulações variadas da tarefa.
- Alguns argumentam que apenas a verificação empírica com dados rotulados pode estabelecer calibração; consistência sozinha é insuficiente.
Confiança no Google e Longevidade do Produto
- Ceticismo em adotar novos serviços do Google por causa de encerramentos passados de produtos; alguns restringem a confiança a produtos centrais como Search, Gmail e YouTube.
- Contraponto: APIs focadas em empresas têm menos chance de ser encerradas abruptamente do que apps de consumo, já que atendem clientes pagantes.
- Bloqueios de políticas de conteúdo em alguns prompts e a ausência de integração imediata com Vertex são vistos como fricções iniciais.
Ceticismo e Críticas
- Críticos argumentam que modelos sem “reasoning” explícito são fracos para classificação séria e que modelos pequenos especializados podem igualá-los ou superá-los.
- Outros questionam se pedir confiança a LLMs ou usar APIs genéricas de decisão pode ser realmente principled sem calibração por tarefa.
- Alguns se preocupam com o potencial de uso indevido (por exemplo, decisões automatizadas opacas sobre pessoas), mesmo que outros apresentem os modelos de decisão como um freio contra esse comportamento.