A API de Decisions está em beta público

Artigo original ↗ Discussão no Hacker News ↗

A nova API Decisions da OpenAI, um classificador rápido e de baixo custo construído sobre o modelo gpt‑6‑luna, é vista como uma resposta direta ao Jev e a modelos de “decisão” semelhantes que fornecem probabilidades calibradas em vez de texto livre. Os comentaristas ponderam seu preço mais alto e benchmarks iniciais mistos em relação ao Jev e a alternativas open-source, mas observam vantagens como entrada de imagem, janelas de contexto longas e procurement mais fácil para empresas já usuárias da OpenAI. O tema mais amplo é se esses modelos de decisão aceleram a comoditização da IA — empurrando provedores para guerras de preço e estratégias de lock-in — ou se tornam uma utilidade fundamental para roteamento, verificações de segurança e automação em tempo real em sistemas de IA maiores.

Design de Produto e API

  • O novo endpoint /v1/decisions envolve o modelo gpt‑6‑luna para responder a “perguntas” estruturadas sobre uma entrada, retornando probabilidades em vez de texto.
  • Suporta perguntas de predicado (sim/não) e de escolha, paralelização em muitas perguntas, entrada de 1M de tokens e entrada multimodal (imagem).
  • Os tokens de saída são gratuitos; o custo é de $0.10/M tokens de entrada. Sem cache KV; provavelmente otimizado para a menor latência.

Comparações com Jev e Outros Modelos de Decisão

  • Comparações diretas dominam a discussão. Jev: ~$0.042/M tokens de entrada, então ~2–3× mais barato que Decisions; ambos têm saída gratuita.
  • Avaliações de alguns usuários: Jev é mais rápido e mais preciso para suas tarefas de tagging/roteamento de UI; Decisions é mais lento e mais caro, com chamadas ocasionalmente falhadas.
  • Outros relatam que Decisions se sai bem em prompts semelhantes, sugerindo que o formato do prompt e as diferenças de API importam.
  • Os principais diferenciais do Decisions em relação ao Jev: entrada de imagem, janela de contexto longa e disponibilidade por meio de uma stack corporativa já existente da OpenAI e em clouds (por exemplo, suporte do Bedrock/Azure para OpenAI, mas não para Jev).

Calibração, Probabilidades e Comportamento Técnico

  • Debate sobre se prompts clássicos de LLM já são suficientes; o contra-argumento é que modelos de decisão expõem probabilidades calibradas que não podem ser obtidas de chamadas padrão de LLM.
  • Alguns experimentos mostram:
    • Perguntas no estilo predicado correspondem bem às probabilidades esperadas.
    • Perguntas no estilo escolha mostram viés (classe majoritária com excesso de confiança, sensibilidade à ordem das opções).
  • Múltiplas perguntas são independentes; as probabilidades não precisam somar 1.
  • Confiança vs probabilidades por classe levanta প্রশ্নões; um uso é rejeitar respostas com baixa confiança.

Casos de Uso Discutidos

  • Moderação de conteúdo, roteamento de suporte, tagging, seleção de UI/componentes, helpers de PKM.
  • Tarefas em tempo real ou quase em tempo real: videogames, monitoramento de câmeras de vigilância/plataformas de trem, segurança de comandos de shell, controle de qualidade para amassados/defeitos, triagem de notificações (“mensagens urgentes” do WhatsApp).
  • Alguns veem isso principalmente como um subcomponente para sistemas agênticos maiores (“cerebelo” para o “cérebro” de um LLM maior).

Mercado, Estratégia e Ceticismo

  • Muitos veem modelos de decisão como evidência de que a infraestrutura de IA está se tornando uma commodity; guerras de preço e fast-following são esperados.
  • Argumentos para usar a OpenAI apesar do preço: aprovações já existentes do fornecedor, compliance/ZDR, contratos de retenção de dados, fricção de compras e aderência à plataforma.
  • Outros criticam este lançamento como uma resposta apressada ao Jev, pouco trabalhada e improvável de fornecer uma vantagem duradoura; opções open-source e locais são destacadas como alternativas viáveis.