La API Decisions está en beta pública

Artículo original ↗ Discusión en Hacker News ↗

La nueva API Decisions de OpenAI, un clasificador rápido y de bajo coste construido sobre el modelo gpt‑6‑luna, se percibe como una respuesta directa a Jev y a modelos de “decisión” similares que proporcionan probabilidades calibradas en lugar de texto libre. Los comentaristas comparan su precio más alto y sus primeros benchmarks mixtos con Jev y alternativas de código abierto, pero señalan ventajas como la entrada de imagen, ventanas de contexto largas y una contratación más sencilla para empresas que ya usan OpenAI. El tema general es si estos modelos de decisión acelerarán la mercantilización de la IA —empujando a los proveedores hacia guerras de precios y estrategias de bloqueo— o si se convertirán en una utilidad fundamental para enrutamiento, comprobaciones de seguridad y automatización en tiempo real dentro de sistemas de IA más grandes.

Diseño de producto y API

  • El nuevo endpoint /v1/decisions envuelve el modelo gpt‑6‑luna para responder “preguntas” estructuradas sobre una entrada, devolviendo probabilidades en lugar de texto.
  • Admite preguntas de predicado (sí/no) y de elección, paralelización entre muchas preguntas, entrada de 1M de tokens y entrada multimodal (imagen).
  • Los tokens de salida son gratis; el coste es de $0.10/M tokens de entrada. No hay caché KV; probablemente está optimizado para la menor latencia posible.

Comparaciones con Jev y otros modelos de decisión

  • Las comparaciones directas dominan el hilo. Jev: ~$0.042/M tokens de entrada, así que es ~2–3× más barato que Decisions; ambos tienen salida gratis.
  • Algunas evaluaciones de usuarios: Jev es más rápido y más preciso para sus tareas de etiquetado/ruteo de UI; Decisions es más lento y más caro, con llamadas que a veces fallan.
  • Otros informan que Decisions funciona bien con prompts similares, lo que sugiere que el formato del prompt y las diferencias de la API importan.
  • Los principales diferenciadores de Decisions frente a Jev: entrada de imagen, ventana de contexto larga y disponibilidad a través de una pila empresarial existente de OpenAI y nubes (p. ej., soporte de OpenAI en Bedrock/Azure, pero no de Jev).

Calibración, probabilidades y comportamiento técnico

  • Debate sobre si los prompts clásicos de LLM ya son suficientes; el contraargumento es que los modelos de decisión exponen probabilidades calibradas que no se pueden obtener de llamadas estándar a LLM.
  • Algunos experimentos muestran:
    • Las preguntas de tipo predicado coinciden bien con las probabilidades esperadas.
    • Las preguntas de tipo elección muestran sesgo (clase mayoritaria sobreconfiante, sensibilidad al orden de las opciones).
  • Varias preguntas son independientes; no es necesario que las probabilidades sumen 1.
  • La confianza frente a las probabilidades por clase plantea preguntas; un uso es rechazar respuestas con baja confianza.

Casos de uso comentados

  • Moderación de contenido, ruteo de soporte, etiquetado, selección de UI/componentes, ayudantes de PKM.
  • Tareas en tiempo real o casi real: videojuegos, monitorización de CCTV/plataformas de tren, seguridad de comandos de shell, control de calidad de abolladuras/defectos, triaje de notificaciones (“urgentes” mensajes de WhatsApp).
  • Algunos lo ven principalmente como un subcomponente para sistemas de agentes más grandes (“cerebelo” para el “cerebro” de un LLM mayor).

Mercado, estrategia y escepticismo

  • Muchos ven los modelos de decisión como evidencia de que la infraestructura de IA se está convirtiendo en una mercancía; se esperan guerras de precios y réplicas rápidas.
  • Argumentos para usar OpenAI pese al precio: aprobaciones existentes de proveedores, cumplimiento/ZDR, contratos de retención de datos, fricción de compras y bloqueo de plataforma.
  • Otros critican este lanzamiento como una respuesta apresurada a Jev, poco madurada y poco probable que proporcione un foso duradero; destacan las opciones de código abierto y locales como alternativas viables.