API de Decisiones Gemini
La nueva API de Decisiones Gemini de Google incorpora modelos de decisión al estilo Jev dentro de su cartera de IA, ofreciendo probabilidades calibradas para tareas de clasificación, enrutamiento y guardrails, con soporte para texto, imágenes, audio, video y PDFs. Los comentaristas la ven como una respuesta rápida a Jev y a la API Decisions de OpenAI, debatiendo los compromisos en latencia, precisión, coste y calibración de probabilidades, así como la longevidad del producto de Google y su estrategia de precios. Muchos señalan que los modelos de decisión pueden reducir drásticamente el uso de tokens y los costes en cosas como filtrado de correo, enrutamiento de herramientas y comprobaciones de seguridad, pero cuestionan cuán fiables son para casos de uso de alto riesgo o muy sensibles a la precisión.
Producto y funciones
- La API de Decisiones Gemini se presenta como un modelo de decisión al estilo Jev con soporte para texto, imágenes, audio, video y archivos (p. ej., PDFs).
- La entrada multimodal se considera un diferenciador importante, especialmente para tareas como el análisis de llamadas o decisiones basadas en documentos.
- Algunos señalan que esto se basa en el trabajo anterior de Google “Decision Maker” en Mediapipe (inferencia local), pero parece ser un esfuerzo aparte.
Precio, rendimiento y benchmarks
- Varios comentaristas dicen que es más caro que los modelos de decisión competidores; comparaciones concretas citan $0.10/M frente a otros a ~$0.02/M tokens.
- Se informa que la latencia es competitiva, pero no claramente mejor que Jev u otras APIs; las cifras de p50 se ven sólidas sobre el papel.
- Los benchmarks entre proveedores se ven muy cercanos; algunos creen que esto requiere mejores benchmarks, mientras que otros lo ven como evidencia de convergencia o copia.
Comparación con Jev / OpenAI Decisions
- Muchos lo ven como una respuesta rápida a Jev, similar al endpoint Decisions de OpenAI.
- Algunos informan que Gemini Decisions logra puntuaciones Brier significativamente más bajas que Jev en sus propias pruebas, pero con un coste aproximadamente 2x mayor.
- Jev sigue siendo elogiado por su velocidad, precio y cargas de trabajo solo de texto; la expectativa es que Jev siga siendo viable, especialmente dado su financiamiento reciente.
Casos de uso para modelos de decisión
- Usos comunes: enrutamiento, clasificación, filtrado de spam/tickets, filtrado de correo electrónico, selección de herramientas, guardrails y reemplazo de LLM-as-judge.
- También se usa para etiquetar datos de entrenamiento, activar revisión humana, evaluar salidas del sistema y como un router barato antes de invocar un LLM completo.
- Algunos ven un gran valor en reducir drásticamente el uso de tokens y en un comportamiento determinista y de baja temperatura; otros sienten que el espacio sigue siendo una “solución en busca de un problema”.
Probabilidad, calibración y debate técnico
- Gran subhilo sobre cómo estos modelos estiman probabilidades y qué tan bien calibrados están.
- Puntos planteados: los logprobs de tokens de LLM están mal calibrados después de RLHF; las APIs de decisión afirman tener mejor calibración, pero esto es difícil de validar sin ground truth específico de la tarea.
- Debate sobre si el entrenamiento con cross-entropy implica buenas estimaciones de probabilidad en la práctica, especialmente bajo cambio covariable o formulaciones variadas de la tarea.
- Algunos argumentan que solo la verificación empírica con datos etiquetados puede establecer la calibración; la consistencia por sí sola no es suficiente.
Confianza en Google y longevidad del producto
- Escepticismo sobre adoptar nuevos servicios de Google debido a cierres de productos pasados; algunos restringen la confianza a productos principales como Search, Gmail, YouTube.
- Contraargumento: las APIs orientadas a empresas tienen menos probabilidades de ser cerradas abruptamente que las aplicaciones de consumo, ya que prestan servicio a clientes de pago.
- Los bloqueos de políticas de contenido en algunos prompts y la falta de integración inmediata con Vertex se ven como fricción temprana.
Escepticismo y críticas
- Los críticos argumentan que los modelos sin “razonamiento” explícito son débiles para la clasificación seria y que modelos pequeños especializados pueden igualarlos o superarlos.
- Otros cuestionan si pedir confianza a los LLM o usar APIs de decisión genéricas puede ser alguna vez principled sin calibración por tarea.
- Algunos se preocupan por un posible mal uso (p. ej., decisiones automatizadas opacas sobre personas), incluso cuando otros presentan los modelos de decisión como un control frente a ese comportamiento.