Mistral: Nuestros primeros endpoints de IA están disponibles en acceso anticipado
Los endpoints de API de acceso anticipado de Mistral AI, incluido el modelo cerrado “mistral-medium” y variantes más pequeñas con pesos abiertos, están atrayendo atención por puntuaciones en benchmarks que supuestamente superan a GPT‑3.5 y por una tarificación competitiva frente a OpenAI y Anthropic. Los comentaristas evalúan el valor de pagar por un servicio alojado cuando se pueden desplegar por cuenta propia modelos abiertos sólidos, citando fiabilidad, portabilidad y protección contra la dependencia del proveedor como razones clave para seguir usando APIs de terceros. También hay un debate activo sobre el rendimiento en el mundo real frente a los benchmarks, los costes de hardware y energía de la inferencia a gran escala, las limitaciones de la ventana de contexto y cómo la regulación de la UE y las excepciones para el open source podrían moldear la posición de Mistral a largo plazo.
Línea de modelos y capacidades
- Nuevos endpoints: Mistral-tiny (Mistral 7B Instruct v0.2), Mistral-small (pesos abiertos), Mistral-medium (cerrado, prototipo), además de un modelo de embeddings.
- Se afirma que Mistral-medium supera a GPT‑3.5 e incluso se acerca a GPT‑4 en algunos benchmarks (por ejemplo, Winogrande), y que supera significativamente a Gemini Pro; algunos consideran que esto es “extremadamente impresionante” si se mantiene en uso real.
- Otros advierten que los benchmarks son fáciles de manipular, no son comparables de forma directa, y que el rendimiento en el mundo real y las versiones públicas ajustadas por seguridad pueden diferir.
- Mixtral 8x7B MoE se destaca por rendir cerca de modelos densos de 70B con un coste de inferencia aproximadamente de 14B; algunos informan que funciona muy bien en tareas prácticas.
Precios y viabilidad económica
- Los precios publicados por 1M de tokens de salida sitúan a Mistral-medium ligeramente por encima de GPT‑3.5 y muy por debajo de GPT‑4; algunos deducen que Mistral cree que es claramente mejor que GPT‑3.5.
- Otros sostienen que GPT‑3.5 está subvencionado, o que el precio de acceso anticipado puede no reflejar la realidad final.
- Hay debate sobre si modelos más baratos pero algo peores pueden imponerse a OpenAI, y sobre cuánto importan la fiabilidad y la apertura frente a la calidad bruta.
Open source frente a APIs alojadas
- Los modelos de pesos abiertos de Mistral se ven como una gran ventaja estratégica: los usuarios pueden empezar con APIs alojadas y luego autoalojar o cambiar de proveedor, reduciendo la dependencia del proveedor y el riesgo de “rug-pull”.
- Algunos argumentan que, si los modelos son abiertos, muchos proveedores pueden alojarlos barato, erosionando los márgenes de la API de Mistral.
- Los modelos abiertos también se ven como un seguro contra depreciaciones del modelo y cambios de comportamiento.
Ventana de contexto y arquitectura
- La ventana de contexto de 32k de Mixtral con atención de ventana deslizante genera reacciones mixtas.
- Un lado informa que, para tareas que requieren recuperación textual precisa (reutilización de código, documentos empresariales), los modelos con ventana deslizante se comportan de hecho como si tuvieran un contexto de ~8k y fallan; funcionan mejor para razonamiento a nivel de idea general.
- Otros señalan que los estados ocultos retienen información y discrepan de que sea tan limitante; el impacto se describe como “incierto” y dependiente del caso de uso.
Hardware, energía e inferencia local
- Varios comentarios estiman la potencia y el coste por millón de tokens en GPUs (4090 frente a A100/H100), y señalan que el batching y los precios de energía de los centros de datos afectan significativamente la economía.
- Se especula sobre ejecutar modelos MoE localmente (incluso en teléfonos) mediante compresión/cuantización, con desacuerdo sobre la viabilidad práctica debido a la latencia y el consumo de energía.
Ecosistema, regulación y competencia
- Muchos ven a Mistral como un actor pequeño sorprendentemente fuerte y una amenaza seria para los incumbentes en casos de uso que no son GPT‑4.
- Algunos temen que la regulación de IA de la UE y estar basados en Europa supongan un lastre a largo plazo; otros argumentan que las excepciones para modelos abiertos y el hecho de “construir para la regulación” podrían convertirse en una ventaja.
- La aparente confusión estratégica de Google en IA y monetización de búsqueda se contrasta con la ejecución enfocada de Mistral, aunque algunos advierten contra dar a Google por descartado.