Mixtral de expertos
El nuevo modelo Mixtral 8x7B de Mistral, una arquitectura dispersa de “mezcla de expertos”, está llamando la atención por igualar o superar a GPT‑3.5 en muchos benchmarks mientras funciona aproximadamente al coste y velocidad de un modelo de 12–13B parámetros. Los comentaristas exploran cómo funciona técnicamente el MoE, sus compensaciones en uso de VRAM, velocidad de inferencia y ajuste fino, y por qué los modelos open-weight que pueden alojarse por cuenta propia son estratégicamente importantes para las empresas y, en especial, para actores europeos recelosos de depender de proveedores de nube estadounidenses. Hay un amplio interés por la licencia permisiva de Mixtral y su moderación ligera, pero también escepticismo sobre las afirmaciones de marketing frente a la capacidad en el mundo real, los límites de la ventana de contexto y si esfuerzos así pueden desafiar de forma realista a gigantes propietarios como GPT‑4 y Gemini.
Por qué las comparaciones son con GPT‑3.5, no con GPT‑4
- GPT‑3.5 se usa ampliamente, es gratis en ChatGPT y más barato/rápido vía API; muchas aplicaciones apuntan a ese punto de calidad/coste.
- Varios modelos open-weight ya igualan o superan al GPT‑3.5 base en algunas tareas, especialmente cuando se afinan.
- El supuesto tamaño de GPT‑4 (MoE de un billón de parámetros) y su acceso cerrado lo convierten en una clase distinta; además, nadie puede alojarlo por su cuenta.
Arquitectura MoE y compensaciones
- Mixtral 8x7B es una Mixture‑of‑Experts dispersa: 8 expertos más un pequeño enrutador; por token, por capa, solo se usan 2 expertos.
- Solo se replican los bloques feed-forward; la atención se comparte, así que los parámetros totales (~46,7B) son menos que 8×7B.
- Ventaja: calidad más cercana a un modelo denso de 40–70B con un cómputo por token parecido al de ~12–13B.
- Desventaja: todos los expertos deben seguir residiendo en VRAM, así que no ayuda si la memoria de la GPU es el cuello de botella; ayuda principalmente con el throughput/latencia y el servicio distribuido.
- Buen encaje para inferencia en la nube a gran escala; menos ideal para configuraciones de una sola GPU con VRAM limitada.
Rendimiento, benchmarks y contexto
- Se informa que Mixtral (y el cerrado “mistral-medium”) superan a GPT‑3.5 y Llama‑2 70B en muchos benchmarks públicos, pero quienes comentan subrayan las limitaciones de los benchmarks y las pequeñas diferencias de puntuación.
- Algunos esperan ganancias similares de un modelo denso sencillo de ~13B; otros ven MoE como un ingrediente clave detrás de sistemas de clase GPT‑4.
- La ventana de contexto usa un enfoque de ventana deslizante; un recuerdo efectivo de alrededor de 8k tokens se ve como una limitación para flujos de trabajo con muchos documentos.
Pesos abiertos, censura y seguridad
- Los pesos se publican bajo una licencia permisiva (“open weights” en lugar de código abierto completo).
- Los modelos base están mínimamente moderados y seguirán instrucciones inseguras salvo que se ajusten explícitamente mediante preferencias o se envuelvan con guardrails.
- Varios ven un mercado dividido: modelos base sin censura para investigación/uso local frente a modelos personalizados, ajustados para seguridad, para producción corporativa.
Modelo de negocio, ecosistema y alojamiento
- Muchos ven una fuerte demanda de modelos on-prem / privados por razones de IP, cumplimiento y gobernanza de datos.
- Mixtral se considera un fuerte competidor europeo; algunos esperan financiación gubernamental y estratégica.
- Preocupación: las publicaciones abiertas permiten a competidores reutilizar innovaciones; contrapunto: los pequeños modelos abiertos construyen presencia mental, mientras que los modelos propietarios más grandes y las APIs alojadas pueden monetizarse.
- Hoy es posible el uso local mediante GGUF/llama.cpp, etc., pero los requisitos de VRAM y RAM siguen siendo altos; el hardware de consumo puede ejecutar variantes fuertemente cuantizadas lentamente.