Mistral 7B Fine-Tune Optimized
Las afirmaciones de que un modelo Mistral 7B ajustado finamente puede superar ligeramente a GPT‑4 en ciertas tareas han suscitado escrutinio sobre cómo se producen esos benchmarks y cuán generalizables son realmente. Los comentaristas aceptan en general que los modelos pequeños afinados para dominios concretos pueden vencer a modelos generales más grandes en casos de uso estrechos —como la extracción estructurada o la redacción de PII—, aunque subrayan que GPT‑4 sigue siendo más fuerte en conjunto y mucho mejor en el seguimiento general de instrucciones. La conversación resalta las compensaciones entre calidad, costo, privacidad e integración: los modelos locales o de código abierto son más baratos y pueden ejecutarse on-prem para datos sensibles, pero a menudo requieren más esfuerzo de ingeniería (ajuste fino, diseño de prompts, aplicación de JSON) y aun así quedan por detrás de GPT‑4 en muchos flujos de trabajo reales.
Afirmaciones de «mejor que GPT‑4»
- Muchos son escépticos ante afirmaciones generales de que un modelo de 7B pueda «superar a GPT‑4» sin ejemplos concretos comparables lado a lado.
- Algunos señalan la afirmación más precisa del blog: que un Mistral 7B ajustado finamente es ligeramente mejor que GPT‑4 en cuatro tareas internas de clientes, según el propio GPT‑4.
- Varios piden demos interactivas o ejemplos de prompt/salida en lugar de métricas agregadas.
Modelos pequeños ajustados finamente vs modelos grandes de propósito general
- Varios comentaristas informan que los modelos 7B ajustados finamente pueden superar a GPT‑4 en tareas estrechas (p. ej., extracción de datos estructurados, NLP especializado, generación de JSON), a menudo con menor latencia y costo.
- Otros enfatizan que GPT‑4 sigue siendo claramente superior como modelo general y que los pequeños ajustes finos solo ganan en tareas bien definidas y de bajo razonamiento.
Metodología de evaluación y fiabilidad
- Se обсуживает el uso del modelo Bradley–Terry; la preocupación clave es que las clasificaciones por pares provienen de GPT‑4, por lo que los resultados pueden estar sesgados.
- Los comentaristas mencionan posibles problemas de múltiples hipótesis al probar muchos modelos y reportar solo el mejor.
Costo, cambio de proveedor y adopción empresarial
- Un lado argumenta que las empresas se quedarán con OpenAI a menos que las alternativas sean «10x mejores», y que los clientes a menudo aceptan las garantías del proveedor sobre la protección de datos.
- Otros responden que el costo (tokens de uno o más órdenes de magnitud más baratos) y la capacidad de autoalojamiento pueden ser un «10x» निर्णante para algunos.
- Los costos de cambio se consideran bajos si las API siguen siendo compatibles, pero las particularidades de integración (p. ej., el cumplimiento de JSON) aún pueden complicar las cosas.
Privacidad, on-prem y casos de uso para modelos locales
- Se informa de una fuerte demanda por parte de salud, finanzas, gobierno y empresas preocupadas por la seguridad que no pueden o no quieren enviar datos a APIs externas.
- Los modelos locales se prefieren para datos propietarios, asistentes personales y escenarios sin conexión. Algunos usuarios también desconfían de los comportamientos de alineación en modelos alojados.
Seguimiento de instrucciones y modelos base vs instruct
- El modelo publicado es un modelo base; se espera un seguimiento deficiente de instrucciones y verbosidad hasta que se ajuste como instruct.
- Explicación: los modelos base solo autocompletan; el ajuste de instrucciones y el RLHF les enseñan a seguir directivas, detenerse correctamente y emitir formatos como JSON.
- Esta brecha en el seguimiento de instrucciones hace que sustituir «de forma directa» modelos de OpenAI no sea trivial para los sistemas existentes.
Limitaciones de calidad y rendimiento específico por tarea
- Los usuarios informan que los modelos locales van por detrás de GPT‑4, especialmente en traducción y fiabilidad factual.
- Se dice que los modelos basados en Mistral tienen dificultades con las matemáticas a menos que se combinen con ejecución de código; el éxito de GPT‑4 aquí se atribuye a haber sido entrenado para escribir y ejecutar código.
- Algunos comentan que la coherencia se degrada más allá de ~8k tokens para este modelo, mientras que otras variantes de Mistral manejan mejor contextos más largos.
Economía del autoalojamiento
- Una visión: salvo que las GPU estén muy utilizadas con lotes grandes, los ajustes finos autoalojados pueden ser más caros por solicitud que GPT‑3.5/4 en la nube.
- Otros informan de alojar Mistral 7B de forma económica en GPU alquiladas o usando APIs gratuitas o de muy bajo costo para modelos 7B, afirmando ahorros importantes frente a GPT‑4‑Turbo.
- Hay desacuerdo sobre la eficacia real en costos, y los patrones de carga y el batching son variables clave.
RAG vs ajuste fino para documentos grandes
- Para PDFs de varios cientos de páginas, los comentaristas recomiendan generación aumentada por recuperación en lugar de ajuste fino.
- Ajustar finamente sobre un único documento largo (efectivamente tamaño de lote 1) sin etiquetas se considera ineficaz.
Fusión de modelos
- La fusión de modelos (combinar los pesos de modelos ajustados finamente por separado) se destaca como sorprendentemente eficaz para agregar capacidades (p. ej., modelo de «gatos» + modelo de «perros»).
- Un resultado citado sugiere que los cambios del ajuste fino supervisado son escasos y redundantes, lo que hace plausible que distintos deltas específicos de tareas puedan combinarse con poca interferencia.
- Esto se considera una técnica clave para construir modelos base potentes y para la composición modular de capacidades.
Ecosistema y herramientas
- Algunos mencionan herramientas/marcos (p. ej., Unsloth, Axolotl, soporte de gramática de llama.cpp) que hacen más eficiente el ajuste fino y la imposición de salidas estructuradas.
- Hay entusiasmo porque, para muchas tareas estrechas, los modelos de código abierto ya están en una «era Linux» de ser lo suficientemente buenos y muy baratos, aunque todavía no están cerca de GPT‑4 como modelo universal.