GPT-4, sin entrenamiento especializado, superó a un modelo de clase GPT-3.5 que costó $10M

GPT-4 vs modelo financiero de $10M

• Muchos ven como poco sorprendente que un modelo general mucho más grande (GPT-4) supere a un modelo de dominio más pequeño y caro en comprensión financiera amplia.
• El resultado se enmarca como un caso de “leyes de escalado” y la “lección amarga”: más cómputo y entrenamiento general suelen vencer a la especialización artesanal.
• Algunos señalan advertencias: los datos de entrenamiento de GPT-4 y el ajuste fino son opacos, así que las afirmaciones de “sin entrenamiento financiero especializado” son difíciles de verificar.
• El benchmark financiero mide en gran medida comprensión lectora en un dominio específico; GPT-4 queda por detrás del modelo afinado en tareas más estrechas como NER con etiquetas específicas.

¿Algo supera a GPT-4?

• Las experiencias son mixtas: algunos usuarios informan que Claude 3 Opus o Mistral-large superan a GPT-4 en ciertas tareas de código o programación; otros encuentran GPT-4 más fiable.
• Se citan clasificaciones de Chatbot Arena que muestran a GPT-4 ligeramente por delante de Claude 3 Opus, pero las diferencias son pequeñas.
• Los usuarios enfatizan que el rendimiento varía según la tarea, el estilo del prompt y las herramientas circundantes.

Herramientas vs capacidades del modelo

• Funciones como “escribir Python y ejecutarlo” se atribuyen a las herramientas (system prompts + entorno de ejecución de código), no a una capacidad innata del modelo.
• La interfaz web de Claude actualmente carece de una herramienta al estilo Code Interpreter, lo que lleva a algunos a atribuir erróneamente las debilidades en matemáticas al modelo en vez de a la falta de infraestructura.

Modelos base, ajuste fino y escalado

• Debate sobre si ChatGPT/GPT-4 es un “foundation model” o un derivado fuertemente afinado, y cuánto importa eso para interpretar los resultados.
• Varios argumentan que los modelos grandes y generales normalmente vencerán a los modelos especialistas más pequeños, pero que modelos de clase GPT‑4 afinados podrían superar en el futuro.

Prompting vs ajuste fino

• Afirmación fuerte: el prompting few-shot con buenos ejemplos en LLMs modernos a menudo supera al ajuste fino, especialmente dado el bajo coste de los tokens de entrada.
• Otros sostienen que el ajuste fino es esencial para tareas estrechas (por ejemplo, lenguajes de programación de nicho, robótica) y puede superar drásticamente a GPT‑4 en esos dominios.
• Existe preocupación de que un ajuste fino ingenuo pueda “lobotomizar” los modelos o causar olvido catastrófico, especialmente en modelos pequeños.

RAG, ventanas de contexto y datos privados

• Algunos dicen que RAG se está volviendo irrelevante con ventanas de contexto grandes; otros responden con ejemplos concretos (millones de tokens de documentos) donde RAG sigue siendo necesario.
• Un contexto grande puede reducir la complejidad del troceado, pero el coste, la latencia y la irrelevancia/el ruido siguen siendo problemas.
• RAG también se considera importante para datos privados o de actualización frecuente que no pueden vivir en los conjuntos de entrenamiento.

Coste, practicidad y estrategia de startups

• Las opiniones divergen sobre si el ajuste fino es “trivial”: mecánicamente fácil con herramientas modernas, pero obtener resultados útiles se describe como difícil y propenso a errores.
• Aparecen afirmaciones de que ajustes finos baratos con LoRA/QLoRA pueden alcanzar un rendimiento similar al de GPT‑4 para dominios específicos con un coste de inferencia mucho menor; otros comentaristas exigen pruebas concretas.
• Varios profesionales aconsejan a la mayoría de las empresas no entrenar sus propios modelos base y centrarse en cambio en la ingeniería de prompts, RAG e integrar LLMs de uso general en productos reales.
• Otros argumentan que descartar el ajuste fino es miope, especialmente en robótica y en dominios de alta especialización.