Afinar un modelo de lenguaje de 70B en casa

Alcance: “Entrenamiento” vs. ajuste fino

• El sistema permite a los usuarios ajustar fino modelos existentes de 70B en 2×24GB GPUs, no preentrenar desde cero.
• El ajuste fino actualiza una pequeña fracción (~2%) de los parámetros, aprovechando el conocimiento lingüístico y del mundo del modelo base.
• Algunos sostienen que la brecha conceptual entre preentrenamiento y ajuste fino está exagerada; “preentrenamiento continuo” es una formulación mejor.
• Entrenar un modelo de 70B desde cero sigue requiriendo ~80.000 horas de GPU y un coste eléctrico significativo; fuera del alcance de la mayoría de los usuarios domésticos.

Métodos técnicos y preguntas abiertas

• QLoRA (cuantización de 4 bits + adaptadores LoRA) junto con FSDP permite ajuste fino eficiente en memoria y con varias GPU.
• Se comentan métodos recientes de <4 bits (incluidos ternarios / estilo BitNet (-1,0,1)) como prometedores, especialmente para inferencia; adaptarlos al ajuste fino parece factible en principio, pero requiere nuevos kernels.
• La esparsificación (especialmente la esparsidad por bloques) y los esquemas híbridos esparsos-cuanti­zados (p. ej., SpQR) se consideran complementarios, pero complejos en la práctica.
• Siguen abiertas preguntas sobre las desventajas de QLoRA: la cuantización degrada el modelo base antes del ajuste fino; los efectos fuera del dominio de ajuste fino no están claros.

Hardware, plataformas y entrenamiento distribuido

• Las 2×24GB GPUs siguen considerándose caras, pero mucho más baratas que las GPUs de 80GB para centros de datos; se trabaja para llegar a configuraciones duales de 16GB.
• Se prefiere FSDP frente a DeepSpeed por su capacidad de ser hackeado, aunque DeepSpeed se ve como rico en funciones y sólido en otros contextos.
• Se admite el entrenamiento multinodo sobre redes (p. ej., mediante Slurm). Surgen ideas de entrenamiento comunitario distribuido estilo “LLM@home”, pero el ancho de banda y la arquitectura de software son preocupaciones.
• Apple Silicon tiene un ancho de banda de memoria atractivo y memoria unificada para inferencia de gran tamaño, pero el soporte para entrenamiento y el cómputo bruto van por detrás de Nvidia. AMD parece rentable, pero las herramientas y los controladores van por detrás.

Casos de uso: RAG vs. ajuste fino

• Muchos consideran que RAG es mejor para inyectar nuevo conocimiento factual; el ajuste fino destaca en estilo, formato, comportamiento y pequeños cambios de dominio.
• Hay interés en asistentes específicos de dominio (p. ej., literatura, escritura de ficción, datos personales, modelos U‑Net/difusión) y escenarios de “AI OS”; la combinación óptima entre RAG y ajuste fino a pequeña escala se considera aún sin resolver.

Riesgo, energía y ecosistema de código abierto

• Gran entusiasmo por democratizar modelos potentes y reducir la concentración del poder de la IA.
• Debate sobre los riesgos sociales: algunos ven esto como no más peligroso que lanzar nuevas herramientas; otros sostienen que las nuevas capacidades implican un riesgo no trivial y merecen más reflexión.
• El uso de energía recibe críticas; las respuestas señalan mejoras de eficiencia, la comparación con otras actividades de alto consumo energético (jugar, volar, cripto) y enfatizan el escalado de energías limpias por encima de la vigilancia del uso.
• Se anima a los no expertos a ayudar mediante documentación, herramientas, conjuntos de datos y apoyo comunitario para mantener abierta la IA de última generación.