Afinar un modelo de lenguaje de 70B en casa
Los avances en técnicas como QLoRA y PyTorch FSDP están haciendo viable ajustar fino modelos de lenguaje de 70.000 millones de parámetros en un par de GPU de consumo de gama alta, en lugar de grandes clústeres de GPU. Los comentaristas exploran cómo esto cambia el equilibrio entre la IA corporativa centralizada y la experimentación abierta a escala doméstica, debatiendo límites prácticos (coste, tiempo, hardware, soporte de AMD/Apple), casos de uso (especialización de tareas frente a añadir nuevo conocimiento) y compensaciones con métodos como RAG. El hilo también plantea cuestiones más amplias sobre riesgos sociales, uso de energía y si las mejoras de eficiencia acaban aumentando o reduciendo el consumo total de recursos.
Alcance: “Entrenamiento” vs. ajuste fino
- El sistema permite a los usuarios ajustar fino modelos existentes de 70B en 2×24GB GPUs, no preentrenar desde cero.
- El ajuste fino actualiza una pequeña fracción (~2%) de los parámetros, aprovechando el conocimiento lingüístico y del mundo del modelo base.
- Algunos sostienen que la brecha conceptual entre preentrenamiento y ajuste fino está exagerada; “preentrenamiento continuo” es una formulación mejor.
- Entrenar un modelo de 70B desde cero sigue requiriendo ~80.000 horas de GPU y un coste eléctrico significativo; fuera del alcance de la mayoría de los usuarios domésticos.
Métodos técnicos y preguntas abiertas
- QLoRA (cuantización de 4 bits + adaptadores LoRA) junto con FSDP permite ajuste fino eficiente en memoria y con varias GPU.
- Se comentan métodos recientes de <4 bits (incluidos ternarios / estilo BitNet (-1,0,1)) como prometedores, especialmente para inferencia; adaptarlos al ajuste fino parece factible en principio, pero requiere nuevos kernels.
- La esparsificación (especialmente la esparsidad por bloques) y los esquemas híbridos esparsos-cuantizados (p. ej., SpQR) se consideran complementarios, pero complejos en la práctica.
- Siguen abiertas preguntas sobre las desventajas de QLoRA: la cuantización degrada el modelo base antes del ajuste fino; los efectos fuera del dominio de ajuste fino no están claros.
Hardware, plataformas y entrenamiento distribuido
- Las 2×24GB GPUs siguen considerándose caras, pero mucho más baratas que las GPUs de 80GB para centros de datos; se trabaja para llegar a configuraciones duales de 16GB.
- Se prefiere FSDP frente a DeepSpeed por su capacidad de ser hackeado, aunque DeepSpeed se ve como rico en funciones y sólido en otros contextos.
- Se admite el entrenamiento multinodo sobre redes (p. ej., mediante Slurm). Surgen ideas de entrenamiento comunitario distribuido estilo “LLM@home”, pero el ancho de banda y la arquitectura de software son preocupaciones.
- Apple Silicon tiene un ancho de banda de memoria atractivo y memoria unificada para inferencia de gran tamaño, pero el soporte para entrenamiento y el cómputo bruto van por detrás de Nvidia. AMD parece rentable, pero las herramientas y los controladores van por detrás.
Casos de uso: RAG vs. ajuste fino
- Muchos consideran que RAG es mejor para inyectar nuevo conocimiento factual; el ajuste fino destaca en estilo, formato, comportamiento y pequeños cambios de dominio.
- Hay interés en asistentes específicos de dominio (p. ej., literatura, escritura de ficción, datos personales, modelos U‑Net/difusión) y escenarios de “AI OS”; la combinación óptima entre RAG y ajuste fino a pequeña escala se considera aún sin resolver.
Riesgo, energía y ecosistema de código abierto
- Gran entusiasmo por democratizar modelos potentes y reducir la concentración del poder de la IA.
- Debate sobre los riesgos sociales: algunos ven esto como no más peligroso que lanzar nuevas herramientas; otros sostienen que las nuevas capacidades implican un riesgo no trivial y merecen más reflexión.
- El uso de energía recibe críticas; las respuestas señalan mejoras de eficiencia, la comparación con otras actividades de alto consumo energético (jugar, volar, cripto) y enfatizan el escalado de energías limpias por encima de la vigilancia del uso.
- Se anima a los no expertos a ayudar mediante documentación, herramientas, conjuntos de datos y apoyo comunitario para mantener abierta la IA de última generación.