Ajuste fino de um modelo de linguagem de 70B em casa

Artigo original ↗ Discussão no Hacker News ↗

Avanços em técnicas como QLoRA e PyTorch FSDP estão tornando viável fazer fine-tuning de modelos de linguagem com 70 bilhões de parâmetros em apenas algumas GPUs de consumo de ponta, em vez de grandes clusters de GPUs. Os comentaristas exploram como isso muda o equilíbrio entre IA corporativa केंदralizada e experimentação aberta em casa, debatendo limites práticos (custo, tempo, hardware, suporte da AMD/Apple), casos de uso (especialização de tarefas vs adição de novo conhecimento) e trade-offs com métodos como RAG. O debate também levanta questões mais amplas sobre riscos sociais, uso de energia e se ganhos de eficiência acabam aumentando ou reduzindo o consumo total de recursos.

Escopo: “Training” vs Fine-tuning

  • O sistema permite que usuários façam fine-tuning de modelos 70B existentes em 2×GPUs de 24GB, não pré-treinamento do zero.
  • O fine-tuning atualiza uma pequena fração (~2%) dos parâmetros, aproveitando o conhecimento de linguagem e do mundo do modelo base.
  • Alguns argumentam que a lacuna conceitual entre pré-treinamento e fine-tuning é exagerada; “continued pretraining” é uma formulação melhor.
  • Treinar um modelo 70B do zero ainda requer ~80.000 horas de GPU e um custo significativo de eletricidade; está fora do alcance da maioria dos usuários domésticos.

Métodos Técnicos e Questões em Aberto

  • QLoRA (quantização de 4 bits + adaptadores LoRA) junto com FSDP permite fine-tuning eficiente em memória e em várias GPUs.
  • Métodos recentes <4 bits (incluindo ternário / estilo BitNet (-1,0,1)) são discutidos como promissores, especialmente para inferência; adaptá-los ao fine-tuning parece viável em princípio, mas requer novos kernels.
  • A esparsificação (especialmente esparsidade em blocos) e esquemas híbridos esparsos-quantizados (por exemplo, SpQR) são vistos como complementares, mas complexos na prática.
  • Permanecem dúvidas sobre as desvantagens do QLoRA: a quantização degrada o modelo base antes do fine-tuning; os efeitos fora do domínio do fine-tuning não estão claros.

Hardware, Plataformas e Treinamento Distribuído

  • GPUs de 2×24GB ainda são consideradas caras, mas muito mais baratas do que GPUs de datacenter de 80GB; há trabalho em andamento para chegar a setups com duas GPUs de 16GB.
  • FSDP é preferido em vez de DeepSpeed por ser mais fácil de adaptar, embora DeepSpeed seja visto como rico em recursos e sólido em outros contextos.
  • O treinamento multi-nó pela rede é समर्थido (por exemplo, via Slurm). Ideias para treinamento comunitário distribuído no estilo “LLM@home” são levantadas, mas a largura de banda e a arquitetura de software são preocupações.
  • Apple Silicon tem largura de banda de memória atraente e memória unificada para inferência em grande escala, mas o suporte para treinamento e o desempenho bruto ficam atrás da Nvidia. A AMD parece custo-efetiva, mas as ferramentas e os drivers ficam atrás.

Casos de Uso: RAG vs Fine-tuning

  • Muitos consideram RAG melhor para injetar novo conhecimento factual; o fine-tuning se destaca em estilo, formato, comportamento e pequenas mudanças de domínio.
  • Há interesse em assistentes específicos de domínio (por exemplo, literatura, escrita de ficção, dados pessoais, modelos U-Net/diffusion) e cenários de “AI OS”; a combinação ideal de RAG vs fine-tuning em pequena escala é vista como algo ainda em aberto.

Risco, Energia e Ecossistema Open Source

  • Forte entusiasmo em democratizar modelos poderosos e reduzir a concentração de poder em IA.
  • Debate sobre riscos sociais: alguns veem isso como não mais perigoso do que lançar novas ferramentas; outros argumentam que novas capacidades implicam risco não trivial e merecem mais reflexão.
  • O uso de energia atrai críticas; as respostas observam ganhos de eficiência, comparação com outras atividades de alto consumo de energia (jogos, voar, cripto) e enfatizam a expansão de energia limpa em vez de policiamento do uso.
  • Contribuidores incentivam não especialistas a ajudar com documentação, ferramentas, conjuntos de dados e apoio da comunidade para manter a IA de última geração aberta.