Ajuste fino de um modelo de linguagem de 70B em casa

Escopo: “Training” vs Fine-tuning

• O sistema permite que usuários façam fine-tuning de modelos 70B existentes em 2×GPUs de 24GB, não pré-treinamento do zero.
• O fine-tuning atualiza uma pequena fração (~2%) dos parâmetros, aproveitando o conhecimento de linguagem e do mundo do modelo base.
• Alguns argumentam que a lacuna conceitual entre pré-treinamento e fine-tuning é exagerada; “continued pretraining” é uma formulação melhor.
• Treinar um modelo 70B do zero ainda requer ~80.000 horas de GPU e um custo significativo de eletricidade; está fora do alcance da maioria dos usuários domésticos.

Métodos Técnicos e Questões em Aberto

• QLoRA (quantização de 4 bits + adaptadores LoRA) junto com FSDP permite fine-tuning eficiente em memória e em várias GPUs.
• Métodos recentes <4 bits (incluindo ternário / estilo BitNet (-1,0,1)) são discutidos como promissores, especialmente para inferência; adaptá-los ao fine-tuning parece viável em princípio, mas requer novos kernels.
• A esparsificação (especialmente esparsidade em blocos) e esquemas híbridos esparsos-quantizados (por exemplo, SpQR) são vistos como complementares, mas complexos na prática.
• Permanecem dúvidas sobre as desvantagens do QLoRA: a quantização degrada o modelo base antes do fine-tuning; os efeitos fora do domínio do fine-tuning não estão claros.

Hardware, Plataformas e Treinamento Distribuído

• GPUs de 2×24GB ainda são consideradas caras, mas muito mais baratas do que GPUs de datacenter de 80GB; há trabalho em andamento para chegar a setups com duas GPUs de 16GB.
• FSDP é preferido em vez de DeepSpeed por ser mais fácil de adaptar, embora DeepSpeed seja visto como rico em recursos e sólido em outros contextos.
• O treinamento multi-nó pela rede é समर्थido (por exemplo, via Slurm). Ideias para treinamento comunitário distribuído no estilo “LLM@home” são levantadas, mas a largura de banda e a arquitetura de software são preocupações.
• Apple Silicon tem largura de banda de memória atraente e memória unificada para inferência em grande escala, mas o suporte para treinamento e o desempenho bruto ficam atrás da Nvidia. A AMD parece custo-efetiva, mas as ferramentas e os drivers ficam atrás.

Casos de Uso: RAG vs Fine-tuning

• Muitos consideram RAG melhor para injetar novo conhecimento factual; o fine-tuning se destaca em estilo, formato, comportamento e pequenas mudanças de domínio.
• Há interesse em assistentes específicos de domínio (por exemplo, literatura, escrita de ficção, dados pessoais, modelos U-Net/diffusion) e cenários de “AI OS”; a combinação ideal de RAG vs fine-tuning em pequena escala é vista como algo ainda em aberto.

Risco, Energia e Ecossistema Open Source

• Forte entusiasmo em democratizar modelos poderosos e reduzir a concentração de poder em IA.
• Debate sobre riscos sociais: alguns veem isso como não mais perigoso do que lançar novas ferramentas; outros argumentam que novas capacidades implicam risco não trivial e merecem mais reflexão.
• O uso de energia atrai críticas; as respostas observam ganhos de eficiência, comparação com outras atividades de alto consumo de energia (jogos, voar, cripto) e enfatizam a expansão de energia limpa em vez de policiamento do uso.
• Contribuidores incentivam não especialistas a ajudar com documentação, ferramentas, conjuntos de dados e apoio da comunidade para manter a IA de última geração aberta.