Meta AI lança o Code Llama 70B

Artigo original ↗ Discussão no Hacker News ↗

O lançamento pela Meta do modelo Code Llama de 70 bilhões de parâmetros é visto como um passo importante para geração de código aberta e de alto nível, com comparações ao GPT‑4 e a concorrentes menores como DeepSeek Coder e Mixtral. Os comentaristas avaliam sua provável abordagem de treinamento, o desempenho em benchmarks e a usabilidade prática, especialmente por meio de variantes quantizadas que podem rodar localmente em hardware de consumo potente ou de forma barata via aluguel de GPU. Um tema recorrente é a motivação estratégica da Meta: ao liberar gratuitamente modelos base fortes, ela pressiona provedores fechados como a OpenAI, atrai talentos e desloca o valor para dados, infraestrutura e aplicações downstream, em vez de apenas para modelos proprietários.

Capacidades do modelo e comparações

  • Muitos estão entusiasmados para ver o que um Code Llama 70B pode fazer, dado que há modelos de código menores e fortes (por exemplo, Deepseek Coder 6.7B, WaveCoder-Ultra-6.7B) e ferramentas como o AlphaCodium (estratégia de prompt/fluxo, não um novo modelo base).
  • Alguns usuários relatam que o Deepseek Coder supera o Code Llama do mesmo tamanho; diz-se que um Deepseek de 30–35B apresenta benchmark semelhante ao da sua versão de 7B.
  • Benchmarks compartilhados (BigCode, EvalPlus, etc.) sugerem que as variantes do Code Llama são fortes, mas não uniformemente as melhores da categoria; afirmações de que alguns métodos superam o GPT‑4 em pass@k são citadas, mas não foram verificadas independentemente no tópico.
  • Há curiosidade sobre se o Code Llama 70B pode se aproximar do GPT‑4 em desempenho de programação e servir como uma forte alternativa local ao Copilot.

Hardware, quantização e uso local

  • O 70B é considerado utilizável localmente apenas com quantização (normalmente 4 bits); inferência em precisão total é vista como desperdício fora de pesquisa.
  • Relatos de execuções bem-sucedidas:
    • Mac Studio / MacBook com 64 GB+ de memória unificada: 70B em 4 bits é “utilizável”, embora mais lento; cerca de 9–10 tok/s em algumas configurações M1/M2 Ultra.
    • RTX 3090 (24 GB de VRAM): bom para modelos de ~33B; 70B exige descarregamento para CPU ou múltiplas GPUs, o que se torna lento ou complexo.
    • Configurações multi-GPU (por exemplo, várias P40s, chassis de datacenter) conseguem executar 70B+ de forma eficiente, mas exigem hardware e energia de padrão de datacenter.
  • Debate sobre se uma 4090 é “suficiente” para 70B: com quantização realista de 4 bits, em geral não é, a menos que seja dividida entre várias GPUs.
  • O custo de energia para uso local é estimado como modesto (na ordem de centavos a poucos dólares por mês para cargas interativas típicas).

Ferramentas, fluxos de trabalho e “Copilot local”

  • Pilhas locais populares: llama.cpp / GGUF, Ollama, text-generation-webui, com frontends para IDE como Continue (VS Code), Cody, Twinny, plugins JetBrains (CodeGPT) e modos do Emacs (por exemplo, gptel).
  • Estratégias discutidas:
    • RAG sobre bases de código em vez de fine-tuning, dado que o código muda rapidamente.
    • Uso de APIs hospedadas (Together, Bedrock, etc.) para modelos grandes e modelos locais quantizados para o trabalho do dia a dia.
  • Vários usuários já executam Deepseek ou Code Llama localmente como copilotos internos e relatam bons resultados; eles esperam que o 70B melhore ainda mais.

Dados de treinamento e abertura

  • Vários comentaristas afirmam que é muito improvável que o Code Llama 70B tenha sido treinado com código interno da Meta devido a riscos de extração de dados.
  • Alguns argumentam que, na verdade, há escassez de código open source de alta qualidade, e que os modelos já ingerem “substancialmente todo” o código público disponível.
  • Há um forte debate sobre chamar o Llama de “open source”:
    • Críticas: restrições de licença, ausência de dados e de toda a stack de treinamento, e a barreira computacional significam que ele não é reproduzível nem verdadeiramente aberto.
    • Contra-argumentos: pesos redistribuíveis mais a stack open source em PyTorch são vistos como “abertos o suficiente” e muito melhores do que lançamentos apenas de paper.

Estratégia da Meta e implicações mais amplas

  • Muitos veem os lançamentos da Meta como estratégicos, e não altruístas:
    • Enfraquecer os fossos competitivos da OpenAI/Google/Microsoft ao tornar modelos base capazes baratos ou gratuitos.
    • “Commoditize your complement”: transformar modelos em commodity para que a vantagem se desloque para dados, distribuição e aplicações, onde a Meta é forte.
    • Atrair talentos de ponta em IA ao possibilitar publicação aberta e impacto na comunidade.
    • Fazer crowdsourcing de P&D e ferramentas; modelos Meta de próxima geração se beneficiam de técnicas da comunidade.
    • Melhorar internamente a geração de conteúdo, moderação e a construção de mundos para metaverso/VR.
  • Outros argumentam que isso ajuda a evitar um monopólio de modelo fechado e diversifica fornecedores de modelos, embora provavelmente ainda restem apenas alguns gigantes capazes de treinar verdadeiros modelos de fronteira devido à escala de GPUs.
  • Alguns continuam céticos quanto às motivações da Meta, dados escândalos passados; outros observam que, independentemente da intenção, os lançamentos de pesos abertos são materialmente benéficos para desenvolvedores.