Phind-70B: Fechando a lacuna de qualidade de código com o GPT-4 Turbo enquanto roda 4x mais rápido

Artigo original ↗ Discussão no Hacker News ↗

Um novo modelo de linguagem focado em código de 70B parâmetros da Phind está chamando atenção por prometer qualidade de código de nível GPT‑4 enquanto roda significativamente mais rápido em GPUs H100. Desenvolvedores relatam resultados reais mistos, porém muitas vezes positivos: muitos o consideram forte para geração de código e perguntas técnicas, especialmente no modo “chat”, enquanto outros dizem que o GPT‑4 ainda vence em lógica difícil, uso sutil de APIs e exemplos complexos de CI ou lógica de retries. Temas mais amplos incluem ceticismo sobre overfitting de benchmarks, questões sobre hardware, quantização e janelas de contexto, pedidos por uma API e melhor UX, e a sensação de que modelos especializados para programação podem cada vez mais complementar ou competir com LLMs de uso geral.

Qualidade do modelo vs GPT‑4 / outros LLMs

  • Muitos usuários consideram o Phind‑70B muito rápido e forte para programação, às vezes “nível GPT‑4” para tarefas práticas de desenvolvimento, especialmente no modo focado em código “Chat/Code”.
  • Outros relatam resultados claramente piores que o GPT‑4 em:
    • Quebra‑cabeças lógicos e perguntas pegadinha.
    • Resumos sutis de APIs/documentação e questões de design de IoT/segurança.
    • Tarefas de programação delicadas (por exemplo, RoundTripper do Go com retries de POST, pipelines de CI) em que o GPT‑4 detectou mais casos de borda e melhores práticas.
  • Vários observam que o GPT‑4 Turbo é mais fraco que o GPT‑4 original para código; o Phind‑70B pode superar o Turbo, mas não o GPT‑4 “clássico”.
  • DeepSeek, Mistral, Gemini etc. são mencionados; alguns dizem que o DeepSeek Coder é o modelo aberto mais forte que executaram localmente, mas reconhecem que o Phind‑70B é impressionante.

Benchmarks, avaliação e especialização

  • Vários comentaristas desconfiam dos benchmarks atuais de código (HumanEval e leaderboards de LLMs abertos) devido à contaminação, “trapaças” fáceis e mau design de tarefas.
  • Alguns argumentam que o tamanho do modelo já não é um proxy simples de qualidade; outros contrapõem que a cobertura da cauda longa ainda favorece modelos muito grandes como o GPT‑4.
  • Há interesse em benchmarks de programação melhores, mais realistas e julgados por humanos, além de avaliações em estilo arena, lado a lado.

Serving, treinamento e infraestrutura

  • O Phind diz usar NVIDIA TensorRT‑LLM em H100s; comentaristas inferem que o Triton provavelmente está envolvido.
  • Discussão sobre requisitos de memória: 70B em 4 bits cabe em ~35–48 GB de VRAM; 16 bits completos exigiriam ~140 GB, implicando configurações com várias GPUs.
  • A equipe relata um H100 literalmente “derretido” e uma taxa relativamente alta de falhas de H100; alguns sugerem problemas de fluxo de ar/PLX e mencionam throttling relacionado a FP8 em outras GPUs.

Comportamento do produto, UX e modos

  • Elogios fortes para:
    • Velocidade e disposição para emitir código detalhado em vez de recusar.
    • Integração de busca na web + LLM para consultas técnicas; alguns até trocam o Google por isso.
  • Pontos fracos e bugs:
    • A seleção do 70B às vezes recua silenciosamente para o 34B, especialmente quando não há login.
    • URLs de chat públicos podem ser editadas por qualquer pessoa, alterando as respostas visíveis.
    • RAG/busca pode “poluir” as respostas; o modo Chat/Code frequentemente tem desempenho melhor que o modo Search.
    • O modelo ocasionalmente falha ao ler sua própria página de blog (por exemplo, uma pergunta sobre janela de contexto).
  • Pedidos por:
    • Uma API compatível com OpenAI, mais opções de pagamento, apps móveis, melhor organização do histórico de chat e rótulos de acessibilidade aprimorados.

Abertura, ecossistema e futuro

  • O Phind liberou os pesos anteriores de 34B e afirma a intenção de liberar novos pesos de 34B e, eventualmente, de 70B.
  • Alguns criticam isso como mais um modelo fechado e cercado por muros até que pesos e APIs estejam amplamente disponíveis.
  • A discussão mais ampla aborda a rápida proliferação de modelos, a necessidade de filtrar melhor pesquisas úteis e a provável ascensão de meta‑LLMs que chamam outros modelos via APIs.