DeepInfer: framework de inferência de alto desempenho para modelos DeepSeek
A DeepSeek, da China, tornou open source um framework de inferência de alto desempenho para seu LLM V4.1 Flash, revelando que um único cluster pode atender 155 trilhões de tokens por dia e gerar cerca de US$38 de receita por hora de GPU a preços fora de pico. Comentadores veem isso como forte evidência de que a inferência de LLM pode ser altamente lucrativa e cada vez mais comoditizada, especialmente quando combinada com energia barata na China e NPUs da Huawei, mas questionam se essas margens podem sobreviver à concorrência intensa, à queda de preços e aos custos contínuos de treinamento. Muitos argumentam que esse tipo de ferramenta aberta corrói os fossos competitivos dos laboratórios de fronteira dos EUA, fortalece modelos de pesos abertos e self-hosted e pode deslocar o poder da IA para donos de infraestrutura e fornecedores de hardware, em vez de apenas para os provedores de modelos.
Lançamento do DeepInfer & o que ele é
- A DeepSeek tornou open source o “DeepInfer”, um framework de inferência de alto desempenho otimizado para o seu modelo V4.1 Flash e para NPUs NVIDIA SM100 e Huawei Ascend 950.
- Ele é construído com base em ideias do vLLM / SGLang, mas adiciona otimizações próprias da DeepSeek; algumas peças críticas para produção (sistema de cache KV, balanceamento de carga completo, desagregação VE/prefill/decode) ainda não estão incluídas.
- Vários comentaristas esperam que suas técnicas sejam incorporadas aos mecanismos OSS comuns, beneficiando todo o ecossistema, incluindo laboratórios dos EUA.
Economia da inferência & lucratividade
- A DeepSeek afirma cerca de US$38/hora de receita por placa a preço fora de pico; um cluster supostamente processa ~155T tokens/dia.
- Muitos argumentam que isso mostra que a inferência em si é altamente lucrativa e que as GPUs podem se pagar em menos de um ano, especialmente com alta utilização e energia barata na China.
- Outros contrapõem que “lucratividade da inferência” é enganosa sem incluir os enormes custos de treinamento, P&D e dívida; os P&Ls gerais dos laboratórios ainda podem ser negativos.
- Debate sobre margens no longo prazo: alguns veem uma inevitável corrida para margens de commodity cada vez menores; outros acham que a “inteligência de luxo” de fronteira manterá preços altos.
Comoditização, fossos competitivos e concorrência
- A visão forte é que a inferência genérica de LLM é uma commodity indiferenciada: muitos provedores, compradores sensíveis a preço, baixos custos de troca, pesos abertos.
- Isso ameaça as narrativas de trilhões de dólares dos laboratórios de fronteira dos EUA; seus únicos fossos podem ser marca, distribuição, dados proprietários ou captura regulatória.
- Visão contrária: a qualidade de fronteira ainda importa; muitas empresas pagarão prêmios pelos melhores modelos e por provedores em conformidade e “confiáveis”.
China vs EUA, hardware & regulação
- A abertura da DeepSeek é vista tanto como guerra econômica (reduzindo os laboratórios dos EUA) quanto como uma forma de contornar controles de exportação de GPUs, ao fazer datacenters ocidentais hospedarem pesos abertos chineses.
- O suporte a Huawei Ascend é notável; alguns veem isso como marketing e um desafio à dominância da NVIDIA, especialmente diante da eletricidade barata da China e da grande expansão de capacidade energética.
- Uma nova ordem do DHS dos EUA proíbe produtos da DeepSeek em sistemas civis federais (e algumas implementações de terceiros), vista como o início de um desacoplamento formal.
- O contexto europeu é misto: preocupações tanto com o controle dos EUA quanto da China, mas forte interesse em modelos self-hosted e de pesos abertos por soberania e motivos de GDPR.
Notas técnicas & impacto prático
- A estratégia de cache KV da DeepSeek (retenção ≥72 horas, pegada por token muito compacta) é vista como um grande ganho de eficiência; a implementação real ainda não está totalmente aberta.
- Muitos esperam que provedores menores de inferência adotem o DeepInfer para reduzir a diferença de desempenho em relação à API própria da DeepSeek, derrubando os preços dos tokens.
- Alguns desenvolvedores ainda preferem assinaturas de grandes laboratórios (custo mensal fixo, qualidade mais forte) em vez da API pay-per-token da DeepSeek, apesar do baixo preço unitário.