CEO da IBM diz que modelos de peso aberto agora são bons e baratos on-prem
A afirmação da IBM de que modelos de IA de peso aberto agora são poderosos e baratos o suficiente para rodar on-premises reacendeu o debate sobre se as empresas devem auto-hospedar IA ou depender de modelos “de fronteira” na nuvem da OpenAI, Anthropic e outras. Os comentadores ponderam os trade-offs entre GPUs caras e complexidade operacional de um lado, e preços subsidiados por token, lock-in de fornecedor, censura e riscos à privacidade dos dados do outro. Muitos argumentam que os modelos abertos, que melhoram rapidamente, já são “bons o suficiente” para a maioria das cargas de trabalho e que custo, controle e incerteza sobre preços de longo prazo empurrarão mais empresas — e alguns usuários avançados — para implementações locais ou auto-hospedadas.
Papel e Motivações da IBM
- Muitos veem a afirmação do CEO como “falando do próprio livro”: a IBM vende hardware on‑prem e consultoria, então elogiar IA open-weight on-prem está alinhado com seus interesses.
- Alguns argumentam que a IBM poderia desafiar a NVIDIA dada sua história em hardware, capital e expertise em chips, mas outros dizem que ela já não é a IBM da era do PC e está prejudicada por uma gestão disfuncional e uma cultura de extração de renda.
- Alguns observam que os modelos Granite da IBM e o hardware Power/Z são tecnicamente impressionantes, mas caros e de nicho.
Qualidade dos Modelos de Peso Aberto
- Vários comentadores dizem que os modelos modernos de peso aberto (DeepSeek v4.1 Flash, GLM 5.x, Qwen 3.8, Kimi K3.1) são “bons o suficiente” para programação séria, trabalho de longo contexto e fluxos de trabalho agentivos, às vezes próximos ou no nível de “Opus 4.x”.
- Para muitas tarefas com humano no loop, pequenas diferenças de qualidade em relação aos melhores modelos de fronteira são aceitáveis.
Economia: On-Prem vs Cloud
- Quem hospeda localmente relata rigs substanciais (por exemplo, cerca de US$ 25 mil, múltiplas GPUs, quilowatts de energia) que permitem evitar totalmente APIs pagas, mas admite que não é mais barato do que as assinaturas subsidiadas atuais.
- Outros argumentam que cloud/API é mais econômico para a maioria dos usuários: por exemplo, planos de LLM de €100–200/mês ou servidores GPU de ~€200/mês, em vez de possuir racks subutilizados.
- O DeepSeek é citado como tendo como meta recuperar o hardware em cerca de 10 meses; com utilização semelhante, há pouca arbitragem em auto-hospedagem, a menos que o gasto sustentado com API seja alto. Utilização e ajuste de inferência são vistos como as partes difíceis.
Privacidade, Controle e Censura
- Tema forte: on-prem/open-weight oferece privacidade, evita compartilhar dados sensíveis ou sob NDA e remove filtros do provedor, recusas e possível reporte às autoridades.
- Configurações locais também evitam aumentos futuros de preço, limitação de tráfego, banimentos ou mudanças de política.
Hardware, GPUs e Moats do Ecossistema
- CUDA e a stack de software da NVIDIA são vistos como um grande moat; a IBM ou outros precisariam de anos de trabalho sério no ecossistema para competir.
- GPUs de segunda mão estão caras e escassas; RAM e VRAM são vistos como os verdadeiros gargalos. Alguns preveem uma queda acentuada na demanda eventualmente, mas não tão cedo.
Adoção Empresarial e Perspectiva da IA de Fronteira
- Empresas têm dificuldade para integrar IA aos fluxos de trabalho e carecem de engenheiros de kernel/rede/inferência, o que a IBM apresenta como uma oportunidade de consultoria.
- Vários preveem um platô de “bom o suficiente”: a maior parte do trabalho feita em modelos mais baratos/open, com o SOTA de fronteira reservado para casos de nicho, desafiando a economia de rodadas de treinamento de fronteira cada vez maiores.