Revolut muda para GLM auto-hospedado
Uma grande fintech mudou grande parte de sua carga de trabalho de IA da OpenAI e da Anthropic para um modelo GLM auto-hospedado rodando em hardware Nvidia alugado, reduzindo reportedly os custos por token em cerca de 90% enquanto elevava os limites internos de uso de tokens. Os comentaristas debatem se a diferença de qualidade entre modelos open-weight e modelos “frontier” ainda importa para a maioria das tarefas de código e back-office, dadas as pressões regulatórias, as preocupações com soberania de dados e a economia de grandes clusters de GPU versus preços de API. A discussão também destaca uma tendência mais ampla: empresas experimentando LLMs on-prem ou em nuvem dedicada, mesmo com dúvidas sobre depreciação de hardware, fossos competitivos de fornecedores e como a ubiquidade da IA vai remodelar os empregos em engenharia de software.
Economia de Custos & Infraestrutura
- A Revolut relata ~$0,30 por milhão de tokens em GLM auto-hospedado (via 56× B200 alugados), cerca de 1/10 do gasto anterior com Anthropic/OpenAI.
- Estimativas aproximadas da comunidade: 56 B200s podem custar $2,5–3M para comprar, ou $250–300k/mês para alugar a preços públicos de GPU em nuvem, sugerindo que a mudança vale a pena em alto volume de uso.
- Debate sobre comprar vs alugar: muitos dizem que alugar metal (de cloud ou provedores especializados) é mais realista para a maioria; hardware é difícil de obter e se desvaloriza rapidamente a cada geração da Nvidia.
- Alguns esperam que os laboratórios de ponta respondam com planos empresariais agressivos (por exemplo, preços fixos por engenheiro) para preservar margens e relevância.
Qualidade do Modelo: Open vs Frontier
- Muitos afirmam que o GLM 5.3 e modelos open-weight semelhantes são “bons o suficiente” para a maioria das tarefas de código/SE, especialmente com bons prompts e harnesses.
- Outros insistem que modelos de ponta (Claude, GPT, etc.) ainda oferecem raciocínio, autonomia e navegação de código claramente superiores, especialmente em repositórios complexos; voltar a eles parece uma melhora de “noite e dia”.
- Consenso: a diferença de qualidade é real, mas está diminuindo; para muitas cargas de trabalho empresariais, preço e controle agora importam mais do que a qualidade máxima absoluta.
Privacidade de Dados, Conformidade & “Zero Data Retention”
- Para um banco, manter fluxos de trabalho dentro de uma infraestrutura controlada (ou, no mínimo, de um provedor de GPU confiável) é visto como crucial por motivos regulatórios e de soberania de dados.
- Vários argumentam que promessas de “zero data retention” de vendors SaaS de LLM são apenas “promessas de mindinho” contratuais, com exceções legais e sem verificabilidade.
- Hierarquia sugerida: hardware próprio > provedores de confidential computing > vendors genéricos de API. Outros respondem que auditorias e o direito contratual são suficientes para muitas organizações.
Experiências de Auto-Hospedagem & Ferramentas
- Vários comentaristas relatam sucesso com modelos open locais ou on-prem (Qwen, Gemma, GLM, etc.), muitas vezes em hardware modesto, eliminando preocupações de confiança nos dados.
- Ênfase no harness: logging, ferramentas, APIs padronizadas e arquivos de lições importam tanto quanto o modelo base. Alguns compartilham configurações que mineram conversas anteriores em “lições” injetadas em contextos futuros.
- Alguns apontam bugs no nível do engine (por exemplo, problemas de correção em vLLM + GLM) e se perguntam sobre o stack específico da Revolut.
Produtividade de Desenvolvedores & Racionamento de Tokens
- Um ganho relatado importante: eliminar o racionamento de tokens. Assim que os tokens passaram a ser efetivamente “taxa fixa”, o uso explodiu e a produtividade (e a exploração) aumentou.
- Visão contrastante: em algumas empresas, tokens ilimitados levaram à “ilusão de produtividade” e a muito lixo gerado por IA.
- Vários descrevem que modelos abertos seguem instruções melhor quando os prompts são precisos, e que ambiguidades (“corrija todos os problemas”) produzem resultados piores.
Mercado de Trabalho & Competências
- Forte preocupação de que o trabalho de dev júnior agora seja amplamente automatizável; algumas equipes mantêm juniores principalmente para aprendizado, com seniores revisando código assistido por IA.
- Seniores são amplamente percebidos como os principais beneficiários da IA, tornando-se muito mais produtivos; juniores enfrentam ventos contrários na contratação e são incentivados a aprender fluxos de trabalho com IA de forma proativa.
- Debate sobre se os funcionários devem investir tempo/dinheiro pessoais em ferramentas de IA versus os empregadores fornecerem assinaturas, e sobre questões mais amplas de segurança no emprego, equilíbrio entre vida e trabalho e impacto social.