A insuportável barateza dos modelos de pesos abertos

Economia de Modelos de Pesos Abertos vs. Fechados

• Muitos argumentam que a inferência já é “baratíssima” e está ficando mais barata; o treinamento e o RLHF/RLAIF são os verdadeiros motores de custo.
• Provedores de pesos abertos (por exemplo, DeepSeek, Xiaomi) são vistos como carentes de marca/defensiva técnica, então precisam precificar em níveis de commodity.
• Outros questionam a sustentabilidade de preços ultrabaixos, citando a depreciação de GPUs e alegações de que as margens de alguns provedores parecem irreais.
• Há discordância sobre se as margens de inferência dos laboratórios de fronteira ficam em ~50% (limitadas pelos custos) ou >90% (com a queima de caixa vinda sobretudo de treinamento e inchaço organizacional).
• Assinaturas vs API: tokens de API parecem caros; planos de preço fixo provavelmente são subsidiados, mas alguns acham que ainda assim são lucrativos por causa da cota não usada.

Modelos de Negócio e Vantagens Competitivas para Laboratórios de Fronteira

• Preocupação de que modelos de pesos abertos vão comoditizar “95% das tarefas” (programação, pesquisa, trabalho tipo cowork), puxando os preços para baixo.
• Caminhos de sobrevivência propostos:
  • Avançar capacidades de fronteira (AGI, ciência avançada, biotecnologia, projeto nuclear) e cobrar royalties.
  • Controlar a camada de aplicação (ferramentas empresariais, produtos verticais) e vender “melhor da categoria, seguro, em conformidade” para grandes organizações.
  • Captura regulatória: “apenas modelos certificados/regulados”, regras federais de contratação, licenças de copyright como controle de acesso.
  • Comprar temporariamente hardware escasso (RAM/GPUs) para atrasar concorrentes até o IPO.
• Céticos duvidam da habilidade desses laboratórios em design de aplicações e observam que incumbentes em verticais (direito, finanças, saúde) podem combinar expertise de domínio com pesos abertos.

Capacidades, AGI e Restrições de Dados

• Vários veem o progresso como gradual e “sem moat”: modelos abertos já pressionam os laboratórios de fronteira, especialmente com bons harnesses/agentes.
• Debate sobre estarmos limitados por compute ou por dados:
  • Um lado: dados de alta qualidade são o gargalo; dados sintéticos ajudam apenas condicionalmente e podem causar “colapso do modelo” se usados em excesso.
  • O outro lado: dados sintéticos somados a conjuntos de dados de parceiros (biotecnologia, engenharia etc.) podem estender o scaling.
• Autoaperfeiçoamento recursivo / “singularidade” é visto como superestimado; o scaling de compute domina.

Uso Prático de Modelos de Pesos Abertos e Locais

• Vários comentaristas relatam fazer trabalho substancial (agentes de código, tradução, descoberta de CVEs de nicho, scripts personalizados) barato com modelos locais de 12–35B mais cache.
• Cache de KV/prompt e loops de agentes podem levar o custo efetivo por token perto de zero para muitas cargas de trabalho.
• Para muitas tarefas de negócio, inteligência no nível humano ou até abaixo do humano é suficiente; custo, controle e previsibilidade importam mais do que a qualidade absoluta.
• Alguns ainda acham os modelos de codificação de fronteira claramente superiores para tarefas complexas.

Confiança, Controle e Regulação

• Forte preferência de alguns por pesos abertos devido a: controle de dados, auditabilidade, evitar bans arbitrários e previsibilidade de conformidade.
• Outros observam que hospedar localmente pode ser “mais barato até você considerar segurança e responsabilidade legal”, o que pode empurrar setores regulados para grandes provedores fechados.
• Expectativa de vários de que governos (especialmente os EUA) vão banir ou restringir modelos estrangeiros/abertos, alinhando laboratórios domésticos favorecidos aos interesses do Estado.

Espaço e Infraestrutura Exótica (Data Centers em Órbita)

• Longo subthread sobre data centers espaciais:
  • Otimistas destacam o histórico da SpaceX (foguetes reutilizáveis, Starlink, energia e chips de IA em órbita) e veem o compute orbital como viável do ponto de vista de engenharia.
  • Céticos enfatizam economia e escala: radiação, resfriamento, manutenção, custos de lançamento e a necessidade de massa enorme para órbita tornam a implantação em larga escala provavelmente antieconômica por décadas, se é que algum dia ocorrerá.
  • Consenso geral: tecnicamente possível em forma nichada; viabilidade comercial em escala é incerta.

Modelos Abertos, Estrutura de Mercado e Europa

• Alguns argumentam que os próprios pesos abertos funcionam como um moat: qualquer novo modelo comercial precisa superar referências fortes, gratuitas/baratas, tornando a entrada de novos competidores (por exemplo, da Europa) mais difícil de justificar.
• Outros apontam esforços europeus já existentes e os benefícios de longo prazo de infraestrutura aberta.

Esclarecimentos Conceituais: “Pesos Abertos”

• “Pesos abertos” = você pode baixar os tensores completos de parâmetros e os arquivos associados (tokenizer, metadados da arquitetura, configs) e executar a inferência por conta própria.
• “Modelos abertos” completos também publicam o código de treinamento e os conjuntos de dados; isso é menos comum.
• Pesos são apenas grandes matrizes numéricas que governam o comportamento do modelo; pesos abertos permitem fine-tuning e implantação local sem revelar os dados originais de treinamento.