Grandes interrupções no ChatGPT e na API

Artigo original ↗ Discussão no Hacker News ↗

Uma grande interrupção no ChatGPT e na API da OpenAI desencadeou ampla preocupação sobre quão rapidamente programadores, empresas e indivíduos passaram a depender de um único fornecedor de IA para o trabalho diário. Os comentadores trocam opções de fallback — desde Azure OpenAI, Anthropic e modelos do Hugging Face até LLMs totalmente locais — e apontam questões práticas como embeddings incompatíveis, falta de SLAs e suporte imaturo. Muitos veem isto como um aviso para desenhar redundância e portabilidade desde já, enquanto outros argumentam que os ganhos de produtividade dos modelos alojados de última geração ainda superam os riscos de confiabilidade e lock-in.

Impacto da interrupção e dependência

  • Muitos comentadores relatam estar incapazes de trabalhar ou significativamente mais lentos, tendo substituído Google/Stack Overflow pelo ChatGPT para programação, scripts, documentação e escrita.
  • Alguns encaram isso com humor (“dia de PTO”, “rodinhas de treino/muleta”), mas vários admitem que não tinham percebido o quanto se tinham tornado dependentes.
  • Outros dizem que não foram afetados porque não usam ChatGPT ou ainda “guardam conhecimento na cabeça”, às vezes reagindo contra a sobredependência.

Alternativas e estratégias de failover

  • As pessoas mencionam usar: Azure OpenAI (em grande parte sem impacto), Anthropic Claude, Bard, GPT-4 da Kagi via Azure, Phind, You.com, Hugging Face Spaces (por exemplo, Zephyr) e configurações locais (Code Llama, Mistral, dolphin-mistral, Phind-CodeLlama).
  • Para embeddings, as sugestões incluem: Azure OpenAI, Amazon Bedrock, SBERT, Instructor e armazenar múltiplos tipos de embedding por documento para permitir a troca.
  • Alguns produtos já fizeram failover para Anthropic ou outros modelos; outros observam que isso é difícil quando se usam funcionalidades específicas da OpenAI (tools/function calling).

Modelos locais e de código aberto

  • Há forte interesse em self-hosting para evitar interrupções e risco de plataforma.
  • O consenso é que os modelos abertos atuais estão a melhorar, mas ainda não atingem a qualidade do GPT-4; são bons o suficiente para algumas tarefas (resumo, programação mais simples, RAG), mas não tão “de uso geral”.
  • O custo e a escassez de hardware (por exemplo, H100s) são barreiras importantes; modelos mais pequenos podem funcionar bem em GPUs de consumo ou até em CPU para alguns casos.

Confiabilidade, SLAs e preocupações empresariais

  • A OpenAI não fornece um SLA significativo; vários relatam experiências de suporte muito fracas e problemas sem resolução durante meses.
  • Algumas empresas estão a migrar para Azure OpenAI especificamente por melhor confiabilidade, SLAs e suporte.
  • Outros argumentam que esta é uma fase normal de crescimento rápido; SLAs e robustez vão melhorar, mas o risco de lock-in e o planeamento para interrupções são subestimados.

Qualidade do modelo, censura e comportamento

  • Há opiniões mistas sobre o novo GPT-4 Turbo: mais barato e rápido, mas possivelmente ligeiramente pior em algumas tarefas de NLP; alguns relatam variabilidade mesmo com temperatura baixa.
  • Comparações: o GPT-4 é frequentemente visto como o melhor no geral; o Bard é percebido como mais fraco em programação e mais agressivamente filtrado; o Claude é elogiado como um bom backup.
  • Há preocupações com filtros de conteúdo demasiado rígidos (especialmente tópicos de violência/guerra) e com alucinações em todos os modelos.

Reflexões mais amplas

  • Muitos veem a interrupção como um aviso sobre centralizar fluxos de trabalho críticos numa única API de IA.
  • Alguns preveem um futuro de modelos incorporados/on-prem e camadas de abstração multi-fornecedor; outros apontam o risco de dependência de longo prazo e de atrofia de competências, especialmente para programadores juniores.