Passei uma Semana com o Gemini Pro 1.5 — É Fantástico

Capacidades do modelo e janela de contexto

• A discussão corrige o artigo: o GPT‑4 Turbo tem 128k de contexto via API, 16–32k na web/app; o contexto de 1M–10M do Gemini 1.5 ainda é visto como um avanço genuíno.
• Alguns especulam que o Google usa escalonamento bruto mais truques de sistema; outros mencionam técnicas como LongRoPE, Mamba, FlashAttention, PagedAttention, mas ninguém sabe ao certo.
• Vários observam que o Gemini 1.5 supostamente usa melhor o contexto longo do que os modelos atuais, e não apenas o aceita.

Casos de uso para contexto gigantesco

• Grande entusiasmo em alimentar livros inteiros, bases de código e grandes conjuntos de documentos:
  • Auxiliares de e-reader (consulta de personagens, resumos sem spoilers, lembretes de siglas, análise de motivações).
  • Ajudas de estudo aprofundadas e sínteses em estilo “grupo de conselheiros” a partir de muitos livros-texto/livros de conselho.
  • Sugestões de funcionalidades em toda a base de código e ferramentas de programação mais conscientes do contexto.
  • Síntese de pesquisa em grande escala ou meta-análise de muitos artigos.
• Alguns apontam o Kindle X-Ray e recursos semelhantes como precedentes parciais.

Custo, acesso e escalabilidade

• Há preocupação de que chamadas com contexto longo sejam extremamente caras hoje; pessoas que fazem fluxos de trabalho de resumo de chats ou de Telegram veem os custos do GPT‑4 dispararem rapidamente.
• As opiniões sobre custos futuros são mistas: alguns esperam preços próximos de zero com o tempo (analogia com mainframes), outros contrapõem que o Gemini pode ser mais caro que alternativas e temem acesso seletivo.
• O desempenho sob carga total em escala Google é incerto; até o artigo nota que a latência atual é alta.

Alucinações, precisão e confiança

• Vários exemplos de alucinações graves (anedota fabricada de uma biografia; doadores inventados em um PDF de financiamento de campanha; métodos falsos em código).
• As pessoas temem que até usuários sofisticados estejam publicando conteúdo de IA não verificado e que os leitores estejam cada vez mais tratando saídas de LLM como autoridade.
• O consenso: os modelos podem ser poderosos, mas qualquer coisa factual ou de alto risco precisa ser checada, idealmente por especialistas humanos.

Viés, guardrails e “wokeness”

• Debate intenso sobre as falhas anteriores de geração de imagens do Gemini e sobre “DEI/guardrails” em geral:
  • Alguns veem viés sistemático, movido por ideologia, e temem que isso afete resultados de busca e de texto.
  • Outros argumentam que a maior parte do problema é um system prompt excessivamente agressivo, e não dados de treino “purificados”.
  • Uma minoria explicitamente gosta de forte inclusividade, preferindo isso ao oposto; outros se recusam a usar sistemas “abertamente racistas” ou politicamente enviesados.
• Há ceticismo de que versões “pro” ou privadas sejam significativamente diferentes nesse aspecto.

RAG vs. contexto longo

• Alguns afirmam que o contexto longo reduzirá a necessidade de RAG pesado em chunks; basta colocar documentos completos.
• Outros argumentam que RAG continua crucial:
  • O principal gargalo é a seleção inteligente do material relevante, não o tamanho bruto da janela.
  • Para apps contínuos, você não reenviaria uma biblioteca inteira toda vez; custo e eficiência ainda importam.
• Muitos estão empolgados com a combinação de RAG + contexto gigantesco: RAG para escolher chunks relevantes, janela grande para manter evidências amplas, de múltiplas fontes, para uma síntese mais confiável.

Privacidade, AR e vigilância

• Contexto longo mais AR desperta visões de “etiquetas com nomes sobre todo mundo” e overlays de CRM pessoal:

  • Visto como muito útil para pessoas que têm dificuldade com nomes/rostos, e análogo a “Farley files” políticos e sistemas de CRM.
  • Outros chamam isso de pesadelo de privacidade: memória comportamental abrangente corrói o benefício social do esquecimento e convida perseguição, chantagem e honeypots.
  • Alguns acham que as normas sociais acabariam se adaptando; outros temem que as pessoas fiquem ultracautelosas ou com comportamento de político em público.

• Outro fio imagina agências de inteligência (por exemplo, a NSA) usando LLMs com contexto longo para consultar enormes arquivos de vigilância:

  • Alguns afirmam que o armazenamento da NSA é mais limitado do que as pessoas presumem em comparação com as nuvens de big tech.
  • Outros citam o data center de Utah e grandes contratos de nuvem, duvidando dessas garantias e esperando grandes quantidades de dados mais análise por IA.

Energia, clima e preocupações com recursos

• Vários se preocupam com o consumo de energia de data centers e com a contribuição da IA para as mudanças climáticas, especialmente se muito do uso for trivial (por exemplo, fotos de gatos, bate-papo de baixo valor).
• Outros observam que a computação é hoje uma pequena fatia das emissões globais em comparação com construção ou viagens, e as grandes empresas de IA são relativamente agressivas em renováveis.
• Há ceticismo em relação a alegações de “carbon neutral” e créditos de carbono; alguns insistem que ainda precisamos minimizar emissões em vez de confiar em truques contábeis.
• Há concordância de que a demanda por IA está subindo e de que talvez precisemos de formas melhores de avaliar se seus benefícios líquidos justificam o custo de recursos.

Qualidade do produto, degradação e Google vs OpenAI

• Alguns temem que a implantação pública degrade a qualidade do Gemini (como os “nerfs” percebidos no ChatGPT) e pedem que o Google priorize consistência, mesmo que isso signifique preços mais altos ou acesso limitado.
• Outros questionam se a “degradação” é real ou principalmente percepção, somada a saídas ruins ocasionais.
• Alguns testadores relatam que o Gemini Ultra é decepcionante para programação; outros dizem que o Gemini 1.5 Pro parece rápido e capaz, mas atualmente está lento e pouco carregado.
• Uma minoria descarta o Gemini de imediato por causa do declínio percebido da qualidade de busca do Google ou de inclinação ideológica.

Impactos sociais e no trabalho

• Sentimentos mistos sobre o rápido progresso da IA:
  • Alguns estão animados com ganhos de produtividade (programação, direito, sumarização).
  • Outros estão ansiosos de que as elites capturem a maior parte dos benefícios e de que pessoas de renda mais baixa sejam ainda mais marginalizadas, até o ponto de “eliminação suave” por pressão econômica.
• Uma visão contrária espera reduções amplas de preço e possíveis respostas de política pública (por exemplo, estímulo, talvez UBI), embora os resultados sejam reconhecidamente incertos.
• Debates de analogia: a IA será como baterias eletrônicas (ampliando, não substituindo, humanos) ou como carros versus carruagens (apagando papéis antigos)? Muitos esperam um trabalho mais complexo, assistido por IA, em vez do desaparecimento total de todos os empregos.