Memória e novos controles para o ChatGPT

Artigo original ↗ Discussão no Hacker News ↗

O novo recurso de “memória” da OpenAI para o ChatGPT, que permite ao modelo lembrar preferências e contexto do usuário entre conversas, é visto tanto como um ganho muito esperado de usabilidade quanto como um potencial risco de dependência e privacidade. Os comentários se dividem entre usuários “transacionais”, que querem sessões limpas e sem estado para segurança e confiabilidade, e usos “relacionais” ou baseados em projetos, em que contexto persistente pouparia explicações repetidas. Muitos também questionam como o recurso é implementado tecnicamente, como ele interage com o comportamento de codificação mais “preguiçoso” em variantes recentes do GPT-4, e por que necessidades centrais como melhor busca, janelas de contexto maiores e uma UI mais robusta não estão sendo priorizadas em vez disso.

Padrões de uso e valor da memória

  • Muitos distinguem entre uso “transacional” (cada conversa é uma nova consulta, como busca) e uso “relacional/temático” (projetos em andamento ou quase-companheiro).
  • Usuários transacionais muitas vezes preferem uma lousa limpa por segurança, previsibilidade e depuração; eles temem que a memória introduza estado oculto e comportamento estranho.
  • Usuários relacionais/temáticos querem contexto persistente para projetos, preferências e tópicos recorrentes (por exemplo, estilo de código, dispositivos usados, hábitos de planejamento de aulas).

Desejo por memória com escopo / estruturada

  • Vários querem memória com escopo por tópico, projeto ou “pastas”, e não misturada em toda a conta.
  • Pedidos por conversas em árvore/encadeadas, hierarquias de contexto (trabalho vs pessoal) e “quadros iniciais” reutilizáveis de chats anteriores.
  • Alguns imaginam sistemas de “macro” ou de perfil: diferentes prompts-base/tons para blogar, pesquisa técnica etc.

Detalhes de implementação e suposições técnicas

  • Muitos assumem uma abordagem no estilo RAG: “memórias” curtas armazenadas separadamente, consultadas e injetadas nos prompts quando relevantes.
  • Um vazamento de prompt mostra uma ferramenta bio usada para persistir informações do usuário; as memórias aparecem como pequenos blocos de texto anexados ao contexto do sistema.
  • Debate sobre se isso é apenas instruções personalizadas refinadas ou algo mais dinâmico; consenso: incremental, mas praticamente útil, não revolucionário.

Privacidade, confiança e dependência

  • A memória persistente aumenta a preocupação com retenção de dados, uso para treinamento e verificação das políticas da OpenAI.
  • Alguns veem isso como um mecanismo de dependência/“stickiness”, elevando os custos de mudança em relação aos concorrentes.
  • Vários preferem LLMs locais por privacidade, controle e para evitar filtros de segurança.

Comportamento do modelo e “preguiça”

  • Forte discussão sobre o GPT-4 Turbo ficar “preguiçoso” para programação: implementações parciais, comentários em vez de código completo, ignorando instruções explícitas.
  • Benchmarks e relatos sugerem que isso piorou em atualizações recentes; alguns acham que é motivado por custo ou por prompt, não apenas por segurança.
  • Contornos mencionados: diffs unificados, prompts de sistema enfatizando tom de especialista para especialista, prompting cuidadoso ou troca para outros modelos/locais.

UX, interface e o básico que falta

  • Reclamações de que a interface web do ChatGPT é lenta, instável e carece de recursos críticos como busca global nas conversas.
  • Alguns trocariam os novos recursos de “memória” e personalização por melhorias centrais: confiabilidade, contexto efetivo maior e melhor aderência às instruções.