Alguns pensamentos sobre os novos resultados de criptoanálise da Anthropic
Os novos resultados de criptoanálise da Anthropic sobre AES, obtidos em grande parte ao dizer a um modelo não lançado para “continue”, estão levando as pessoas a reavaliar tanto as capacidades dos LLMs modernos quanto o valor da engenharia de prompt elaborada. Comentadores destacam como prompts simples e iterativos agora podem revelar descobertas não triviais em matemática e segurança, ao mesmo tempo em que debatem se “autocomplete glorificado” ainda é uma caracterização justa de modelos que cada vez mais agem como atenção mecanizada sobre todo o corpus do conhecimento humano. A discussão se amplia para questões sobre o que conta como inteligência ou AGI, os limites dos modelos atuais e a rapidez com que essas ferramentas estão remodelando áreas como criptografia, cibersegurança e desenvolvimento de software.
Prompting vs. “Engenharia de processo”
- Vários comentários observam que os resultados de criptoanálise e os recentes avanços em matemática vieram de prompts extremamente simples, como “continue” ou “você deve fazer uma descoberta”.
- Isso leva alguns a questionar práticas elaboradas de “engenharia de prompt”, argumentando que os modelos atuais respondem bem a instruções curtas e naturais.
- Outros enquadram isso não como engenharia de prompt, mas como “engenharia de processo”: projetar fluxos de trabalho iterativos e ciclos de feedback, nos quais especialistas do domínio podem empurrar sistematicamente os modelos para melhores resultados.
Capacidade do modelo, limites e filtros
- Comentadores destacam que o trabalho sobre AES ressalta o quão poderosos são os modelos atuais ao aplicar sistematicamente técnicas conhecidas, não ao inventar novas de forma exótica.
- Muitos reagem contra a desqualificação como “autocomplete glorificado”, argumentando que a predição do próximo token pode produzir raciocínio e descoberta surpreendentemente profundos, especialmente com pós-treinamento e ferramentas.
- Outros defendem a frase como um lembrete ontológico útil de que esses são motores estatísticos de texto, não agentes sencientes, embora os resultados possam continuar notáveis.
- Há frustração com filtros de segurança fortes e downgrades automáticos (por exemplo, de Mythos/Fable para modelos mais fracos) em perguntas aparentemente inofensivas de biologia ou história.
Inteligência, consciência e definições de AGI
- Um longo subthread debate o que “inteligência”, “consciência” e “AGI” realmente significam.
- Alguns argumentam que ser um preditor do próximo token não exclui raciocínio avançado nem mesmo consciência; outros dizem que LLMs claramente carecem de experiência contínua e de outras propriedades-chave.
- AGI é definida de várias formas: desempenho em nível humano na maioria das tarefas, superinteligência autossuperável, ou simplesmente LLMs atuais já igualando a competência textual mediana de humanos.
- Há consenso de que os critérios têm sido vagos e que os LLMs expuseram quantas definições incompatíveis de AGI coexistem.
LLMs como “atenção mecanizada”
- Uma analogia: LLMs são como “atenção mecanizada” ou uma bibliotecária de pesquisa ultrarrápida, trazendo à tona e recombinando vastas quantidades de conhecimento prévio.
- Isso pode “elevar o piso” da qualidade das soluções ao tornar acessível trabalho prévio profundo, mesmo para projetos rápidos ou de brincadeira.
- Alguns temem que a forte dependência de LLMs possa atrofiar habilidades humanas e o pensamento independente.
Preocupações específicas de criptografia
- Alguns participantes observam cansaço com manchetes do tipo “AES foi quebrado” baseadas em ataques estreitos e altamente restritos.
- Há preocupação de que a criptoanálise gerada por IA aumente a quantidade de posts de baixa qualidade e caça-cliques sobre crypto, ao lado de avanços genuínos.