Algunas reflexiones sobre los nuevos resultados de criptoanálisis de Anthropic
Los nuevos resultados de criptoanálisis de Anthropic sobre AES, logrados en gran parte diciéndole a un modelo no lanzado que “siga”, están llevando a la gente a replantearse tanto las capacidades de los LLM modernos como el valor del elaborado prompt engineering. Los comentaristas destacan cómo prompts simples e iterativos pueden ahora revelar hallazgos no triviales en matemáticas y seguridad, al tiempo que debaten si “autocompletado glorificado” sigue siendo una caracterización justa de modelos que cada vez se comportan más como una atención mecanizada sobre todo el corpus del conocimiento humano. El hilo se amplía hacia preguntas sobre qué cuenta como inteligencia o AGI, los límites de los modelos actuales y la rapidez con la que estas herramientas están transformando campos como la criptografía, la ciberseguridad y el desarrollo de software.
Prompting vs. “Ingeniería de procesos”
- Varios comentarios señalan que los resultados de criptoanálisis y los recientes avances en matemáticas surgieron de prompts extremadamente simples como “sigue” o “deberías lograr un avance”.
- Esto lleva a algunos a cuestionar las elaboradas prácticas de “prompt engineering”, argumentando que los modelos actuales responden bien a instrucciones breves y naturales.
- Otros no lo enmarcan como prompt engineering, sino como “ingeniería de procesos”: diseñar flujos de trabajo iterativos y bucles de retroalimentación, donde expertos del dominio pueden empujar sistemáticamente a los modelos hacia mejores resultados.
Capacidad del modelo, límites y filtros
- Los comentaristas destacan que el trabajo sobre AES subraya lo potentes que son los modelos actuales para aplicar de forma sistemática técnicas conocidas, no para inventar cosas exóticas nuevas.
- Muchos rechazan la descalificación de “autocompletado glorificado”, argumentando que la predicción del siguiente token puede dar lugar a razonamientos y descubrimientos sorprendentemente profundos, especialmente con post-training y herramientas.
- Otros defienden la frase como un recordatorio ontológico útil de que estos son motores estadísticos de texto, no agentes sintientes, aunque los resultados puedan seguir siendo extraordinarios.
- Hay frustración con los filtros de seguridad estrictos y las degradaciones automáticas (por ejemplo, de Mythos/Fable a modelos más débiles) en preguntas aparentemente inocuas de biología o historia.
Inteligencia, conciencia y definiciones de AGI
- Un largo subhilo debate qué significan realmente “inteligencia”, “conciencia” y “AGI”.
- Algunos sostienen que ser un predictor del siguiente token no excluye un razonamiento avanzado ni siquiera la conciencia; otros dicen que los LLM claramente carecen de experiencia continua y de otras propiedades clave.
- AGI se define de distintas maneras: rendimiento a nivel humano en la mayoría de las tareas, superinteligencia auto-mejorable, o simplemente que los LLM actuales ya igualen la competencia textual humana media.
- Hay consenso en que los criterios han sido difusos y en que los LLM han mostrado cuántas definiciones incompatibles de AGI coexisten.
Los LLM como “atención mecanizada”
- Una analogía: los LLM son como una “atención mecanizada” o una bibliotecaria de investigación ultrarrápida, que hace aflorar y recombina enormes cantidades de conocimiento previo.
- Esto puede “elevar el piso” de la calidad de las soluciones al hacer accesible trabajo previo profundo incluso para proyectos rápidos o de juguete.
- A algunos les preocupa que depender demasiado de los LLM pueda atrofiar las habilidades humanas y el pensamiento independiente.
Preocupaciones específicas sobre criptografía
- Algunos participantes señalan cansancio con titulares del estilo “AES está roto” basados en ataques estrechos y muy restringidos.
- Existe la preocupación de que el criptoanálisis generado por IA incremente las publicaciones de criptografía de poco valor y clickbait junto con avances genuinos.