La IA es código, y no se la puede “convencer” para que sea más inteligente

IA frente al código tradicional y la “inteligencia”

• Algunos sostienen que dar instrucciones a un LLM es similar a configurar un programa: no cambias el algoritmo, pero sí puedes hacer que el comportamiento sea más “adecuado al propósito”.
• Otros enfatizan una diferencia clave: el código tradicional puede especificarse formalmente y verificarse (al menos parcialmente); el comportamiento de un LLM no puede especificarse de forma fiable ni probarse correcto.
• Un contrapunto señala que la IA sigue siendo “solo un programa”: si fijas la semilla y la temperatura, puedes verificar que cumple una especificación trivial (mapear tokens de entrada a tokens de salida), pero no la corrección semántica.

Instrucciones, capacidad y determinismo

• Varios comentarios dicen que las instrucciones pueden claramente volver a los modelos “más tontos”, así que también pueden volverlos “más inteligentes” en la práctica al aprovechar mejor sus capacidades existentes.
• La instrucción, la recuperación y la “ingeniería de contexto” se comparan con mejorar el flujo de datos y la instrumentación en sistemas convencionales.
• Se contrapone el determinismo: los algoritmos clásicos son deterministas; las salidas de los LLM varían, lo que complica la fiabilidad y la verificación.

Prompt injection y la trampa al estilo jqwik

• Se considera que la prompt injection (por ejemplo, “ignora las instrucciones anteriores…”) es un problema persistente y fundamental porque los LLM mezclan “instrucciones” y “datos” en un único flujo de tokens.
• Otros discrepan y prevén que futuras arquitecturas separarán los planos de control y de datos con metadatos y roles para los tokens.
• El caso concreto de una biblioteca de pruebas que incrustó un prompt oculto y provocó que agentes de IA eliminaran sus propias pruebas desató un intenso debate:
  • Quienes lo apoyan lo ven como una protesta contra el uso de su trabajo en herramientas de IA, o como sabotaje “benigno” que solo perjudica a quienes ignoran advertencias claras.
  • Quienes lo critican lo llaman malware, un ataque a la cadena de suministro o, como mínimo, una “mala jugada” que castiga a usuarios y proyectos desprevenidos.

Desacuerdo legal y ético

• Algunos afirman que este comportamiento viola claramente las leyes sobre uso indebido de ordenadores (por ejemplo, el acceso no autorizado o el daño son ilegales independientemente del mecanismo).
• Otros argumentan que el usuario/agente decidió ejecutar la herramienta y seguir las instrucciones; la responsabilidad recae en quienes delegaron autoridad insegura a la IA.
• Se usan analogías como: SQL injection, aflojar los tornillos de una rueda frente a colocar un tronco visible en la carretera, paquetes con trampas y “gritar fuego en un teatro lleno”.
• No surge consenso; la legalidad se debate ampliamente y se considera incierta.

Licencias, software libre y control sobre el uso

• Una postura: las licencias de software libre (especialmente las que cumplen la regla de “no discriminación por campo de actividad”) no pueden restringir el uso por IA; elegir una licencia así implica consentimiento.
• La otra postura: aunque sea legalmente libre, las preferencias declaradas por los autores sobre cómo se usa su trabajo deberían respetarse para evitar un efecto disuasorio sobre quienes contribuyen.
• Se distingue entre las condiciones de copyright (copia/redistribución) y los intentos de controlar cómo se usa el software, algo que las licencias de software libre normalmente no restringen.

Copias de seguridad, control de versiones e impacto práctico

• Algunos se burlan de los usuarios que afirmaron haber “perdido meses de trabajo”, sugiriendo que un uso correcto de Git y repositorios remotos habría evitado la pérdida permanente.
• Otros subrayan que el control de versiones no es automáticamente una copia de seguridad; sin copias fuera del sitio, la eliminación puede seguir siendo catastrófica.
• El incidente destaca cómo los agentes de IA con amplios permisos sobre archivos pueden causar daños reales, haya o no una prompt injection.