Muchos investigadores de IA creen que las falsificaciones se volverán indetectables
Los avances en la IA generativa están haciendo que las imágenes, el vídeo y el texto sean cada vez más difíciles de distinguir del contenido auténtico, lo que alimenta el temor de que los deepfakes pronto eludan incluso a los detectores especializados. Los comentaristas debaten contramedidas técnicas como detectores basados en IA, la firma por hardware de la salida de la cámara y sistemas de procedencia como la Content Authenticity Initiative, al tiempo que señalan que pueden ser subvertidos y crear una falsa sensación de seguridad. Muchos sostienen que el problema de fondo es social: a medida que los medios digitales se vuelvan ampliamente poco fiables, la confianza se desplazará hacia fuentes verificadas, marcos legales y regulatorios, y normas sociales en torno al consentimiento, la identidad y la evidencia.
Detección vs. Indetectabilidad
- Algunos argumentan que los modelos pueden entrenarse para detectar de forma fiable las salidas de generadores específicos (por ejemplo, “detector por modelo”), ya que la IA es buena para identificar artefactos sutiles.
- Otros señalan la naturaleza adversaria: los generadores se adaptarán a los detectores, lo que conducirá a una carrera armamentística similar a la de las GAN o al malware/antivirus.
- La detección dirigida se considera más viable que herramientas generales para “detectar cualquier imagen de IA”, pero los críticos dicen que nunca puedes estar seguro de haber cubierto todos los generadores.
- Varios comentaristas esperan que, con el tiempo, la detección sea poco fiable y que las falsificaciones de alta calidad “ganen” para muchos usuarios del mundo real.
Firmas digitales y procedencia
- Muchos ven las firmas criptográficas y el seguimiento de procedencia como algo esencial: firmar a nivel de cámara o de software, con alguna forma de PKI descentralizada o web of trust.
- Se citan como herramientas emergentes las claves de hardware en cámaras, los hashes en blockchain y las iniciativas como los estándares de autenticidad de contenido.
- Los escépticos subrayan: los secretos pueden extraerse, el hardware/DRM puede ser subvertido, y estos sistemas pueden crear una peligrosa falsa sensación de seguridad.
- Algunos enfatizan que las firmas solo prueban el origen/control de las claves, no la veracidad ni la ausencia de manipulación.
Confianza, sociedad e instituciones
- Preocupación generalizada de que las falsificaciones indetectables erosionarán la confianza en los medios digitales, aumentarán el fraude y desbordarán a los usuarios promedio, incluso si los expertos aún pueden detectar algunas falsificaciones.
- Otros dicen que las imágenes nunca han sido completamente “objetivas”, y que deberíamos centrar la atención en la credibilidad de la fuente, como ocurre con el texto.
- Hay desacuerdo sobre si los medios establecidos y las instituciones pueden seguir siendo árbitros fiables; algunos los ven como parte del problema.
- Una minoría afirma que esto será un “no problema” en la práctica, similar a la suplantación y la propaganda existentes, mientras que otros ven el riesgo social como “fuera de escala”.
Ley, ética y daño
- Se destaca que el abuso de deepfakes, especialmente los deepfakes sexuales y los que involucran a menores, ya es dañino y probablemente empeorará.
- Algunos proponen una regulación estricta: etiquetado obligatorio de IA, convertir la suplantación en delito y penas severas para las falsificaciones, especialmente por parte de actores poderosos.
- Otros cuestionan la aplicabilidad, dadas los modelos abiertos y las capacidades a nivel estatal.
Adaptación y normas futuras
- Se espera que la gente acabe tratando todo audio/vídeo como texto: intrínsecamente no fiable sin procedencia.
- Preocupa una “ventana de peligro” antes de que esa norma se consolide, cuando los deepfakes realistas pueden causar el máximo daño (por ejemplo, chantaje, incitación, uso indebido legal).