Filtrando los videos privados de los creadores de YouTube

Artículo original ↗ Discusión en Hacker News ↗

Vulnerabilidad y mecánica del ataque

  • El ataque usa el resumidor de comentarios con IA de YouTube Studio: un comentario malicioso incorpora instrucciones que hacen que el LLM anteponga un aviso de aspecto oficial y emita un enlace controlado por el atacante.
  • El parámetro de consulta del enlace se rellena con metadatos del canal que el LLM puede ver (por ejemplo, el título de un video, potencialmente de videos privados o no सूचीados). Al hacer clic, esos datos se filtran al servidor del atacante.
  • Algunos usuarios lo probaron y no pudieron reproducirlo; otros informan que parece haberse corregido discretamente (por ejemplo, sin enlaces, o la IA advierte sobre comentarios parecidos a phishing).

Debate sobre gravedad y clasificación

  • Un bando: esto es una vulnerabilidad real porque:
    • La entrada no confiable del usuario (comentarios) puede influir en la salida de la UI de confianza (Studio AI).
    • Los enlaces parecen originarse en YouTube, lo que reduce las sospechas.
    • La no determinación del LLM, junto con la escala de YouTube, significa que incluso un éxito de baja probabilidad es peligroso.
  • Otro bando: el impacto es limitado:
    • Requiere que el creador haga clic en un enlace sospechoso; es parecido al phishing clásico.
    • Solo filtra títulos o URLs no listadas, no el contenido del video; los videos privados siguen con control de acceso.
    • El PoC de ejemplo, tal como está escrito, puede asumir un conocimiento que afirma exfiltrar.

Inyección de prompt, límites de los LLM y mitigaciones

  • Muchos argumentan que la inyección de prompt es, en esencia, imposible de arreglar: los LLM no separan de verdad “datos” e “instrucciones”.
  • Mitigaciones sugeridas:
    • Eliminar o neutralizar enlaces/HTML/Markdown en la entrada y salida del LLM.
    • No dar a los agentes de resumen acceso a datos privados del canal ni a herramientas.
    • Usar instancias de LLM separadas o “patrones” para aislar contenido no confiable.
    • Añadir contexto/advertencias de que las respuestas de IA pueden incluir contenido generado por usuarios.
  • Otros son escépticos de que los límites de rol o los monitor-LLMs puedan detener los ataques de forma fiable; lo ven como una carrera armamentista.

Incentivos de Google/YouTube y gestión del bug bounty

  • Algunos ex y actuales Googlers describen incentivos internos (promo/GRAD) que favorecen nuevas funciones sobre la corrección de errores sutiles.
  • Otros replican que la gravedad en VRP la fijan equipos de seguridad especializados y que Google, en general, tiene una buena cultura de seguridad pero está desbordado por informes de baja calidad, a menudo generados por IA.
  • Varios comentaristas señalan un patrón: informes etiquetados como “not a bug” y luego parcheados en silencio, lo que mina la confianza de los investigadores y los incentivos del bug bounty.

Confianza, ingeniería social y riesgos más amplios

  • Incluso si técnicamente es “solo” ingeniería social, la plataforma está:
    • Lavando las instrucciones del atacante a través de la autoridad de YouTube (“IMPORTANT NOTICE FROM YOUTUBE”).
    • Creando nuevas superficies de phishing (falsa facturación, acciones de cuenta, información de votación desvíada, etc.).
  • Los comentaristas subrayan que es poco probable que los creadores promedio distingan los avisos generados por IA de los mensajes reales de la plataforma, lo que lo convierte en un serio problema de confianza y seguridad para los creadores.