Google solucionó más errores de Chrome en junio que en los dos años anteriores, gracias a la IA

Artículo original ↗ Discusión en Hacker News ↗

Google afirma que las herramientas asistidas por IA han permitido a los ingenieros de Chrome encontrar y corregir más vulnerabilidades de seguridad en un hito reciente de lanzamiento que en los dos años anteriores combinados, lo que ha generado interés y escepticismo. Los comentaristas señalan que los modelos de lenguaje sí pueden ser muy potentes para el análisis de código, la refactorización y la revisión de seguridad cuando se integran estrechamente con pruebas y herramientas, pero cuestionan cuántos errores también introduce la IA, qué modelos se usan y cómo se miden los resultados. El debate se amplía hacia preocupaciones sobre la adopción de IA impulsada por el hype, los flujos de trabajo de desarrollo y los riesgos del creciente control de Google sobre la plataforma web, así como los límites de la IA para el diseño de alto nivel, la calidad de la UX y los errores funcionales de larga data.

Reacción general a la afirmación de Google

  • Muchos ven plausible la detección de errores asistida por IA, especialmente en una base de código C++ enorme y compleja como la de Chrome.
  • Otros desconfían, al considerar la entrada del blog como marketing de una empresa fuertemente invertida financieramente en IA.
  • Varios señalan que el artículo trata de errores de seguridad a lo largo de hitos de publicación, no de todos los errores en un solo mes.

Cómo se está usando la IA para errores y seguridad

  • Los comentaristas informan buenos resultados usando LLM para:
    • Análisis de estilo estático, pruebas adversarias y sugerencias de refactorización.
    • Exploración de bases de código a gran escala, detección de errores duplicados y triaje de revisiones de seguridad.
    • Búsqueda automática de vulnerabilidades antes de que investigadores externos las exploten.
  • Se hace una analogía con fuzzers, linters y herramientas formales: la IA es “otro comprobador automatizado potente”, pero operando a un nivel de razonamiento más parecido al humano.

Escepticismo, métricas faltantes y posibles desventajas

  • Varias personas preguntan:
    • ¿Cuántos arreglos asistidos por IA se revirtieron?
    • ¿Cuántos errores nuevos introdujo la IA?
    • ¿Cuál es la tasa de falsos positivos de los detectores de errores con IA?
  • Algunos sospechan de manipulación de KPI por parte de la dirección (por ejemplo, centrar la IA en errores pendientes fáciles y de bajo impacto) y se quejan de que la publicación solo muestra “victorias”, sin datos de fallos.
  • Otros replican, argumentando que incluso cerrar muchos problemas pequeños o difíciles de explotar supone una mejora neta de seguridad, dado que las cadenas de explotación suelen necesitar muchos errores.

¿La IA también creó los errores?

  • Una línea de crítica: el código generado por IA puede inflar el número de errores, así que “arreglar más” no es obviamente bueno.
  • Contraargumentos:
    • Chrome tiene unos 20 años; la mayoría de los errores graves son anteriores al uso de LLM.
    • Las estadísticas del repositorio no muestran una explosión reciente de nuevo código.
    • Incluso si la IA introduce algunos errores, romper largas cadenas de explotación arreglando muchos problemas sigue siendo valioso.

Experiencias más amplias con la IA en desarrollo

  • Muchos informan que los LLM son muy útiles para:
    • Revisión de código, actualizaciones de dependencias y seguridad, y pequeños refactorings.
    • Ajuste de rendimiento cuando se apoya en telemetría/perfiles reales y se ejecuta en bucles cerrados.
  • Otros consideran que los LLM son malos para el diseño de alto nivel, la simplificación de sistemas o la dirección profunda del rendimiento, y se quejan de “AI slop” en el código y en la comunicación interna.

Preocupaciones sobre Chrome, C++ y el control del ecosistema

  • Algunos ven esto como una muestra de lo frágiles que son los sistemas grandes en C++ y abogan por reescrituras seguras en memoria (por ejemplo, Rust), mientras que otros defienden C/C++ con mejores herramientas.
  • Al margen de la IA, varios expresan incomodidad por el dominio de Google sobre la pila web y por las decisiones de producto impulsadas por anuncios; arreglar más errores no resuelve ese problema estructural.