Avances en aprendizaje automático para el aprendizaje automático

Artículo original ↗ Discusión en Hacker News ↗

El aprendizaje automático se utiliza cada vez más para optimizarse a sí mismo, desde compiladores que autoajustan grafos tensoriales a través de distintos backends de hardware hasta sistemas como FunSearch que usan modelos para buscar mejores algoritmos. Los comentaristas debaten cuán transformadores serán estos avances: algunos los ven como la siguiente fase de industrialización que remodelará los trabajos de programación, el descubrimiento de fármacos y materiales, y las herramientas de software, mientras que otros sostienen que los modelos actuales como GPT‑4 y Gemini siguen siendo caros, frágiles y limitados por objetivos definidos por humanos y cuellos de botella del mundo real como los ensayos clínicos. Existe un amplio acuerdo en que la optimización impulsada por IA aumentará significativamente el rendimiento y la accesibilidad, pero escepticismo sobre que vaya a reemplazar rápidamente a los humanos expertos o que los LLM basados en transformers puedan escalar indefinidamente sin nuevas arquitecturas.

Futuro de la programación y los empleos

  • Muchos esperan que la práctica de la programación y la mayoría de los trabajos de software cambien drásticamente en 2–5 años, con los “trabajos de IA” convirtiéndose en la norma y los salarios disminuyendo.
  • Otros son escépticos, citando sistemas heredados, industrias de movimiento lento y viendo ChatGPT como un motor de búsqueda mejor y Copilot como autocompletado avanzado, no como cambios de paradigma.
  • Debate sobre si la IA reemplazará a los programadores o simplemente los aumentará. Algunos señalan que los no programadores que usan IA para codificar ya es análogo a los no artistas que usan modelos de imágenes.
  • Una preocupación recurrente: la gente quizá siga disfrutando programando, pero a muchos menos se les pagará por ello, de forma similar a otros oficios desplazados por la tecnología.

Capacidades de la IA, singularidad y cambio de objetivo

  • Algunos ven trabajos como FunSearch y ML-for-ML como señales de que una fase de “singularidad” o similar a AGI puede estar más cerca de lo esperado.
  • Otros argumentan que la IA todavía falla en la toma de decisiones de alto nivel, en formular problemas a partir de requisitos vagos y en lidiar con organizaciones humanas desordenadas.
  • Varios comentarios señalan que hitos que antes se trataban como definitorios de “IA” (p. ej., fuerte capacidad conversacional / prueba de Turing) ahora se descartan, y se quejan de “mover los postes de la meta”, mientras que otros argumentan que redefinir los objetivos es natural a medida que mejoran las capacidades.

Impacto en el mundo real: ciencia, medicina y materiales

  • Discusión sobre si la IA debe simular por completo a los humanos para diseñar fármacos seguros; el consenso en el hilo es que más probablemente propondrá candidatos, y humanos y ensayos los filtrarán.
  • Algunos argumentan que la IA ya acelera significativamente partes de I+D farmacéutica y de materiales (p. ej., plegamiento de proteínas, estructuras cristalinas), aunque los ensayos clínicos sigan siendo el cuello de botella.
  • Otros siguen sin impresionarse hasta que la IA “cure” enfermedades difíciles de forma visible o reduzca el sufrimiento de manera clara.

Competencia de modelos: GPT‑4, Gemini y datos

  • Se percibe que GPT‑4 va consistentemente por delante de otros modelos grandes (Llama, Claude, Gemini, etc.).
  • Las explicaciones propuestas: ventaja de ser el primero, mejores datos y limpieza de datos, uso intensivo de anotación humana/RLHF, y posiblemente “suerte” en hiperparámetros.
  • Gemini Pro se ve más cerca de GPT‑3.5; Gemini Ultra (que se afirma de clase GPT‑4) aún no estaba disponible en esta discusión.
  • Algunos piensan que los LLM basados en transformers pueden estar cerca del techo arquitectónico, con futuras mejoras mayormente incrementales y centradas en la eficiencia.

Compiladores de ML y predicción de rendimiento

  • Los “compiladores de ML” (p. ej., torch.compile, XLA, JAX, IREE, OpenXLA) buscan optimizar grafos de cómputo a través de hardware (CUDA, AMD, TPUs, CPUs) mediante representaciones intermedias.
  • Promesa a corto plazo: aceleraciones automáticas (p. ej., ~20–50% en benchmarks de PyTorch 2.0) y portabilidad sin soporte personalizado del proveedor.
  • Un resumen detallado señala el trabajo de Google sobre predecir el rendimiento en tiempo de ejecución de grandes grafos tensoriales en TPUs usando redes neuronales de grafos y grandes conjuntos de datos de grafos XLA; actualmente se centra en la predicción, no en la reescritura automática de grafos.
  • Los escépticos argumentan que los compiladores de ML están sobrevalorados: los humanos expertos todavía los superan en kernels principales, los compiladores pueden generar “basura eficiente” y todavía no devuelven información de mayor nivel sobre algoritmos.
  • Los partidarios contraargumentan que este es el mismo intercambio que con los compiladores tradicionales: enorme rendimiento y desempeño suficientemente bueno, y esperan que los optimizadores impulsados por ML (análogos a motores de ajedrez evaluados por redes neuronales) crezcan en importancia.

Acceso, educación y sociedad

  • Algunos prevén que la IA reducirá drásticamente la barrera para programar, con más no especialistas construyendo software y las escuelas eventualmente enseñando “cómo usar modelos” en lugar de solo codificación tradicional.
  • Otros enmarcan la IA como otra “fiebre del oro” transformadora, como la web, el móvil y la nube: sobrevalorada para muchas empresas, pero estructuralmente importante y probablemente permanente.