OpenAI – lanzamiento del depurador de transformers

Lanzamiento de la herramienta y propósito

• Muchos ven al depurador de transformers como una herramienta de “cirugía neuronal” para inspeccionar y comprender los entresijos internos de los transformers.
• Algunos lo consideran un paso importante hacia la interpretabilidad, especialmente si los transformers son centrales para la futura AGI.
• Otros son más cínicos y lo llaman un “volcado” mínimo de código abierto para señalar apertura y trabajo en seguridad.

Estatus sin fines de lucro de OpenAI y la demanda de Elon

• Varios comentarios sostienen que la presión legal (en particular una demanda de alto perfil) puede estar empujando a OpenAI a liberar más herramientas.
• La disputa central se resume así:
  • Un lado: OpenAI supuestamente pasó de una misión de investigación abierta y sin fines de lucro a un modelo de facto con fines de lucro después de expulsar a un primer patrocinador por conflicto de interés.
  • Contraargumento: Las empresas pueden cambiar de rumbo; a menos que haya habido una tergiversación intencional o negligente, las reclamaciones por daños son débiles.
• Debate sobre si alguien que vendió su participación (incluso bajo presión) puede luego reclamar daños si la entidad cambia de rumbo.
• Algunos señalan que el estatus 501(c)(3) de EE. UU. exige servir a fines exentos específicos; no basta con simplemente “reinvertir las ganancias”.

Definiciones de AGI y papel de los transformers

• Hay un fuerte desacuerdo sobre si ampliar los LLMs actuales basados en transformers puede dar lugar a AGI.
• Definiciones contrapuestas de “AGI”:
  • Económica: “mejor que el humano mediano/promedio en la mayoría de las tareas rentables”.
  • Más fuerte: mejor que cualquier humano, o ampliamente a nivel humano en todas las tareas.
• Algunos argumentan que la definición económica es la que importará para el impacto social, incluso si la AGI filosófica nunca llega.
• Otros insisten en que solo con transformers es improbable alcanzar una verdadera AGI; se consideran necesarias la robótica, la encarnación y una cognición más rica.

Comprender los transformers

• Una postura: ya “entendemos” matemáticamente los transformers como potentes aproximadores de funciones secuencia a secuencia; la interpretabilidad es como sondear las neuronas de un cerebro.
• Réplica: las afirmaciones de que el entrenamiento de siguiente token “fuerza” un modelo del mundo no están demostradas; se mencionan límites teóricos de los algoritmos.
• Los comentaristas señalan que la naturaleza digital de los LLMs hace que el análisis a nivel de neuronas sea mucho más factible que en biología.

IA, trabajo y automatización

• Largo subhilo sobre qué trabajos realmente “hacen funcionar el mundo” y cuán reemplazables son.
• Algunos sostienen que los trabajos de oficina “de mierda” se automatizarán primero; otros enfatizan que el trabajo físico y de servicios esenciales está aún lejos de automatizarse.

Miscelánea

• Breves aclaraciones técnicas sobre los bloques de transformer frente a la arquitectura de todo el modelo.
• Curiosidad por dejar que un LLM se introspeccione mediante ese depurador (“¿por qué respondí así?”).