OpenAI – lanzamiento del depurador de transformers
El lanzamiento por parte de OpenAI de un “depurador de transformers” de código abierto despierta interés por entender mejor y hacer “cirugía neuronal” sobre los grandes modelos de lenguaje, pero también escepticismo de que estas herramientas sean más relaciones públicas que verdadera apertura. Los comentaristas vinculan la medida con la presión de la demanda de Elon Musk y con preocupaciones más amplias sobre el giro de OpenAI desde sus orígenes sin fines de lucro y “abiertos” hacia una estructura estrechamente controlada y con fines de lucro. El hilo se amplía hacia el debate sobre si escalar modelos basados en transformers puede conducir realisticamente a la AGI, qué definición de AGI es relevante económicamente y hasta qué punto la IA actual está de reemplazar el trabajo esencial del mundo real.
Lanzamiento de la herramienta y propósito
- Muchos ven al depurador de transformers como una herramienta de “cirugía neuronal” para inspeccionar y comprender los entresijos internos de los transformers.
- Algunos lo consideran un paso importante hacia la interpretabilidad, especialmente si los transformers son centrales para la futura AGI.
- Otros son más cínicos y lo llaman un “volcado” mínimo de código abierto para señalar apertura y trabajo en seguridad.
Estatus sin fines de lucro de OpenAI y la demanda de Elon
- Varios comentarios sostienen que la presión legal (en particular una demanda de alto perfil) puede estar empujando a OpenAI a liberar más herramientas.
- La disputa central se resume así:
- Un lado: OpenAI supuestamente pasó de una misión de investigación abierta y sin fines de lucro a un modelo de facto con fines de lucro después de expulsar a un primer patrocinador por conflicto de interés.
- Contraargumento: Las empresas pueden cambiar de rumbo; a menos que haya habido una tergiversación intencional o negligente, las reclamaciones por daños son débiles.
- Debate sobre si alguien que vendió su participación (incluso bajo presión) puede luego reclamar daños si la entidad cambia de rumbo.
- Algunos señalan que el estatus 501(c)(3) de EE. UU. exige servir a fines exentos específicos; no basta con simplemente “reinvertir las ganancias”.
Definiciones de AGI y papel de los transformers
- Hay un fuerte desacuerdo sobre si ampliar los LLMs actuales basados en transformers puede dar lugar a AGI.
- Definiciones contrapuestas de “AGI”:
- Económica: “mejor que el humano mediano/promedio en la mayoría de las tareas rentables”.
- Más fuerte: mejor que cualquier humano, o ampliamente a nivel humano en todas las tareas.
- Algunos argumentan que la definición económica es la que importará para el impacto social, incluso si la AGI filosófica nunca llega.
- Otros insisten en que solo con transformers es improbable alcanzar una verdadera AGI; se consideran necesarias la robótica, la encarnación y una cognición más rica.
Comprender los transformers
- Una postura: ya “entendemos” matemáticamente los transformers como potentes aproximadores de funciones secuencia a secuencia; la interpretabilidad es como sondear las neuronas de un cerebro.
- Réplica: las afirmaciones de que el entrenamiento de siguiente token “fuerza” un modelo del mundo no están demostradas; se mencionan límites teóricos de los algoritmos.
- Los comentaristas señalan que la naturaleza digital de los LLMs hace que el análisis a nivel de neuronas sea mucho más factible que en biología.
IA, trabajo y automatización
- Largo subhilo sobre qué trabajos realmente “hacen funcionar el mundo” y cuán reemplazables son.
- Algunos sostienen que los trabajos de oficina “de mierda” se automatizarán primero; otros enfatizan que el trabajo físico y de servicios esenciales está aún lejos de automatizarse.
Miscelánea
- Breves aclaraciones técnicas sobre los bloques de transformer frente a la arquitectura de todo el modelo.
- Curiosidad por dejar que un LLM se introspeccione mediante ese depurador (“¿por qué respondí así?”).