Investigadores de OpenAI advirtieron a la junta sobre un avance en IA antes de la destitución del CEO
Los informes de que investigadores de OpenAI advirtieron a su junta sobre un sistema de IA innovador llamado “Q*”, supuestamente capaz de resolver matemáticas de nivel escolar y de acercarse a la inteligencia artificial general (AGI), han desatado un intenso escrutinio tanto sobre la afirmación como sobre la gobernanza de OpenAI. Los comentaristas debaten si esas capacidades superan de forma significativa a los modelos de lenguaje grandes actuales o si se están exagerando como ruido publicitario, examinando los límites técnicos en matemáticas, lógica y razonamiento, y especulando con que Q* podría implicar aprendizaje por refuerzo o métodos basados en búsqueda. Detrás de las reacciones hay una tensión más amplia entre las preocupaciones por la seguridad de la IA, el temor a una catástrofe impulsada por la AGI y el escepticismo de que los sistemas actuales estén siquiera cerca de ese umbral frente a ser potentes, pero estrechos, motores de “autocompletado”.
Qué podría ser Q*
- El artículo afirma que OpenAI tiene un proyecto interno, “Q*”, que puede resolver matemáticas de nivel escolar con gran capacidad de cómputo, y que algunos investigadores advirtieron a la junta de que podría ser peligroso.
- Muchos comentarios consideran “matemáticas de nivel escolar” poco impresionante en apariencia, pero señalan que cómo se hace podría importar muchísimo (razonamiento real frente a memorización).
- Varios especulan que Q* se refiere al “Q-learning” de RL, posiblemente combinado con búsqueda (A*/MCTS) y transformers; otros creen que podría ser una capa general de planificación o razonamiento encima de los LLMs.
¿Realmente desencadenó esto el golpe en la junta?
- Una versión de la historia: los investigadores evitaron a Sam Altman, enviaron a la junta una carta de advertencia de que Q* estaba cerca de la AGI, la junta entró en pánico y lo despidió por “falta de franqueza”.
- Otra: esto está exagerado o es marketing; la junta pensaba principalmente que Altman no era confiable, o la gobernanza era el problema central.
- Informes posteriores citados en el hilo dicen que una fuente negó que una carta así impulsara el despido, mientras que las fuentes de Reuters afirman que sí existió. Los comentaristas señalan que esto sigue sin resolverse.
Matemáticas, lógica y límites de los LLMs
- Hilos largos muestran que GPT-4 y otros logran resolver algunos acertijos de lógica y matemáticas, pero a menudo fallan con cambios sutiles, preguntas trampa o formulaciones nuevas.
- Los participantes distinguen entre:
- Aritmética básica frente a razonamiento matemático más profundo.
- Coincidencia de patrones en problemas conocidos frente a verdadera generalización.
- Respuestas en un solo intento frente a razonamiento en varios pasos con retroceso y comprobación.
- Varios señalan que los LLMs mejoran notablemente cuando se les permite chain-of-thought, herramientas (Python, demostradores de teoremas) o múltiples ejecuciones.
Qué significa “AGI” y si estamos cerca
- Las definiciones varían: la propia de OpenAI es “sistemas que superan a los humanos en la mayor parte del trabajo económicamente valioso”; otros enfatizan la auto-mejora recursiva o el descubrimiento de nueva física/matemáticas.
- Algunos argumentan que GPT-4 ya es una “inteligencia general” en la práctica; otros dicen que sigue fallando en tareas que muchos niños encuentran fáciles y no puede manejar de forma fiable razonamiento con pasos ocultos.
- Un tema recurrente: la gente mueve los postes de la AGI a medida que mejoran las capacidades.
Riesgo, exageración y gobernanza
- Algunos ven cualquier nuevo algoritmo de razonamiento robusto como algo que podría acelerar una IA auto-mejorable y, por tanto, como un problema serio de seguridad; otros consideran que las narrativas actuales de catástrofe por AGI son “religiosas” o marketing.
- Existe un fuerte escepticismo hacia las afirmaciones de AGI basadas en fuentes anónimas y hacia el marco apocalíptico de OpenAI, pero también se reconoce que una mejor planificación a largo plazo y una “persuasión sobrehumana” podrían desestabilizar socialmente.
- Muchos critican la estructura de gobernanza de OpenAI: se veía insostenible que una pequeña junta sin fines de lucro pudiera “hacer volar por los aires” una empresa de 80.000 millones de dólares por preocupaciones de seguridad mal explicadas.