Ha comenzado el entrenamiento de un modelo de un billón de parámetros respaldado por Intel y el gobierno de EE. UU.
Un proyecto respaldado por el gobierno de EE. UU. e Intel ha comenzado a entrenar un modelo de IA de un billón de parámetros en la supercomputadora Aurora, con el objetivo de rivalizar o acercarse a sistemas como GPT‑4 y avanzar la investigación científica. Los comentaristas debaten si los modelos cada vez más grandes son el camino correcto frente a nuevas arquitecturas y métodos de entrenamiento, y cuestionan si hay suficientes datos de alta calidad para seguir escalando mucho más. El esfuerzo también plantea preocupaciones sobre el control estatal de una IA poderosa, el posible uso de datos vigilados o clasificados, la apertura del modelo resultante y los riesgos sociales más amplios frente a los beneficios de continuar la escalada de la IA.
Escala del modelo, arquitectura y comparaciones
- Algunos señalan que 1T de parámetros puede situar esto solo en la clase de GPT‑4, no más allá; el tamaño real de GPT‑4 y si es Mixture‑of‑Experts (MoE) siguen sin confirmarse y se debaten.
- Varios apuntan que todos los modelos de 1T+ conocidos actualmente son MoE; si este nuevo modelo es denso o MoE no está claro, pero es crucial para las comparaciones.
- La hipótesis de escalado se menciona ampliamente: hasta ahora, “modelo más grande + más datos + más cómputo” mejora de forma fiable la capacidad, aunque muchos esperan límites eventuales.
- Otros sostienen que las mejoras futuras requerirán cambios arquitectónicos y mejor eficiencia de datos, no solo más parámetros.
Datos, entrenamiento y comparación con humanos
- Debate sobre si nos estamos “quedando sin datos”; algunos afirman que los grandes laboratorios aún pueden encontrar o generar muchos, otros ven límites.
- Estimaciones aproximadas comparan la entrada sensorial humana (cientos de TB–escala PB) con los corpus de entrenamiento de los LLM, sugiriendo que los humanos pueden experimentar una cantidad enormemente mayor de entrada bruta, pero de formas más interactivas y multimodales.
- Varios subrayan que los humanos aprenden mediante interacción activa y retroalimentación con el mundo real, no solo texto; algunos sugieren que la IA futura también deberá actuar en entornos para alcanzar una inteligencia superior.
Supercomputadoras y hardware
- El sistema Aurora de Intel/Argonne se ve como una demostración para las GPU de Intel y el paralelismo masivo.
- Se debate si las arquitecturas tradicionales de supercomputación (p. ej., interconexiones HPC, sesgo hacia FP64) son ideales para el entrenamiento de LLM, frente a grandes clústeres de GPU; las opiniones están divididas.
Beneficios y objetivos científicos
- Muchos se muestran optimistas sobre un modelo específico de dominio, entrenado para ciencia: mejor búsqueda bibliográfica, descubrimiento autónomo y aceleración de la investigación.
- Algunos ven esto como uno de los proyectos públicos de IA más convincentes.
Riesgos, ética y gobernanza
- Fuertes perspectivas de “catastrofismo de la IA” argumentan que la IA es netamente perjudicial, comparándola con las armas químicas y con daños tecnológicos más amplios (clima, plásticos, agricultura industrial).
- Otros responden que la tecnología (incluida la IA) aporta grandes beneficios y que los problemas suelen surgir del mal uso, la economía y la gobernanza, no de la ciencia en sí.
- Debate significativo sobre si los gobiernos o las corporaciones son el mal menor para controlar una IA poderosa, con extensos argumentos históricos sobre atrocidades estatales frente a corporativas.
- Se plantean preocupaciones sobre datos de vigilancia: algunos especulan que agencias de inteligencia podrían entrenar modelos privados potentes con décadas de comunicaciones; esto se señala como alarmante pero no verificado.
Apertura, acceso y seguridad
- Preguntas sobre si los pesos del modelo podrían publicarse o solicitarse mediante FOIA; la mayoría espera clasificación por “seguridad nacional”.
- Tensión entre el deseo de modelos abiertos y el temor a entregar capacidades avanzadas a adversarios.