Treinamento de um modelo de um trilhão de parâmetros apoiado pela Intel e pelo governo dos EUA começou
Um projeto apoiado pelo governo dos EUA, com a Intel, começou a treinar um modelo de IA com um trilhão de parâmetros no supercomputador Aurora, com o objetivo de rivalizar ou se aproximar de sistemas como o GPT‑4 e avançar a pesquisa científica. Os comentaristas debatem se modelos cada vez maiores são o caminho certo em comparação com novas arquiteturas e métodos de treinamento, e questionam se há dados de alta qualidade suficientes para continuar a escalada. O esforço também levanta preocupações sobre controle estatal de IA poderosa, possível uso de dados vigiados ou classificados, abertura do modelo resultante e riscos sociais mais amplos versus os benefícios de continuar a escalada da IA.
Escala do modelo, arquitetura e comparações
- Alguns observam que 1T de parâmetros pode apenas colocar isto na classe do GPT‑4, não além dela; o tamanho الحقيقي do GPT‑4 e se ele é Mixture‑of‑Experts (MoE) permanecem não confirmados e debatidos.
- Vários apontam que todos os modelos 1T+ atualmente conhecidos são MoE; se este novo é denso ou MoE não está claro, mas isso é crucial para comparações.
- A hipótese de escalonamento é amplamente referenciada: até agora, “modelo maior + mais dados + mais computação” melhora de forma confiável a capacidade, embora muitos esperem limites eventuais.
- Outros argumentam que ganhos futuros exigirão mudanças arquitetônicas e melhor eficiência de dados, não apenas mais parâmetros.
Dados, treinamento e comparação com humanos
- Debate sobre se estamos “ficando sem dados”; alguns afirmam que grandes laboratórios ainda conseguem encontrar ou gerar bastante, outros veem limites.
- Estimativas de verso do envelope comparam a entrada sensorial humana (na escala de centenas de TB–PB) aos corpora de treinamento de LLMs, sugerindo que humanos podem experimentar um volume bruto muito maior, mas de formas mais interativas e multimodais.
- Vários enfatizam que humanos aprendem por meio de interação ativa e feedback com o mundo real, não apenas texto; alguns sugerem que a IA futura precisará agir de forma semelhante em ambientes para alcançar maior inteligência.
Supercomputadores e hardware
- O sistema Aurora da Intel/Argonne é visto como uma vitrine para as GPUs da Intel e para o paralelismo em massa.
- Há discussão sobre se arquiteturas tradicionais de supercomputadores (por exemplo, interconexões HPC, viés para FP64) são ideais para treinamento de LLMs, em comparação com grandes clusters de GPUs; as opiniões são mistas.
Benefícios e objetivos científicos
- Muitos estão otimistas com um modelo específico para um domínio, treinado em ciência: melhor busca na literatura, descoberta autônoma e aceleração da pesquisa.
- Alguns veem isso como um dos projetos públicos de IA mais atraentes.
Riscos, ética e governança
- Perspectivas fortes de “AI doomer” argumentam que a IA é prejudicial no saldo líquido, comparando-a a armas químicas e a danos tecnológicos mais amplos (clima, plásticos, agricultura industrial).
- Outros contrapõem que a tecnologia (incluindo IA) traz grandes benefícios e que os problemas normalmente decorrem de uso indevido, economia e governança, não da ciência em si.
- Há debate significativo sobre se governos ou corporações são o mal menor para controlar IA poderosa, com extensos argumentos históricos sobre atrocidades estatais vs corporativas.
- Preocupações levantadas sobre dados de vigilância: alguns especulam que agências de inteligência poderiam treinar modelos privados e poderosos com décadas de comunicações; isso é apontado como alarmante, mas não verificado.
Abertura, acesso e segurança
- Dúvidas sobre se os pesos do modelo poderiam ser divulgados ou obtidos via FOIA; a maioria espera classificação por “segurança nacional”.
- Tensão entre o desejo por modelos abertos e o receio de entregar capacidades avançadas a adversários.