OpenAI – lançamento do depurador de transformer

Lançamento da ferramenta e propósito

• Muitos veem o depurador de transformer como uma ferramenta de “cirurgia neural” para inspecionar e להבין a interna dos transformers.
• Alguns o consideram um passo importante em direção à interpretabilidade, especialmente se transformers forem centrais para a futura AGI.
• Outros são mais cínicos, chamando-o de um “lançamento open source” mínimo para sinalizar abertura e trabalho em segurança.

Status sem fins lucrativos da OpenAI e a ação de Elon

• Vários comentários argumentam que a pressão legal (notavelmente uma ação de grande repercussão) pode estar levando a OpenAI a liberar mais ferramentas.
• O conflito central resumido:
  • Um lado: a OpenAI supostamente passou de uma missão de pesquisa aberta, sem fins lucrativos, para um modelo de fato com fins lucrativos depois de afastar um apoiador inicial por conflito de interesse.
  • Contraponto: empresas podem mudar de rumo; a menos que tenha havido deturpação intencional ou negligente, as alegações de danos são fracas.
• Debate sobre se alguém que vendeu sua participação (mesmo sob pressão) pode depois alegar danos se a entidade mudar de direção.
• Alguns observam que o status 501(c)(3) dos EUA exige servir a propósitos específicos isentos; simplesmente “reinvestir lucros” não é suficiente.

Definições de AGI e papel dos transformers

• Forte discordância sobre se escalar os LLMs atuais baseados em transformers pode levar à AGI.
• Definições concorrentes de “AGI”:
  • Econômica: “melhor do que o humano mediano/médio na maioria das tarefas lucrativas.”
  • Mais forte: melhor do que qualquer humano, ou amplamente em nível humano em todas as tarefas.
• Alguns argumentam que a definição econômica é a que importará para o impacto social, mesmo que a AGI filosófica nunca chegue.
• Outros insistem que transformers sozinhos provavelmente não alcançarão a verdadeira AGI; robótica, incorporação e cognição mais rica são vistos como necessários.

Entendendo transformers

• Um ponto de vista: já “entendemos” transformers matematicamente como poderosos aproximadores de função seq2seq; interpretabilidade é como sondar os neurônios de um cérebro.
• Réplica: afirmações de que o treinamento para prever o próximo token “força” um modelo de mundo não são comprovadas; são levantadas referências a limites teóricos de algoritmos.
• Comentadores observam que a natureza digital dos LLMs torna a análise em nível de neurônio muito mais viável do que na biologia.

IA, trabalho e automação

• Longo subfio sobre quais empregos realmente “mantêm o mundo funcionando” e quão substituíveis eles são.
• Alguns argumentam que os empregos de escritório “bullshit jobs” serão automatizados primeiro; outros enfatizam que o trabalho físico essencial e de सेवा ainda está longe da automação.

Diversos

• Breves esclarecimentos técnicos sobre blocos de transformer versus a arquitetura de modelo completa.
• Curiosidade sobre deixar um LLM fazer introspecção por meio de tal depurador (“por que respondi assim?”).