Avanços em aprendizado de máquina para aprendizado de máquina

Artigo original ↗ Discussão no Hacker News ↗

O aprendizado de máquina está sendo cada vez mais usado para otimizar a si mesmo, desde compiladores que ajustam automaticamente grafos de tensores em diferentes backends de hardware até sistemas como o FunSearch, que usam modelos para શોધar algoritmos melhores. Os comentaristas debatem o quão transformadores esses avanços serão: alguns os veem como a próxima fase da industrialização, capaz de remodelar empregos de programação, descoberta de fármacos e materiais e ferramentas de software, enquanto outros argumentam que os modelos atuais como GPT‑4 e Gemini continuam caros, frágeis e limitados por objetivos definidos por humanos e por gargalos do mundo real, como ensaios clínicos. Há amplo consenso de que a otimização orientada por IA aumentará significativamente o throughput e a acessibilidade, mas ceticismo de que ela substituirá rapidamente humanos especialistas ou de que LLMs baseados em transformer possam escalar indefinidamente sem novas arquiteturas.

Futuro da Programação e dos Empregos

  • Muitos esperam que a prática de programação e a maior parte dos empregos de software mudem drasticamente dentro de 2 a 5 anos, com “empregos de IA” tornando-se a norma e os salários em queda.
  • Outros são céticos, citando sistemas legados, setores que se movem lentamente e vendo o ChatGPT como um mecanismo de busca melhor e o Copilot como autocomplete avançado, não como mudanças de paradigma.
  • Há debate sobre se a IA substituirá os programadores ou apenas os ampliará. Alguns observam que não programadores usando IA para codificar já é análogo a não artistas usando modelos de imagem.
  • Uma preocupação recorrente: as pessoas talvez ainda gostem de programar, mas muito menos pessoas serão pagas por isso, de forma semelhante a outros ofícios deslocados pela tecnologia.

Capacidades da IA, Singularidade e Mudança das Metas

  • Alguns veem trabalhos como FunSearch e ML-for-ML como sinais de que uma fase de “singularidade” ou semelhante à AGI pode estar mais próxima do que o esperado.
  • Outros argumentam que a IA ainda falha na tomada de decisões de alto nível, em formular problemas a partir de requisitos vagos e em lidar com organizações humanas desorganizadas.
  • Vários comentários observam que marcos antes tratados como definidores de “IA” (por exemplo, forte capacidade de conversação / Teste de Turing) agora são desconsiderados, e reclamam de “mudança das metas”, enquanto outros argumentam que redefinir objetivos é natural à medida que as capacidades melhoram.

Impacto no Mundo Real: Ciência, Medicina e Materiais

  • Discussão sobre se a IA precisa simular totalmente os humanos para projetar medicamentos seguros; o consenso no fio é que ela provavelmente proporá candidatos, com humanos e testes filtrando-os.
  • Alguns argumentam que a IA já acelera significativamente partes de P&D farmacêutico e de materiais (por exemplo, dobramento de proteínas, estruturas cristalinas), mesmo que os ensaios clínicos continuem sendo o gargalo.
  • Outros permanecem pouco impressionados até que a IA “cure” doenças difíceis de forma visível ou reduza o sofrimento de maneira clara.

Competição de Modelos: GPT‑4, Gemini e Dados

  • GPT‑4 é percebido como consistentemente à frente de outros grandes modelos (Llama, Claude, Gemini etc.).
  • As explicações propostas incluem vantagem de pioneirismo, melhores dados e limpeza de dados, uso intensivo de anotação humana/RLHF e possivelmente “sorte” em hiperparâmetros.
  • O Gemini Pro é visto como mais próximo do GPT‑3.5; o Gemini Ultra (alegado ser da classe do GPT‑4) ainda não estava disponível nesta discussão.
  • Alguns acham que os LLMs baseados em transformer podem estar próximos do pico arquitetural, com ganhos futuros sendo em grande parte incrementais e focados em eficiência.

Compiladores de ML e Previsão de Desempenho

  • “Compiladores de ML” (por exemplo, torch.compile, XLA, JAX, IREE, OpenXLA) buscam otimizar grafos de computação entre hardware (CUDA, AMD, TPUs, CPUs) por meio de representações intermediárias.
  • Promessa de curto prazo: ganhos automáticos de velocidade (por exemplo, ~20–50% em benchmarks do PyTorch 2.0) e portabilidade sem suporte personalizado de fornecedores.
  • Um resumo detalhado observa o trabalho do Google em prever o desempenho em tempo de execução de grandes grafos de tensores em TPUs usando redes neurais de grafos e grandes conjuntos de dados de grafos XLA; atualmente focado em previsão, não em reescrita automática de grafos.
  • Céticos argumentam que compiladores de ML são superestimados: humanos especialistas ainda superam eles em kernels centrais, compiladores podem gerar “lixo eficiente” e ainda não devolvem insights algorítmicos de nível superior.
  • Defensores respondem que este é o mesmo compromisso dos compiladores tradicionais — enorme throughput e desempenho bom o suficiente — e esperam que otimizadores movidos por ML (análogos a motores de xadrez avaliados por redes neurais) ganhem importância.

Acesso, Educação e Sociedade

  • Alguns preveem que a IA reduzirá dramaticamente a barreira para programar, com mais não especialistas construindo software e escolas eventualmente ensinando “como usar modelos” em vez de apenas codificação tradicional.
  • Outros enquadram a IA como outra “corrida do ouro” transformadora, como web, mobile e cloud — superestimada para muitas empresas, mas estruturalmente importante e provavelmente permanente.