Show HN: Treinei um modelo de 125M para completar piano automaticamente no dispositivo

Artigo original ↗ Discussão no Hacker News ↗

Um pequeno modelo Transformer de 125M parâmetros, rodando em iPhones, agora pode completar automaticamente performances de piano ao vivo em MIDI, gerando continuações em tempo real com latência baixa o suficiente para uso prático. Os comentaristas exploram sua qualidade musical e limitações — especialmente em ritmo, estrutura e acompanhamento — enquanto sugerem extensões como faixas de apoio com múltiplas vozes, controle mais rico sobre atributos musicais e uso como parceiro de jam ou plugin. O projeto também provoca reflexões mais amplas sobre o papel da IA na criatividade, desde seu potencial para acelerar a exploração musical até preocupações de que essas ferramentas possam diluir o valor da prática e da improvisação tradicionais.

Recepção geral e potencial percebido

  • Muitos comentaristas acharam o app “mágico”, inspirador e incomumente musical em comparação com outras ferramentas de música com IA.
  • Vários planejam conectá-lo a synths ou DAWs por diversão, ideação ou performance ao vivo.
  • Alguns veem isso como um ótimo projeto “no estilo HN”, em que a jornada de aprendizado e os detalhes de implementação são tão interessantes quanto o resultado entregue.

Qualidade musical e comportamento

  • Ouvintes observam coerência local razoável, mas fraquezas em ritmo, forma e estrutura de longo prazo; as sugestões incluem tokens de compasso/medida e planejamento de nível mais alto.
  • Alguns acham a continuação por IA de peças conhecidas (por exemplo, Für Elise) desconcertante; outros a consideram revigorante e criativamente expansiva.
  • Um comentarista compara os resultados desfavoravelmente a modelos de Markov e argumenta que música mais convincente precisa de pipelines ou conjuntos de dados mais conscientes da estrutura.
  • Há discussão de que as relações entre as alturas podem importar mais do que as alturas absolutas, sugerindo representações baseadas em intervalos.

Recursos e casos de uso solicitados

  • Forte interesse em:
    • Acompanhamento em tempo real (3–4 vozes, estilo barroco ou jazz) a partir de uma melodia tocada ou progressão de acordes.
    • Um “parceiro de jam” que reaja como outro músico.
    • Saída MIDI em vez de (ou além de) áudio no dispositivo, inclusive para pianos mecânicos.
    • Web MIDI, versões VST / Max for Live e padrões alternativos de bateria.
    • Entrada por microfone (assobio, piano acústico).

Design técnico, dados e desempenho

  • O modelo tem cerca de 125M de parâmetros e roda no dispositivo com altas taxas de notas; o maior ganho de velocidade veio de uma representação mais compacta das notas com eventos compostos.
  • Atributos adicionais de notas (velocity, duração, pedal, tempo, mudanças de programa) poderiam ser modelados como campos em eventos NOTE ou como eventos CONTROL separados, embora a consistência dos dados seja uma preocupação.
  • O pré-treinamento usou algumas centenas de milhares de arquivos MIDI (~300M eventos de notas); o DPO usou ~700 exemplos de preferência e treinou rapidamente.
  • As otimizações de inferência dependem principalmente do Core ML; melhorias adicionais de velocidade e estratégias de planejamento (múltiplas continuações, seleção automática, planejamento semelhante a chain-of-thought) estão no roadmap.

Comparações com trabalhos anteriores e prática musical

  • Comentários mencionam sistemas anteriores (Songsmith, Magenta Realtime, Continuator, Anticipatory Music Transformer) e sugerem ideias de distilação e representação vindas deles.
  • Contexto histórico: o treinamento clássico muitas vezes envolvia continuidade de padrões no estilo “autocomplete” e improvisação de alto nível apenas a partir da notação.

Perspectivas filosóficas e críticas

  • Uma linha de discussão teme que o acompanhamento por IA prejudique a alegria e a disciplina de aprender harmonia, técnica e improvisação.
  • Outros argumentam que ferramentas assim não impedem o estudo sério; são brinquedos ou auxiliares criativos, especialmente agora que a geração é barata e “gosto” e curadoria se tornam centrais.
  • Surgem preocupações mais amplas sobre uma bifurcação cultural entre pessoas que praticam profundamente habilidades e aquelas que dependem fortemente de IA, embora outros considerem isso exagerado.