Show HN: Entrené un modelo de 125M para autocompletar piano en el dispositivo

Artículo original ↗ Discusión en Hacker News ↗

Un pequeño modelo Transformer de 125M parámetros que se ejecuta en iPhones ahora puede autocompletar interpretaciones de piano en vivo en MIDI, generando continuaciones en tiempo real con una latencia lo bastante baja para un uso práctico. Los comentaristas exploran su calidad musical y sus limitaciones —especialmente en ritmo, estructura y acompañamiento— mientras sugieren extensiones como pistas de respaldo a varias voces, un control más rico de atributos musicales y su uso como compañero de jam o plugin. El proyecto también provoca reflexiones más amplias sobre el papel de la IA en la creatividad, desde su potencial para acelerar la exploración musical hasta la preocupación de que estas herramientas puedan diluir el valor de la práctica tradicional y la improvisación.

Recepción general y potencial percibido

  • Muchos comentaristas encontraron la app “mágica”, inspiradora y de una musicalidad inusualmente buena en comparación con otras herramientas de música con IA.
  • Varios planean conectarla a sintes o DAWs para divertirse, idear o actuar en vivo.
  • Algunos lo ven como un gran proyecto “estilo HN”, donde el recorrido de aprendizaje y los detalles de implementación son tan interesantes como el resultado.

Calidad musical y comportamiento

  • Los oyentes señalan una coherencia local decente, pero debilidades en el ritmo, la forma y la estructura a más largo plazo; se sugieren tokens de compás/medida y planificación de más alto nivel.
  • A algunos les resulta inquietante la continuación por IA de piezas conocidas (por ejemplo, Für Elise); otros la encuentran refrescante y creativamente expansiva.
  • Un comentarista compara los resultados desfavorablemente con modelos de Markov y sostiene que una música más convincente necesita canalizaciones o conjuntos de datos con mayor conciencia estructural.
  • Se debate que las relaciones entre alturas pueden importar más que las alturas absolutas, sugiriendo representaciones basadas en intervalos.

Funciones y casos de uso solicitados

  • Fuerte interés en:
    • Acompañamiento en tiempo real (3–4 voces, estilo barroco o jazz) a partir de una melodía o progresión de acordes interpretada.
    • Un “compañero de jam” que reaccione como otro músico.
    • Salida MIDI en lugar de, o además de, audio en el dispositivo, incluyendo para pianos mecánicos.
    • Web MIDI, versiones VST / Max for Live y patrones de batería alternativos.
    • Entrada por micrófono (silbido, piano acústico).

Diseño técnico, datos y rendimiento

  • El modelo tiene ~125M de parámetros y funciona en el dispositivo a altas tasas de notas; la mayor mejora de velocidad vino de una representación más compacta de las नोटas con eventos compuestos.
  • Atributos adicionales de las notas (velocidad, duración, pedal, tempo, cambios de programa) podrían modelarse como campos en eventos NOTE o como eventos CONTROL separados, aunque preocupa la consistencia de los datos.
  • El preentrenamiento usó unos pocos cientos de miles de archivos MIDI (~300M de eventos de nota); DPO usó ~700 ejemplos de preferencia y entrenó rápidamente.
  • Las optimizaciones de inferencia dependen sobre todo de Core ML; mejoras adicionales de velocidad y estrategias de planificación (múltiples continuaciones, selección automática, planificación tipo cadena de pensamiento) están en la hoja de ruta.

Comparaciones con trabajos previos y práctica musical

  • Los comentaristas mencionan sistemas anteriores (Songsmith, Magenta Realtime, Continuator, Anticipatory Music Transformer) y sugieren ideas de destilación y de representación derivadas de ellos.
  • Contexto histórico: la formación clásica a menudo implicaba continuación de patrones tipo “autocompletar” e improvisación de alto nivel a partir de la notación בלבד.

Perspectivas filosóficas y críticas

  • Una línea de discusión se preocupa de que el acompañamiento con IA socave la alegría y la disciplina de aprender armonía, técnica e improvisación.
  • Otros sostienen que herramientas como esta no impiden el estudio serio; son juguetes o ayudas creativas, especialmente ahora que la generación es barata y el “gusto” y la curaduría pasan a ser centrales.
  • Aparecen preocupaciones más amplias sobre una bifurcación cultural entre personas que practican habilidades en profundidad y quienes dependen mucho de la IA, aunque otros desestiman esto como exagerado.