La brecha entre los LLM de pesos abiertos y los LLM de código cerrado

Terminología: “Código abierto” vs “Pesos abiertos”

• Varios comentarios señalan que el artículo confunde código abierto con pesos abiertos; algunos ven esto como una distinción importante (pipeline reproducible, licencia, datos de entrenamiento), mientras que otros lo descartan como una cuestión semántica, ya que a los usuarios principalmente les importan modelos modificables y que puedan ejecutarse localmente.
• Algunos proponen términos neutros como “pesos disponibles”, pero hay escepticismo de que alguien los adopte.

Persistencia, control y regulación

• Se enfatiza mucho que los modelos de pesos abiertos, una vez publicados, son difíciles de “retirar”, a diferencia de los modelos vía API, que pueden descontinuarse o a cuyos usuarios se les puede cerrar la cuenta.
• Contrapunto: los gobiernos aún pueden criminalizar su uso y disuadir a la mayoría mediante aplicación de la ley y sanciones, aunque otros sostienen que esas leyes son difíciles de hacer cumplir de forma significativa (citando piratería, drogas, censura).
• Preocupa que la propaganda sobre modelos abiertos “dañinos” pueda justificar prohibiciones y restricciones a nivel del sistema operativo; otros subrayan la resistencia cívica y las herramientas abiertas como defensas.

Fuentes de modelos abiertos y geopolítica

• Muchos señalan que la mayoría de los modelos fuertes de pesos abiertos ahora provienen de laboratorios chinos.
• Debate sobre si esto es filantropía, marketing, estrategia nacional o alguna mezcla.
• Algunos argumentan que los modelos chinos dependen en gran medida de la destilación de modelos de frontera de EE. UU.; otros señalan investigaciones publicadas y afirman que esta visión de “solo copiar” subestima la innovación y las capacidades de hardware chinas.
• Preocupa que tanto los gobiernos de EE. UU. como de China puedan eventualmente restringir los lanzamientos abiertos una vez que perciban un valor estratégico serio.

Brecha entre modelos abiertos y cerrados

• La programación se ve como el área en la que los pesos abiertos están más cerca; algunos benchmarks muestran brechas pequeñas, y los usuarios informan que los modelos abiertos son “suficientemente buenos” para muchas tareas de software.
• Para dominios como el legal, el biomédico y las aplicaciones de alta seguridad, muchos creen que los modelos cerrados de frontera siguen liderando.
• Varios predicen un retraso estabilizado: los modelos abiertos van por detrás del tiempo necesario para extraer datos de los modelos de frontera y reentrenar.

Economía, sostenibilidad y entrenamiento distribuido

• Entrenar modelos a escala de frontera requiere un capital masivo; preocupa que los lanzamientos abiertos dependan de unos pocos actores privados y puedan cesar.
• Se proponen ideas como: financiación comunitaria, empresas de entrenamiento “fabless” que licencian a proveedores de inferencia, entrenamiento distribuido estilo SETI@home y aprendizaje federado.
• Otros sostienen que limitaciones prácticas (VRAM, ancho de banda, fiabilidad) restringen el entrenamiento distribuido a gran escala, aunque los modelos pequeños o especializados podrían ser viables.