La brecha entre los LLM de pesos abiertos y los LLM de código cerrado
Los modelos de lenguaje grandes de pesos abiertos, muchos de laboratorios chinos, están cerrando rápidamente la brecha de rendimiento con los sistemas propietarios de empresas estadounidenses, especialmente en tareas de programación, al tiempo que siguen siendo mucho más baratos y capaces de ejecutarse localmente. Los comentaristas debaten si estos avances dependen demasiado de la destilación de modelos cerrados, cuánto tiempo seguirán existiendo los lanzamientos abiertos ante los controles de exportación y la presión política, y si “pesos abiertos” realmente debería llamarse código abierto. En el fondo hay una cuestión estratégica: si modelos ligeramente peores pero gratis o de bajo costo son “suficientemente buenos” para la mayoría de los usos, podrían erosionar los modelos de negocio y las ventajas geopolíticas de los incumbentes de IA de EE. UU.
Terminología: “Código abierto” vs “Pesos abiertos”
- Varios comentarios señalan que el artículo confunde código abierto con pesos abiertos; algunos ven esto como una distinción importante (pipeline reproducible, licencia, datos de entrenamiento), mientras que otros lo descartan como una cuestión semántica, ya que a los usuarios principalmente les importan modelos modificables y que puedan ejecutarse localmente.
- Algunos proponen términos neutros como “pesos disponibles”, pero hay escepticismo de que alguien los adopte.
Persistencia, control y regulación
- Se enfatiza mucho que los modelos de pesos abiertos, una vez publicados, son difíciles de “retirar”, a diferencia de los modelos vía API, que pueden descontinuarse o a cuyos usuarios se les puede cerrar la cuenta.
- Contrapunto: los gobiernos aún pueden criminalizar su uso y disuadir a la mayoría mediante aplicación de la ley y sanciones, aunque otros sostienen que esas leyes son difíciles de hacer cumplir de forma significativa (citando piratería, drogas, censura).
- Preocupa que la propaganda sobre modelos abiertos “dañinos” pueda justificar prohibiciones y restricciones a nivel del sistema operativo; otros subrayan la resistencia cívica y las herramientas abiertas como defensas.
Fuentes de modelos abiertos y geopolítica
- Muchos señalan que la mayoría de los modelos fuertes de pesos abiertos ahora provienen de laboratorios chinos.
- Debate sobre si esto es filantropía, marketing, estrategia nacional o alguna mezcla.
- Algunos argumentan que los modelos chinos dependen en gran medida de la destilación de modelos de frontera de EE. UU.; otros señalan investigaciones publicadas y afirman que esta visión de “solo copiar” subestima la innovación y las capacidades de hardware chinas.
- Preocupa que tanto los gobiernos de EE. UU. como de China puedan eventualmente restringir los lanzamientos abiertos una vez que perciban un valor estratégico serio.
Brecha entre modelos abiertos y cerrados
- La programación se ve como el área en la que los pesos abiertos están más cerca; algunos benchmarks muestran brechas pequeñas, y los usuarios informan que los modelos abiertos son “suficientemente buenos” para muchas tareas de software.
- Para dominios como el legal, el biomédico y las aplicaciones de alta seguridad, muchos creen que los modelos cerrados de frontera siguen liderando.
- Varios predicen un retraso estabilizado: los modelos abiertos van por detrás del tiempo necesario para extraer datos de los modelos de frontera y reentrenar.
Economía, sostenibilidad y entrenamiento distribuido
- Entrenar modelos a escala de frontera requiere un capital masivo; preocupa que los lanzamientos abiertos dependan de unos pocos actores privados y puedan cesar.
- Se proponen ideas como: financiación comunitaria, empresas de entrenamiento “fabless” que licencian a proveedores de inferencia, entrenamiento distribuido estilo SETI@home y aprendizaje federado.
- Otros sostienen que limitaciones prácticas (VRAM, ancho de banda, fiabilidad) restringen el entrenamiento distribuido a gran escala, aunque los modelos pequeños o especializados podrían ser viables.