Por qué los costos actuales de los LLM no son sostenibles
Los grandes modelos de lenguaje basados en la nube podrían ser mucho menos sostenibles económicamente de lo que sugiere su precio actual, con fuertes subsidios que enmascaran los altos costos de inferencia, entrenamiento e infraestructura. Los comentaristas esperan que los precios de los modelos de frontera suban o que el acceso se restrinja, mientras que los modelos abiertos más baratos, el despliegue local en hardware especializado y capas de orquestación más inteligentes que dirijan las tareas simples a modelos más pequeños reduzcan los costos totales. El resultado a largo plazo se ve como una división entre unos pocos sistemas caros y de vanguardia para usos nicho o de alto riesgo y una capa comoditizada de IA “suficientemente buena” de la que dependen la mayoría de usuarios y empresas, lo que plantea dudas sobre la viabilidad de las valoraciones actuales de la IA.
Estructura de costos y sostenibilidad
- Muchos argumentan que la economía actual de los LLM de frontera es frágil: los laboratorios pierden decenas de miles de millones mientras cobran tarifas por token que también deben cubrir entrenamiento, infraestructura, personal y marketing.
- La inferencia en sí misma ya podría ser rentable, pero los negocios en conjunto no lo son; hay desacuerdo sobre si esto significa que las suscripciones están “fuertemente subvencionadas” o si simplemente los tokens de las API empresariales llevan márgenes muy altos.
- Algunos piensan que las valoraciones asumen un progreso y una demanda irrealmente suaves hasta 2030; otros señalan que los ingresos por inferencia ya superan el costo de inferencia para al menos un gran laboratorio.
Suscripciones, tokens y patrones de uso
- Varias anécdotas de uso mensual individual equivalente a API por valor de miles de dólares, impulsado por agentes que escanean grandes bases de código, bucles largos y contextos enormes con mala utilización de caché.
- Otros dicen que no pueden alcanzar los límites de suscripción ni siquiera con uso profesional diario, lo que sugiere que el sobreuso suele ser más un problema de orquestación o una “cuestión de habilidad” que una necesidad.
- Hay un fuerte consenso en que la gente sobreusa los modelos de gama alta para tareas triviales porque las suscripciones ocultan el costo الحقيقي.
Nube vs local y futuro del hosting
- Opiniones divididas: algunas grandes empresas insisten en ejecutar los modelos en sus propios centros de datos por seguridad; otras se sienten cómodas externalizándolo a los hyperscalers y los ven como los ganadores de facto.
- Muchos esperan un ecosistema que se parezca al alojamiento web: proveedores de GPU bare metal y plataformas de “LLM” de más alto nivel, con los laboratorios de frontera compitiendo en calidad e integraciones más que en hosting bruto.
- Otros prevén que la mayor parte de la IA será local/en el dispositivo hacia ~2030, erosionando el negocio de los grandes modelos de frontera alojados, salvo para usos nicho de alta gama.
Modelos abiertos y geopolítica
- Los modelos chinos de pesos abiertos (DeepSeek, GLM, Qwen) son ampliamente vistos como drásticamente más baratos y “lo suficientemente buenos” para muchas cargas de trabajo; algunos sugieren que el gasto global podría caer 10× al cambiar a ellos.
- Contrapunto: preocupaciones sobre depender de una “superpotencia hostil” y posibles sanciones de EE. UU. que podrían obligar a los proveedores estadounidenses y aliados a dejar de ofrecer esos modelos, empujando a los usuarios de vuelta a los laboratorios domésticos.
Hardware, optimización y dirección futura
- Cálculos aproximados para alojar grandes modelos en 8×B200 más energía solar dedicada sugieren costos por token nada triviales incluso a escala.
- Muchos creen que los mayores ahorros están en un mejor enrutamiento hacia modelos más pequeños, agentes/harnesses mejorados y especialización de hardware (por ejemplo, “LLM-on-a-chip”), no solo en modelos de frontera más baratos.
- Sigue el debate sobre si las capacidades están llegando a una meseta; algunos ven rendimientos decrecientes, otros dicen que las versiones recientes y los flujos de trabajo agénticos aún muestran un progreso rápido.