Por qué los costos actuales de los LLM no son sostenibles

Estructura de costos y sostenibilidad

• Muchos argumentan que la economía actual de los LLM de frontera es frágil: los laboratorios pierden decenas de miles de millones mientras cobran tarifas por token que también deben cubrir entrenamiento, infraestructura, personal y marketing.
• La inferencia en sí misma ya podría ser rentable, pero los negocios en conjunto no lo son; hay desacuerdo sobre si esto significa que las suscripciones están “fuertemente subvencionadas” o si simplemente los tokens de las API empresariales llevan márgenes muy altos.
• Algunos piensan que las valoraciones asumen un progreso y una demanda irrealmente suaves hasta 2030; otros señalan que los ingresos por inferencia ya superan el costo de inferencia para al menos un gran laboratorio.

Suscripciones, tokens y patrones de uso

• Varias anécdotas de uso mensual individual equivalente a API por valor de miles de dólares, impulsado por agentes que escanean grandes bases de código, bucles largos y contextos enormes con mala utilización de caché.
• Otros dicen que no pueden alcanzar los límites de suscripción ni siquiera con uso profesional diario, lo que sugiere que el sobreuso suele ser más un problema de orquestación o una “cuestión de habilidad” que una necesidad.
• Hay un fuerte consenso en que la gente sobreusa los modelos de gama alta para tareas triviales porque las suscripciones ocultan el costo الحقيقي.

Nube vs local y futuro del hosting

• Opiniones divididas: algunas grandes empresas insisten en ejecutar los modelos en sus propios centros de datos por seguridad; otras se sienten cómodas externalizándolo a los hyperscalers y los ven como los ganadores de facto.
• Muchos esperan un ecosistema que se parezca al alojamiento web: proveedores de GPU bare metal y plataformas de “LLM” de más alto nivel, con los laboratorios de frontera compitiendo en calidad e integraciones más que en hosting bruto.
• Otros prevén que la mayor parte de la IA será local/en el dispositivo hacia ~2030, erosionando el negocio de los grandes modelos de frontera alojados, salvo para usos nicho de alta gama.

Modelos abiertos y geopolítica

• Los modelos chinos de pesos abiertos (DeepSeek, GLM, Qwen) son ampliamente vistos como drásticamente más baratos y “lo suficientemente buenos” para muchas cargas de trabajo; algunos sugieren que el gasto global podría caer 10× al cambiar a ellos.
• Contrapunto: preocupaciones sobre depender de una “superpotencia hostil” y posibles sanciones de EE. UU. que podrían obligar a los proveedores estadounidenses y aliados a dejar de ofrecer esos modelos, empujando a los usuarios de vuelta a los laboratorios domésticos.

Hardware, optimización y dirección futura

• Cálculos aproximados para alojar grandes modelos en 8×B200 más energía solar dedicada sugieren costos por token nada triviales incluso a escala.
• Muchos creen que los mayores ahorros están en un mejor enrutamiento hacia modelos más pequeños, agentes/harnesses mejorados y especialización de hardware (por ejemplo, “LLM-on-a-chip”), no solo en modelos de frontera más baratos.
• Sigue el debate sobre si las capacidades están llegando a una meseta; algunos ven rendimientos decrecientes, otros dicen que las versiones recientes y los flujos de trabajo agénticos aún muestran un progreso rápido.