Tokens demasiado baratos para medir
Las afirmaciones de que los “tokens” de IA pronto serán tan baratos que prácticamente no se podrán medir provocan un intenso debate sobre cuán rápido pueden realmente caer los costos de inferencia y si las limitaciones de hardware y energía frenarán esa trayectoria. Los comentaristas sopesan la posibilidad de que modelos de nivel de frontera funcionen localmente en dispositivos de consumo frente a las preocupaciones sobre el suministro de RAM y GPU, el sobredimensionamiento de centros de datos y el impacto ambiental. Muchos coinciden en que la inferencia probablemente se convertirá en un servicio de bajo margen y mercancía, pero cuestionan si las enormes inversiones de capital actuales en modelos e infraestructura podrán justificarse alguna vez con beneficios futuros.
Hardware, LLM locales y memoria
- Debate sobre si los modelos de calidad de frontera se ejecutarán localmente en hardware de consumo dentro de 3–6 años.
- Algunos sostienen que las tendencias históricas en cómputo/RAM por dólar siguen siendo aproximadamente exponenciales y que los precios “se desploman” en ciclos de sierra cuando la capacidad supera la demanda.
- Otros señalan las restricciones actuales de suministro, la lenta expansión de las fábricas y dudan de una normalización de los precios de la RAM/GPU antes de 2030.
- Varios ven los ASIC y la destilación de modelos (además de técnicas como cuantización, MoE y speculative decoding) como clave para hacer viable la inferencia local y barata.
Centros de datos, demanda y posible burbuja
- Un bando ve la actual expansión de centros de datos como una burbuja: las mejoras de eficiencia y de los modelos podrían superar la demanda, dejando capacidad varada.
- Otros invocan la paradoja de Jevons y una demanda casi infinita de “inteligencia”, argumentando que unos tokens más baratos impulsarán más uso, no menos.
- Algunos subrayan que Jevons no es una ley; las sobredimensiones en otras industrias muestran que la oferta puede superar una demanda económicamente significativa.
Economía, rentabilidad y modelos de negocio
- Gran desacuerdo sobre si la inferencia ya es una “vaca lechera”.
- Los críticos señalan que los laboratorios tienen un flujo de caja libre profundamente negativo, dependen de EBITDA ajustado y afrontan un capex implacable para mantenerse en SOTA.
- Hay preocupación de que los precios actuales estén subsidiados y no reflejen los costos completos (entrenamiento, hardware, deuda).
- Otros replican que los proveedores de solo inferencia sobre modelos de pesos abiertos parecen rentables, y que alquilar cómputo/inferencia terminará siendo un negocio de bajo margen y mercancía, similar a la nube.
- Surge la pregunta: ¿puede alguna empresa recuperar inversiones a escala de billones, o capturarán las ganancias de la inferencia de mercancía los entrantes posteriores, más livianos?
Costos de tokens vs herramientas (grep, compiladores, etc.)
- El hilo cuestiona la afirmación del artículo de que las llamadas a LLM pronto serán más baratas que herramientas simples como
grep. - Muchos ven una brecha de costo de 4–5 órdenes de magnitud como enorme y probablemente persistente; lo más plausible es una aproximación asintótica, no una cruce.
- Algunos argumentan que los LLM pueden ser más baratos para tareas aproximadas y de mayor nivel, o cuando el costo de atención/UX domina, pero las herramientas deterministas básicas siguen siendo más baratas por operación.
Energía y medio ambiente
- Preocupación de que el cómputo de IA a gran escala pueda ser ambientalmente “malo hasta desastroso”.
- Otros responden que existe una fuerte presión económica para reducir la energía por token; los ASIC, la destilación y la incorporación de modelos en dispositivos podrían reducir drásticamente el consumo energético.
Analogías históricas y hype
- Comparación frecuente con las promesas nucleares de “demasiado barato para medir” y la era puntocom: tecnología útil, pero el gasto de capital y las valoraciones actuales pueden ser insostenibles.
- Sentimiento mixto: optimismo sobre la ubicuidad de la IA a largo plazo frente al escepticismo sobre las proyecciones a corto plazo, los gráficos y los ciclos de hype.