Revolut se traslada a GLM autoalojado
Una gran fintech ha trasladado gran parte de su carga de trabajo de IA desde OpenAI y Anthropic a un modelo GLM autoalojado que corre sobre hardware Nvidia alquilado, reduciendo supuestamente los costes por token en alrededor de un 90% mientras levantaba los límites internos de uso de tokens. Los comentaristas debaten si la diferencia de calidad entre los modelos de pesos abiertos y los modelos de “frontera” sigue importando para la mayoría de las tareas de coding y back office, dadas las presiones regulatorias, las preocupaciones de soberanía de datos y la economía de grandes clústeres de GPU frente a la tarificación por API. El hilo también pone de relieve una tendencia más amplia: empresas experimentando con LLMs on-prem o en nube dedicada, aunque persisten dudas sobre la depreciación del hardware, los fosos de los proveedores y cómo la IA ubicua reconfigurará los trabajos de ingeniería de software.
Economía de costes e infraestructura
- Revolut informa de unos ~$0.30 por millón de tokens en GLM autoalojado (a través de 56× B200 alquiladas), alrededor de 1/10 del gasto previo en Anthropic/OpenAI.
- Estimaciones aproximadas de la comunidad: 56 B200 podrían costar $2.5–3M para comprar, o $250–300k/mes para alquilar a precios públicos de GPU en la nube, lo que sugiere que el cambio merece la pena con uso elevado.
- Debate sobre comprar frente a alquilar: muchos dicen que alquilar metal (de la nube o de proveedores especializados) es más realista para la mayoría; el hardware es difícil de conseguir y se deprecia rápidamente con cada generación de Nvidia.
- Algunos esperan que los laboratorios de frontera respondan con planes empresariales agresivos (p. ej., precios fijos por ingeniero) para preservar márgenes y relevancia.
Calidad del modelo: abierto vs frontera
- Muchos afirman que GLM 5.3 y modelos abiertos similares son “lo bastante buenos” para la mayoría de tareas de coding/SE, especialmente con buenos prompts y harnesses.
- Otros insisten en que los modelos de frontera (Claude, GPT, etc.) siguen ofreciendo razonamiento, autonomía y navegación de código claramente superiores, sobre todo en repos complejos; volver a ellos se siente como una mejora de “noche y día”.
- Consenso: la brecha de calidad es real pero se está reduciendo; para muchas cargas de trabajo empresariales, ahora importan más el precio y el control que la calidad máxima absoluta.
Privacidad de datos, cumplimiento y “retención cero de datos”
- Para un banco, mantener los flujos de trabajo dentro de una infraestructura controlada (o al menos de un proveedor de GPU de confianza) se considera crucial por razones regulatorias y de soberanía de datos.
- Varios sostienen que las promesas de “retención cero de datos” de los proveedores SaaS de LLM son solo “promesas de meñique” contractuales con excepciones legales y sin verificabilidad.
- Jerarquía sugerida: hardware propio > proveedores de confidential computing > proveedores genéricos de API. Otros contraargumentan que las auditorías y el derecho contractual son suficientes para muchas organizaciones.
Experiencias de autoalojamiento y tooling
- Varios comentaristas informan de éxito con modelos abiertos on-prem o locales (Qwen, Gemma, GLM, etc.), a menudo en hardware modesto, eliminando las preocupaciones de confianza en los datos.
- Énfasis en el harness: el registro, las herramientas, las APIs estandarizadas y los archivos de lecciones importan tanto como el modelo base. Algunos comparten configuraciones que extraen conversaciones previas en “lecciones” inyectadas en contextos futuros.
- Unos pocos señalan errores a nivel de motor (p. ej., problemas de corrección en vLLM + GLM) y se preguntan por la pila específica de Revolut.
Productividad de desarrolladores y racionamiento de tokens
- Una ganancia clave reportada: eliminar el racionamiento de tokens. Una vez que los tokens pasaron a ser efectivamente de “tarifa plana”, el uso se disparó y la productividad (y la exploración) aumentó.
- Vista contrapuesta: en algunas empresas, con tokens ilimitados, esto llevó a una “ilusión de productividad” y a mucho contenido basura generado por IA.
- Varios describen que los modelos abiertos siguen mejor las instrucciones cuando los prompts son precisos, y que la ambigüedad (“arregla todos los problemas”) produce peores resultados.
Mercado laboral y habilidades
- Preocupación fuerte de que el trabajo de dev junior ahora es en gran medida automatizable; algunos equipos mantienen a juniors sobre todo para aprender, con seniors revisando el código asistido por IA.
- Los seniors son ampliamente percibidos como los principales beneficiarios de la IA, volviéndose mucho más productivos; los juniors se enfrentan a dificultades de contratación y se les urge a aprender proactivamente flujos de trabajo con IA.
- Debate sobre si los empleados deberían invertir tiempo/dinero personales en herramientas de IA frente a que las empresas proporcionen suscripciones, y sobre cuestiones más amplias de seguridad laboral, equilibrio vida-trabajo e impacto social.