Microsoft culpa de la monstruosa caída del correo electrónico a un defecto de software introducido en la corrección de julio
Una caída global del correo de Microsoft 365 se atribuye a un bug de contención de bloqueos introducido en una actualización de Windows de julio que solo se manifestó bajo condiciones de producción de alto número de núcleos y gran carga, lo que pone de relieve cómo los entornos de prueba pueden no reflejar la escala real. Los comentaristas argumentan que Microsoft debería poder permitirse pruebas similares a producción y arquitecturas de “bulkhead” más robustas, pero señalan que simular por completo el tráfico de cientos de millones de usuarios es extremadamente difícil y costoso. El incidente alimenta preocupaciones más amplias sobre despidos, el desarrollo impulsado por IA y la concentración de servicios críticos en unos pocos hyperscalers, así como sobre cómo diseñar y ensayar la recuperación ante fallos en cascada.
Pruebas, escala y el bug de concurrencia
- La causa raíz se describe como contención de bloqueos en un proceso interno de Windows que agotó CPU y memoria, especialmente en servidores con muchos núcleos.
- El entorno de pruebas difería significativamente del hardware de producción; una máquina de menor especificación superó las pruebas mientras que equipos de gama alta fallaron bajo carga real.
- Algunos ven esto como un intercambio razonable dado el coste de las pruebas a escala completa; otros dicen que, a la escala de Microsoft, no reproducir el hardware de producción para pruebas de carga es inexcusable.
- Se señala que problemas similares ya ocurrieron antes en máquinas Windows con muchos núcleos, y se argumenta que la concurrencia/la contención de bloqueos ha sido una clase de riesgo conocida durante décadas.
Reducción de carga, arranque en negro y resiliencia
- Varios comentarios comparan la caída con escenarios de “black start” de la red eléctrica y problemas de “thundering herd”.
- Buenas prácticas sugeridas: arquitecturas basadas en celdas, reducción de carga preplanificada, control según protocolo por cliente/sesión y aumento gradual escalonado.
- Algunos preguntan por qué Microsoft no simplemente descartó o limitó el tráfico (por ejemplo, basado en rangos de IP) para recuperar capacidad; otros señalan que la carga interna entre servidores y la semántica de sincronización hacen que el throttling ingenuo sea ineficaz.
- Se critica que Microsoft pareciera carecer de un plan de “black start” bien ensayado para un servicio global así.
Arquitectura, particionado y monitoreo
- En el informe posterior al incidente se cita que admite que los bulkheads normales entre particiones no funcionaron debido a otro problema, permitiendo un fallo en cascada.
- También se señala que una parte significativa de la capacidad de los gateways ya estaba fuera de servicio por un problema previo no relacionado, y que el monitoreo no reveló lo suficiente pronto el colapso inminente.
Factores organizativos y cultura de pruebas
- Varios vinculan la caída con tendencias de largo plazo: eliminación de roles dedicados a pruebas, énfasis en probar en producción y salidas voluntarias/despidos recientes.
- Preocupa que el conocimiento organizativo y la memoria muscular de SRE se estén erosionando, haciendo más difícil recuperar sistemas complejos.
- Debate sobre la primacía del accionista frente a la inversión en ingeniería básica; algunos sostienen que los recortes de costes y el entusiasmo por la IA están socavando la fiabilidad.
Windows en infraestructura crítica
- A algunos les sorprende que componentes críticos de gateway funcionaran sobre Windows en lugar de Linux; otros responden que Windows Server y el kernel NT son maduros y se han usado históricamente a gran escala.
- La cultura de dogfooding de Microsoft y las pilas heredadas de Exchange/SharePoint/Teams se citan como razones de que Windows siga en el recorrido.
Concentración de proveedores y riesgo
- Se debate sobre “poner todos los huevos en la misma cesta”: técnicamente arriesgado, pero social y políticamente más seguro para los responsables de TI elegir al proveedor dominante para que la culpa se desplace hacia fuera cuando ocurren caídas.
- Muchos esperan este tipo de “accidentes normales” a escala de hyperscaler, y algunos temen que se vuelvan más frecuentes a medida que crecen la complejidad y la automatización.
Ingenieros, IA y reconocimiento
- Algunos especulan que la adopción rápida de código generado por IA junto con menos personas aumentará la deuda técnica latente y las caídas.
- En abstracto se elogia a quienes responden a incidentes, pero varios participantes cuentan que en sus propias organizaciones esas heroicidades rara vez se traducen en recompensas reales, y a veces incluso en evaluaciones de desempeño peores.