Microsoft 将这次大规模邮件故障归咎于 7 月修复中引入的软件缺陷
一次全球性的 Microsoft 365 邮件故障被追溯到 7 月份 Windows 更新中引入的锁竞争 Bug,它只在高核心数、高负载的生产条件下才会显现,凸显出测试环境为何常常无法反映真实规模。评论者认为 Microsoft 理应负担得起更接近生产环境的测试以及更稳健的“隔离舱壁”架构,但也指出,要完整模拟来自数亿用户的流量极其困难且代价高昂。这起事件引发了更广泛的担忧:裁员、AI 驱动开发、关键服务集中在少数超大规模云厂商手中,以及如何设计并演练连锁故障的恢复。
测试、规模与并发 Bug
- 根本原因被描述为 Windows 内部某个进程中的锁竞争,导致 CPU 和内存被耗尽,尤其是在高核心数服务器上。
- 测试环境与生产硬件差异很大;一台低配机器通过了测试,而高端机器在真实负载下失败。
- 有人认为,考虑到全面规模测试的成本,这可以理解;也有人说,以 Microsoft 的规模来说,负载测试不去模拟生产硬件是不可原谅的。
- 许多人提到过去在大核数 Windows 机器上出现过类似问题,并认为并发/锁竞争几十年来一直是已知风险类别。
负载削减、黑启动与韧性
- 多条评论将这次故障与电网的“黑启动”场景和“惊群”问题进行比较。
- 建议的最佳实践包括:基于 cell 的架构、预先规划的负载削减、按客户端/会话进行协议感知的限流,以及分阶段爬坡。
- 有人问为什么 Microsoft 不直接丢弃或限流流量(例如基于 IP 段)来恢复容量;也有人指出,内部服务器到服务器的负载以及同步语义使得天真的限流无效。
- 有批评认为,Microsoft 似乎没有为这种全球性服务准备充分演练过的“黑启动”预案。
架构、分区与监控
- 事故后的报告被引用为承认:由于另一个问题,分区之间正常的隔离舱壁机制没有起作用,从而导致了连锁故障。
- 还注意到:一大部分网关容量此前已经因为一个无关的前置问题而不可用,而且监控没有足够早地揭示即将到来的崩溃。
组织因素与测试文化
- 多个评论将这次故障与长期趋势联系起来:取消专门的测试岗位、强调在生产环境中测试,以及最近的自愿离职/裁员。
- 担忧组织知识和 SRE 的“肌肉记忆”正在被侵蚀,使复杂系统更难恢复。
- 关于股东至上与对核心工程投入之间的争论;有人认为削减成本和 AI 热潮正在损害可靠性。
关键基础设施中的 Windows
- 有人对关键网关组件运行在 Windows 而不是 Linux 上感到惊讶;也有人反驳说,Windows Server 和 NT 内核已经成熟,并且历史上一直被大规模使用。
- Microsoft 的 dogfooding 文化以及 Exchange/SharePoint/Teams 的遗留栈被认为是 Windows 仍然处于关键路径中的原因。
供应商集中与风险
- 讨论了“鸡蛋放在一个篮子里”:在技术上有风险,但在社会和政治层面上,IT 经理选择主导供应商更安全,因为一旦出故障,责任会被转移到外部。
- 许多人预期在超大规模云厂商的尺度下会出现这种“正常事故”,也有人担心随着复杂度和自动化增加,这种事故会变得更加频繁。
工程师、AI 与认可
- 有人猜测,AI 生成代码的快速采用加上更少的人手,会增加潜在技术债务和故障。
- 事故响应者在抽象层面受到称赞,但几位参与者表示,在他们自己的组织里,这类英勇表现很少带来真正的奖励,有时甚至会导致更差的绩效评估。