一个误报的烟雾警报差点让 Jane Street 在纽约市的唯一数据中心被淹没
Jane Street 位于纽约市的唯一数据中心发生了一起险情:一次误报的烟雾警报关闭了冷却系统,差点触发天花板喷淋,引发了人们对金融公司如何设计和保护本地基础设施的审视。评论者对比了水基消防与气体、“洁净气体”系统,并回忆了飓风桑迪期间的往事:工作人员曾用手搬运柴油,以维持发电机运转。许多人认为这些“英雄式”抢救只是灾备规划不足、冗余薄弱以及工作场所默默利用员工近距离和愿意超额付出的表现。
工作与生活边界以及值班预期
- 几位评论者回忆说,仅仅因为住得离办公室近,或者睡眠习惯不同寻常,就被非正式地指定为“紧急联系人”或值班人员。
- 一个常见教训是:过度透露个人细节(失眠、单身、周末没安排、住得近)往往会带来无偿或补偿不足的额外工作。
- 多个人强调,说“不要”、明确划清职责边界很重要;如果期望 24/7 随时待命,就应要求明确的值班补贴或加薪。
- 也有人认为,在工作中把自己变得社交上“空洞无味”的个人代价太高,他们更愿意保持正常的同事式分享,同时坚持明确边界。
数据中心的消防与冷却
- 很多人惊讶一家交易公司竟然会使用喷淋系统;人们认为“洁净气体”系统(历史上是 Halon,如今是替代品或 CO₂ / 惰性气体)更适合机房。
- 评论者指出安全和规范方面的限制:气体系统可能危及人员,尤其是在混合用途的办公楼里;而旧式 Halon 现已被禁,因此会使用新的气体或低氧设计。
- 气体喷放会通过声压损坏旋转硬盘;低氧和惰性气体系统也会带来各自的运行与人员安全复杂性。
- 有几位人质疑为什么 Jane Street 的 CRAC 机组会接到烟雾警报就自动关闭;另一些人则说,他们的设计刻意让 CRAC 继续运行,以避免恰恰这种过热场景,并依赖规范允许这样做。
飓风桑迪与现实中的灾难恢复失败
- 线程里充满了关于桑迪的第一手故事:纽约数据中心被淹、柴油被手工搬运(55 加仑桶 vs. 更现实的 5 加仑桶),以及员工和志愿者临时组织的“提桶接力队”。
- 放在较高楼层的发电机避开了积水,但它们依赖的地下室燃料系统或泵在被淹时失效了。
- 燃料质量问题(陈旧、受污染的柴油)导致发电机燃油滤芯迅速堵塞;人们描述了在现场临时学习应急维护的经历。
- 还有关于把服务器和存储设备物理搬出大楼、临时拼凑备份策略,以及对供应商耦合和缺失接口的痛苦教训的轶事。
风险管理、备份与“英雄文化”
- 对于这些戏剧性的“拯救数据中心”行动是否应该被歌颂,讨论非常激烈。
- 一方认为:即使管理层失职,在恶劣条件下个体表现出的英雄主义也值得赞赏。
- 另一方认为:这些事件主要暴露的是糟糕的规划;美化救援的故事会使人们把低投入于冗余和备份正常化。
- 有人认为领导层往往更喜欢廉价的英雄行为和“披萨与表扬”,而不是真正的冗余和异地备份;也有人指出,维护冗余站点成本很高,而极罕见事件出于成本考虑可能会被“手动”处理。
- 几位评论者指出,预防性工作和枯燥但可靠的执行常常被低估,而戏剧化的扑火更受关注;有人将此与 Y2K 和疫苗这种“不可见”的成功作类比。
数据中心选址与设计权衡
- 有些人对一家低延迟交易公司竟然把数据中心设在曼哈顿感到惊讶,因为大多数交易所都运行在新泽西的设施里。
- 另一些人指出,那是更早的时代,许多公司只是把“机房”放在办公室里,而便于现场动手操作的接近性很重要。
- 评论者强调,在摩天大楼办公环境中,喷淋是出于生命安全而强制要求的;让数据中心火灾继续烧下去并不是选项。
其他技术与文化备注
- 讨论还涉及 EPO(紧急断电)预期;几位人惊讶居然没有单一的分励脱扣或 EPO 按钮,而是要去拔电源线。
- 有人提到会设计脚本,通过服务器传感器监控温度(甚至过度冷却)来尽早发现 HVAC 故障。
- 旁支讨论包括 wabi-sabi(不完美作为一种审美)、关于警报固件的 OCaml 玩笑,以及对老式电话机房和 VAX 机房的怀旧。