एक झूठे धुएँ के अलार्म ने Jane Street के NYC के एकमात्र डेटा सेंटर को लगभग डुबो दिया
Jane Street के न्यूयॉर्क सिटी के एकमात्र data center में एक लगभग-आपदा, जहाँ एक झूठे smoke alarm ने cooling बंद कर दी और ceiling sprinklers के सक्रिय होने का ख़तरा पैदा कर दिया, वित्तीय फ़र्मों के on-premise infrastructure को डिज़ाइन और सुरक्षित रखने के तरीकों पर सवाल उठाता है। टिप्पणीकार water-based fire suppression की तुलना gas और “clean agent” प्रणालियों से करते हैं, और Hurricane Sandy जैसी पिछली घटनाएँ याद करते हैं, जब generators को चालू रखने के लिए स्टाफ़ ने डीज़ल हाथों से ढोया था। कई लोग इन “heroic” बचावों को ख़राब disaster planning, कमज़ोर redundancy, और उन workplace norms के लक्षण मानते हैं जो चुपचाप कर्मचारियों की निकटता और अतिरिक्त करने की इच्छा का शोषण करती हैं.
कार्य-जीवन सीमाएँ और ऑन-कॉल अपेक्षाएँ
- कई टिप्पणीकार बताते हैं कि सिर्फ़ दफ़्तर के पास रहने या असामान्य नींद की आदतों के कारण उन्हें अनौपचारिक रूप से “emergency” या ऑन-कॉल स्टाफ़ मान लिया गया।
- आम सीख: निजी विवरण बहुत ज़्यादा साझा करना (अनिद्रा, अविवाहित होना, वीकेंड की योजनाओं का न होना, पास में रहना) अक्सर बिना वेतन या कम-प्रतिपूर्ति वाले अतिरिक्त काम तक ले जाता है।
- कई लोग “ना” कहने, ज़िम्मेदारियों की स्पष्ट सीमाएँ तय करने, और अगर 24/7 उपलब्धता अपेक्षित हो तो स्पष्ट ऑन-कॉल भुगतान या वेतनवृद्धि माँगने के महत्व पर ज़ोर देते हैं।
- अन्य लोग तर्क देते हैं कि काम पर सामाजिक रूप से “vapid” बन जाना बहुत बड़ी निजी कीमत है; वे सामान्य सहकर्मी-स्तरीय साझा करने के साथ मज़बूत सीमाएँ रखना बेहतर मानते हैं।
डेटा सेंटरों में अग्नि-नियंत्रण और कूलिंग
- कई लोगों को आश्चर्य है कि एक ट्रेडिंग फ़र्म ने स्प्रिंकलर का इस्तेमाल भी किया; “clean agent” गैस प्रणालियाँ (ऐतिहासिक रूप से Halon, अब विकल्प या CO₂ / inert gases) सर्वर रूम के लिए अधिक उपयुक्त मानी जाती हैं।
- टिप्पणीकार सुरक्षा और कोड सीमाओं की ओर इशारा करते हैं: गैस प्रणालियाँ लोगों के लिए ख़तरा बन सकती हैं, ख़ासकर मिश्रित-उपयोग वाले कार्यालय भवनों में, और पुराना Halon अब प्रतिबंधित है, इसलिए नई गैसें या कम-ऑक्सीजन डिज़ाइन इस्तेमाल किए जाते हैं।
- गैस का डिस्चार्ज स्पिनिंग डिस्कों को ध्वनि-दाब के ज़रिए नुकसान पहुँचा सकता है; कम-ऑक्सीजन और inert-gas प्रणालियाँ अपनी अलग परिचालन और मानव-सुरक्षा जटिलताएँ लाती हैं।
- कई लोग सवाल करते हैं कि Jane Street के CRAC units को smoke alarm पर बंद होने के लिए क्यों wired किया गया था; अन्य लोग कहते हैं कि उनके डिज़ाइन जानबूझकर CRACs को चालू रखते हैं ताकि ठीक इसी overheating परिदृश्य से बचा जा सके, और code allowances पर भरोसा करते हैं।
Hurricane Sandy और वास्तविक-विश्व DR विफलताएँ
- थ्रेड में Sandy की पहली-व्यक्ति कहानियाँ बहुत हैं: न्यूयॉर्क के data centers में बाढ़, डीज़ल को हाथ से ले जाना (55-gallon drums बनाम अधिक यथार्थवादी 5-gallon buckets), और कर्मचारियों व volunteers की तात्कालिक “bucket brigades।”
- ऊँची मंज़िलों पर रखे गए generators बाढ़ से बच गए, लेकिन वे basement fuel systems या pumps पर निर्भर थे जो डूब जाने पर फेल हो गए।
- ईंधन की गुणवत्ता (पुराना, दूषित diesel) ने generator fuel filters को तेज़ी से जाम कर दिया; लोग मौके पर ही emergency maintenance सीखने का वर्णन करते हैं।
- servers और storage को इमारतों से शारीरिक रूप से बाहर ले जाने, तात्कालिक backup strategies, और provider couplings तथा missing fittings से जुड़ी दर्दनाक सीखों के किस्से हैं।
जोखिम प्रबंधन, backups, और ‘hero culture’
- इस पर तीखी बहस है कि क्या data center बचाने की ये नाटकीय कोशिशें सराही जानी चाहिए।
- एक पक्ष: ख़राब परिस्थितियों में व्यक्तियों की वीरता प्रशंसनीय है, भले ही management ने विफलता की हो।
- दूसरा पक्ष: ये घटनाएँ मुख्यतः ख़राब planning को उजागर करती हैं; rescue की महिमा गाने वाली कहानियाँ redundancy और backups में कम निवेश को सामान्य बना सकती हैं।
- कुछ लोग तर्क देते हैं कि leadership अक्सर उचित redundancy और off-site backups के बजाय सस्ती वीरता और “pizza and praise” को प्राथमिकता देती है; अन्य लोग कहते हैं कि redundant sites बनाए रखना महँगा है, और बहुत दुर्लभ घटनाओं को लागत के कारण “manual” तरीके से निपटाया जा सकता है।
- कई लोग बताते हैं कि preventive work और साधारण competence को flashy firefighting की तुलना में कम आँका जाता है; Y2K और vaccines से तुलना की जाती है, जिन्हें “invisible” सफलताएँ कहा जाता है।
डेटा सेंटर का स्थान और डिज़ाइन समझौते
- कुछ लोग आश्चर्य करते हैं कि latency-sensitive trading firm ने Manhattan में data center ही क्यों चलाया, जबकि अधिकांश exchanges New Jersey facilities से संचालित होते हैं।
- अन्य लोग नोट करते हैं कि यह एक पुराने दौर की बात थी जब कई फ़र्मों के पास दफ़्तरों में बस “server rooms” होते थे, और हाथों-हाथ काम के लिए निकटता महत्वपूर्ण थी।
- टिप्पणीकार उजागर करते हैं कि skyscraper office संदर्भों में life safety के लिए sprinklers अनिवार्य होते हैं; data-center fire को जलने देने का विकल्प नहीं होता।
विविध तकनीकी और सांस्कृतिक टिप्पणियाँ
- चर्चा EPO (emergency power-off) अपेक्षाओं को छूती है; कई लोग हैरान हैं कि power cords खींचने के बजाय कोई एक shunt-trip या EPO button नहीं था।
- कुछ लोग server sensors के ज़रिए temperature (या यहाँ तक कि over-cooling) की निगरानी करने वाले scripts बनाने की बात करते हैं ताकि HVAC failures को जल्दी पकड़ा जा सके।
- साइड थ्रेड्स wabi-sabi (अपूर्णता को सौंदर्य के रूप में), alarm firmware पर OCaml jokes, और पुराने telephone तथा VAX machine rooms की nostalgia पर चर्चा करते हैं.