Um alarme falso de fumaça quase afogou o único datacenter da Jane Street em Nova York
Uma quase-catástrofe no único datacenter da Jane Street em Nova York, onde um alarme falso de fumaça desligou a refrigeração e quase acionou os sprinklers do teto, leva a questionamentos sobre como empresas financeiras projetam e protegem infraestrutura local. Comentadores contrastam supressão de incêndio à base de água com sistemas de gás e “clean agent”, e relembram incidentes passados como o Hurricane Sandy, quando funcionários carregaram diesel à mão para manter geradores funcionando. Muitos veem esses resgates “heroicos” como sintomas de mau planejamento de desastre, redundância fraca e normas de trabalho que exploram silenciosamente a proximidade e a disposição dos funcionários de ir além.
Limites entre vida profissional e pessoal e expectativas de plantão
- Vários comentaristas relatam ter sido informalmente designados como funcionários de “emergência” ou de plantão simplesmente porque moravam perto do escritório ou tinham hábitos de sono incomuns.
- Lição comum: revelar demais detalhes pessoais (insônia, ser solteiro, não ter planos para o fim de semana, morar perto) muitas vezes leva a trabalho extra não pago ou mal remunerado.
- Várias pessoas enfatizam a importância de dizer “não”, estabelecer limites claros de responsabilidade e exigir pagamento explícito de plantão ou aumento se for esperada disponibilidade 24/7.
- Outros argumentam que se tornar socialmente “vazio” no trabalho é um custo pessoal alto demais, preferindo uma convivência normal com colegas junto de limites firmes.
Supressão de incêndio e refrigeração em datacenters
- Muitos se surpreendem que uma empresa de trading usasse sprinklers; sistemas de gás “clean agent” (historicamente Halon, hoje substitutos ou CO₂ / gases inertes) são vistos como mais adequados para salas de servidores.
- Comentadores observam restrições de segurança e de normas: sistemas a gás podem colocar pessoas em risco, especialmente em prédios de escritórios de uso misto, e o antigo Halon agora é proibido, então gases mais novos ou projetos de baixo oxigênio são usados.
- A descarga de gás pode danificar discos girando devido à pressão sonora; sistemas de baixo oxigênio e de gás inerte introduzem suas próprias complexidades operacionais e de segurança humana.
- Vários questionam por que as unidades CRAC da Jane Street foram ligadas para desligar com alarme de fumaça; outros dizem que seus projetos mantêm deliberadamente as CRACs funcionando para evitar exatamente esse cenário de superaquecimento, contando com exceções previstas em norma.
Hurricane Sandy e falhas reais de DR
- A thread é rica em relatos em primeira pessoa sobre Sandy: datacenters alagados em Nova York, diesel sendo movido à mão (bombonas de 55 galões vs. baldes de 5 galões mais realistas) e “brigadas de balde” improvisadas de funcionários e voluntários.
- Geradores colocados em andares altos evitaram a inundação, mas dependiam de sistemas de combustível no subsolo ou de bombas que falharam quando submersos.
- A qualidade do combustível (diesel velho, contaminado) causou entupimento rápido dos filtros de combustível dos geradores; pessoas descrevem ter aprendido manutenção de emergência na prática.
- Há anedotas sobre servidores e storage sendo fisicamente retirados dos prédios, estratégias de backup improvisadas e lições dolorosas sobre acoplamentos entre fornecedores e conexões faltantes.
Gestão de risco, backups e “cultura do heroísmo”
- Há um debate forte sobre se esses esforços dramáticos para “salvar o datacenter” deveriam ser celebrados.
- Um lado: o heroísmo de indivíduos em condições ruins é admirável, mesmo que a gestão tenha falhado.
- Outro lado: esses eventos expõem principalmente planejamento ruim; histórias que glorificam o resgate podem normalizar subinvestimento em redundância e backups.
- Alguns argumentam que a liderança muitas vezes prefere heroísmos baratos e “pizza e elogios” em vez de redundância adequada e backups fora do local; outros observam que manter sites redundantes é caro, e eventos muito raros podem ser tratados “manualmente” por razões de custo.
- Vários apontam que o trabalho preventivo e a competência sem glamour são subvalorizados em comparação com o combate a incêndios chamativo; faz-se comparação com Y2K e vacinas como sucessos “invisíveis”.
Escolha do local e trade-offs de design de datacenter
- Alguns se surpreendem que uma empresa de trading sensível à latência operasse um datacenter em Manhattan, dado que a maioria das bolsas opera a partir de instalações em Nova Jersey.
- Outros observam que isso era uma época anterior, quando muitas empresas simplesmente tinham “salas de servidores” nos escritórios, e a proximidade para trabalho presencial era importante.
- Comentadores destacam que, em contextos de escritórios em arranha-céus, sprinklers são exigidos por segurança de vida; deixar um incêndio de datacenter queimar não é uma opção.
Notas técnicas e culturais diversas
- A discussão toca em expectativas de EPO (emergency power-off); vários se surpreendem por não haver um único botão de shunt-trip ou EPO em vez de arrancar cabos de energia.
- Alguns mencionam projetar scripts para monitorar temperatura (ou até super-resfriamento) por meio de sensores dos servidores para detectar falhas de HVAC cedo.
- Tópicos laterais tratam de wabi-sabi (imperfeição como estética), piadas de OCaml sobre firmware de alarmes e nostalgia por antigas salas de telefonia e máquinas VAX.