Una falsa alarma de humo casi inundó el único centro de datos de Jane Street en Nueva York
Una casi catástrofe en el único centro de datos de Jane Street en Nueva York, donde una falsa alarma de humo apagó la refrigeración y casi activa los rociadores del techo, provoca escrutinio sobre cómo las firmas financieras diseñan y protegen su infraestructura local. Los comentaristas contrastan la supresión de incendios a base de agua con sistemas de gas y de “agente limpio”, y recuerdan incidentes pasados como el huracán Sandy, cuando el personal llevó diésel a mano para mantener los generadores en marcha. Muchos ven estos rescates “heroicos” como síntomas de mala planificación ante desastres, redundancia débil y normas laborales que explotan discretamente la proximidad y la disposición de los empleados a ir más allá.
Límites entre trabajo y vida personal, y expectativas de guardia
- Varios comentaristas cuentan que fueron designados informalmente como personal de “emergencia” o de guardia simplemente porque vivían cerca de la oficina o tenían hábitos de sueño poco comunes.
- Lección común: compartir de más detalles personales (insomnio, estar soltero, no tener planes de fin de semana, vivir cerca) a menudo lleva a trabajo extra no pagado o mal compensado.
- Varias personas subrayan la importancia de decir “no”, establecer límites claros de responsabilidad y exigir pago explícito por guardias o aumentos si se espera disponibilidad 24/7.
- Otros sostienen que volverse socialmente “vacuo” en el trabajo tiene un costo personal demasiado alto, y prefieren compartir con normalidad entre colegas junto con límites firmes.
Supresión de incendios y refrigeración en centros de datos
- Muchos se sorprenden de que una firma de trading usara rociadores; los sistemas de gas de “agente limpio” (históricamente Halon, ahora sustitutos o CO₂ / gases inertes) se consideran más apropiados para salas de servidores.
- Los comentaristas señalan restricciones de seguridad y de código: los sistemas de gas pueden poner en peligro a las personas, especialmente en edificios de oficinas de uso mixto, y el Halon antiguo ahora está prohibido, así que se usan gases más nuevos o diseños de bajo oxígeno.
- La descarga de gas puede dañar discos en rotación por la presión sonora; los sistemas de bajo oxígeno y de gas inerte introducen sus propias complejidades operativas y de seguridad humana.
- Varios cuestionan por qué las unidades CRAC de Jane Street estaban cableadas para apagarse con una alarma de humo; otros dicen que sus diseños las mantienen deliberadamente funcionando para evitar exactamente este escenario de sobrecalentamiento, apoyándose en excepciones del código.
El huracán Sandy y fallos reales de recuperación ante desastres
- El hilo está lleno de historias de primera mano sobre Sandy: centros de datos inundados en Nueva York, diésel movido a mano (barriles de 55 galones frente a cubos más realistas de 5 galones) y “brigadas de cubos” improvisadas de personal y voluntarios.
- Los generadores colocados en pisos altos evitaron la inundación, pero dependían de sistemas de combustible en el sótano o de bombas que fallaron al quedar sumergidas.
- La calidad del combustible (diésel viejo y contaminado) provocó una obstrucción rápida de los filtros de combustible de los generadores; la gente describe haber aprendido mantenimiento de emergencia sobre la marcha.
- Hay anécdotas de servidores y almacenamiento sacados físicamente de los edificios, estrategias de respaldo improvisadas y lecciones dolorosas sobre dependencias de proveedores y piezas faltantes.
Gestión del riesgo, copias de seguridad y “cultura de héroes”
- Hay un fuerte debate sobre si estos dramáticos esfuerzos para “salvar el centro de datos” deberían celebrarse.
- Un lado: el heroísmo de individuos en malas condiciones es admirable, aunque la dirección haya fallado.
- El otro lado: estos episodios sobre todo revelan mala planificación; las historias que glorifican el rescate pueden normalizar la infrainversión en redundancia y copias de seguridad.
- Algunos argumentan que el liderazgo suele preferir heroicidades baratas y “pizza y elogios” en lugar de redundancia adecuada y copias de seguridad fuera del sitio; otros señalan que mantener sitios redundantes es caro, y que eventos muy raros pueden manejarse “manualmente” por razones de costo.
- Varios destacan que el trabajo preventivo y la competencia aburrida están infravalorados frente a la extinción de incendios vistosa; se compara con Y2K y las vacunas como éxitos “invisibles”.
Ubicación y compensaciones de diseño de centros de datos
- A algunos les sorprende que una firma de trading sensible a la latencia operara un centro de datos en Manhattan, dado que la mayoría de las bolsas funcionan desde instalaciones en Nueva Jersey.
- Otros señalan que esto era una época anterior, cuando muchas firmas simplemente tenían “salas de servidores” en oficinas, y la proximidad para trabajar con las manos era importante.
- Los comentaristas subrayan que, en contextos de oficinas en rascacielos, los rociadores son obligatorios para la seguridad de las personas; dejar que arda un incendio de centro de datos no es una opción.
Notas técnicas y culturales varias
- La discusión toca las expectativas de EPO (apagado de emergencia); a varios les sorprende que no hubiera un único interruptor shunt-trip o botón EPO en lugar de desenchufar cables de alimentación.
- Algunos mencionan diseñar scripts para vigilar la temperatura (o incluso el sobreenfriamiento) mediante sensores de servidores para detectar pronto fallos de HVAC.
- Los hilos secundarios cubren wabi-sabi (la imperfección como estética), chistes de OCaml sobre firmware de alarmas y nostalgia por las antiguas salas de teléfonos y máquinas VAX.