英国邮局的软件故障如何毁掉人生
英国邮局的一起长期丑闻中,有缺陷的会计软件 Horizon 导致数百名分支邮局局长被错误指控、并且常常因盗窃而被定罪。评论者认为,这与其说是“故障”,不如说是治理、法律和组织文化的系统性失败。评论指出,管理层忽视或掩盖了已知 bug,利用私人起诉权,并受益于法律上对计算机记录可靠性的推定,使得个人无法对自己无法控制的黑箱系统提出有效挑战。该案被用来质疑软件工程中缺乏职业标准和责任追究、将软件和算法视为绝对可靠的危险,以及机构把道德和法律判断外包给复杂技术系统所带来的更广泛风险。
丑闻的范围和性质
- 评论者强调,这并不“只是一个软件故障”,而是涉及邮局、Fujitsu 以及英国法律体系的长期制度性失败。
- Horizon 有多个 bug、薄弱的审计、未经审计的远程访问,甚至还有由支持人员进行的数据编辑;然而它却被当作绝对可靠。
- 数百名分支邮局局长被告知“只有你一个”有问题,这造成了孤立,也抑制了集体抗辩。
法律体系、私人起诉与举证责任
- 一个反复出现的主题是:最大的失败是法律层面的,而不是技术层面的。
- 英国法律对计算机证据可靠性的推定,把举证责任转移到了被告身上,要求他们证明软件存在缺陷;而在无法接触代码或日志的情况下,这在实际上几乎不可能。
- 邮局可以自行提起诉讼,在拥有财务和声誉利益的同时,兼任调查者和起诉者。
- 法院和陪审团往往在没有 CCTV、银行记录或生活方式变化等佐证的情况下,接受“电脑就是这么说的”,最终仅凭 Horizon 数据就作出定罪。
管理、治理与伦理
- 许多人认为,核心问题在于管理、激励机制和掩盖:已知 bug 和远程修改能力被隐藏,审计被淡化,证据据称被扣留或篡改。
- 讨论强调了反常的激励(奖金、私有化推动、声誉保护)以及一种更愿意责怪一线员工、而不愿承认系统缺陷的文化。
- 有几位评论者呼吁,对误导法庭或压制证据的高管、律师和专家证人追究刑事责任。
软件工程实践与专业性
- 很长的分支讨论在争论,这本质上到底是软件工程问题,还是社会技术治理问题。
- 一些人表示,我们需要面向关键软件的工程式监管、资格认证和个人责任,类似土木/结构工程。
- 另一些人反驳说,即使技术实践“完美”,也无法克服无能或恶意的管理层、错配的激励和组织政治。
- 大家普遍认同 Horizon 的设计(分布式、非 ACID 记账、糟糕的日志)对一个类似银行的系统来说极不合适。
更广泛的相似案例与影响
- 评论者把 Horizon 与其他“算法统治”式失败相比较(例如福利和债务系统),在那里,黑箱软件加上对“电脑”的盲从会伤害弱势群体。
- 许多人担心,如果法院和机构再次在缺乏透明度或可争辩性的情况下,过度信任不可理解的输出,AI 驱动系统可能会放大这些问题。