如果你喜欢一个网站,就把它备份下来
个人网站归档正作为对加速的链接腐烂、企业“enshittification”以及日益增多的 AI 驱动抓取壁垒的回应而兴起,这些因素威胁着在线内容的持久性与可访问性。评论者分享了各种工具与工作流——从 SingleFile、ArchiveBox、Linkding、Linkwarden、Hister、HTTrack 和 wget,到 Obsidian 剪藏器和自定义脚本——同时也在争论什么值得保存:整站、可读文本,还是诸如电子书和 PDF 之类的转换格式。许多人强调,要备份你真正珍视的内容(包括视频和小众论坛),并且要礼貌地操作以免压垮网站,不要只依赖像 Internet Archive 或商业平台这样的中心化服务来保障数字记录。
链接腐烂与动机
- 许多评论者描述了多年积累的书签、图片收藏、小众论坛、大学课程页面和个人网站中广泛存在的链接腐烂。
- 人们后悔曾以为自己喜爱的网站或平台(同人小说档案、大学视频门户、Angelfire/Blogspot 时代的网站、小众技术 wiki、独立音乐博客)会“永远在那里”。
- Internet Archive 的覆盖范围受到赞扬,但往往不完整,会被 robots.txt 阻止,或者缺少图片/文件。
- 还有几位提到,独特的技术信息、艺术、音乐和个人成就一旦丢失,如今已无法恢复,令人痛惜。
归档工具与工作流
- 流行组合:基于浏览器的 SingleFile + 自托管书签管理器(Linkding、Linkwarden、Karakeep),用于保存 HTML 快照;有些人还会保存 PDF 和截图。
- 更重型的工具:ArchiveBox(最近重写,支持多种格式和大规模归档)、Hister(带 HTML 捕获的个人网页历史搜索)、Zotero(配合 SingleFile)、Monolith、HTTrack、grab-site、自定义爬虫。
- 更简单的方法:打印为 PDF、截图、Markdown 剪藏、Obsidian Web Clipper、通过“另存为电子书”生成电子书、用 wget 保存静态课程网站。
- 有些人会构建自定义工具或书签脚本,把页面推送到 Internet Archive 和个人仓库。
技术挑战
- 现代网页的复杂性(SPA、JS 渲染、反爬、Cloudflare、CAPTCHA)让许多服务端归档器失效。
- 客户端抓取(上传渲染后页面的浏览器扩展)被认为是绕过这些防御最可靠的方法。
- HTML 与内容:几位认为应重点提取核心文本/知识(阅读模式、Readability.js、markdown),而不是整站镜像。
- 自托管系统的可扩展性与维护问题反复出现。
伦理、法律与生态影响
- 建议礼貌且缓慢地爬取,以避免给小型网站造成负载。
- 有人担心激进的 AI/SEO 爬虫已经在迫使网站加固防护,这让个人归档变得更困难。
- 普遍认为,出于个人用途的私有备份在法律上大体没问题;而再分发则是另一个问题。
- 还有人强调个人存储的脆弱性(CD/DVD 老化、硬盘故障),并强调要有多份备份。
哲学分歧与未来担忧
- “把你喜欢的一切都归档”与“接受有些东西应该消逝;不要囤积”之间存在张力。
- 有些人强调,打印出来并购买书籍才是终极的长期归档方式。
- 还有几位担心,随着 LLM 和封闭平台取代开放网络与搜索,中心化主体可能会微妙地扭曲或“改写”可访问的历史,从而进一步强化个人归档的必要性。