Fable 5.1 世界建模

原文 ↗ Hacker News 讨论 ↗

AI 生成的 3D 城市场景已经足够逼真，可以直接根据 OpenStreetMap 和地形数据重建旧金山联合广场这类真实地点，代理还能编写 Three.js 代码，甚至脚本化 NPC 交通与行人。评论者对其保真度以及在游戏、电影预制作和快速原型中的潜力感到惊讶，但也在争论这是否算真正的“世界建模”、每个场景约 33 美元的成本是否划算，以及当前 AI 生成的网格和纹理在演示之外究竟有多大用处。

演示与实现

  • Fable 5.1 被用于在 Three.js 中自动生成旧金山联合广场的交互式 3D 模型，包含可步行街道、可读商铺、交通、电车以及室内空间。
  • 几何数据来自 OpenStreetMap 和 USGS 3DEP；该模型会编写代码，将这些数据转换为 Three.js 场景。
  • NPC 行人和交通逻辑由自定义代码实现；指向 Pedestrians.ts 和 Traffic.ts 的链接展示了路径规划和行为系统。

成本、Token 与工作流

  • 报告的运行情况：约 2 小时，大量使用子代理，自检循环，约 800 万 tokens，API 成本约 $33。
  • 通过一次性生成完成，使用了一个非常长且结构严密、包含编排指令的提示词。
  • 一些评论者希望更多了解失败案例、可靠性和人工盯控；这些仍然大多未说明。

用例与未来方向

  • 有人对将这种方法用于开放世界和 AR 风格游戏、真实经济，以及基准测试多模态编码能力很感兴趣。
  • 其他人也在做类似实验（例如 RTS 游戏、滑雪场景），并认为这会给爱好者和独立开发者带来显著的生产力提升。
  • 还新增了一个京都“手绘”风格世界；大家也很好奇它能否扩展到整座城市，以及是否可以使用更便宜的模型，比如 GML-5.3-flash。

关于“世界模型”术语的争论

  • 一些评论者认为标题具有误导性：“world model”通常用于学习物理/感知结构的深度机器学习模型，而不是代码生成的 3D 地图。
  • 其他人则采用更宽泛的定义：只要能模拟一个世界的东西，都算。

3D 资产质量、拓扑与工具

  • 担忧点：AI 生成的网格通常拓扑凌乱、多边形数量过多，且 UV/贴图较弱；许多工具对真正的游戏来说只是“演示级”。
  • 反驳观点：通过原语/CSG 的代码生成几何从“构造上”就能得到干净拓扑，不过贴图仍然是短板。
  • 提到的工具：Opus 5（更便宜，但在更高保真度下会吃力）、Meshy、Tripo、Hunyuan3D-2、OSM2World；有人声称最近的“smart low poly”功能已经能产出可用于游戏的资产，另一些人则表示除非有线框图证据，否则仍然不信服。
  • 讨论的技术：用 LLM 生成低多边形轮廓并烘焙纹理，用扩散模型生成细节资产，通过 PCA 和包围盒来“接驳”结构并拟合详细资产，以及通过实例化和裁剪提升性能。

怀疑与比较

  • 有人认为这只是一个令人印象深刻、但尚未真正实用的“AI 做出来的”演示；也有人强调，这已经替代了数千小时的人工建模。
  • $33/个世界 是否划算存在争议：与免费的 GIS/OSM 流水线相比很贵，但相对人力劳动可能又很便宜。
  • 其他批评包括：仓库中的视觉叠加不准确、在线演示的托管方式令人困惑，以及用类似方法从 DXF 精确建模建筑时很困难。