Stability.ai – 介绍 Stable Video 3D
3D 打印与爱好用途
- 有几位认为其在 3D 打印方面很有潜力:把单张照片变成可打印模型,尤其是桌游用的小人模型。
- 一位评论者解释了完整的 3D 打印流程(建模 → 切片 → 打印 → 后处理),并指出这个模型只处理了“模型生成”这一步。
- 一个推测性的“后资本主义”工作流:抓取社交媒体趋势,自动生成玩具和广告,按需打印;有人承认这带有反乌托邦色彩,但在技术上部分可行。
网格质量与技术限制
- 对演示质量普遍持怀疑态度:带阴影/纹理的示例可能掩盖低细节、糊状的几何结构。
- 多位人士希望先看到未加纹理的线框网格,再判断输出是否可打印或适合游戏使用。
- 优质游戏资产还需要 UV、PBR 材质、多边形预算、骨骼绑定/蒙皮权重——评论者认为论文或博客都没有涉及这些。
- 有人提到已有更好的网格生成以及纹理/法线/深度重建研究和工具,但它们如何与该模型集成尚不清楚。
输入、输出与能力
- 说明一下:“单张图像输入”就是一张图像;模型根据训练数据去推断被遮挡的几何结构。
- 是否支持多图输入尚不清楚,不过有人认为可以扩展。
- 关于它到底是真正输出可用的 3D 模型,还是只渲染了一个“环绕”视频,存在争论。
- 引用的一段视频(不是博客)暗示:多视角合成 → NeRF/structure-from-motion → 通过 marching cubes 得到网格。不过评论者很难找到实践中导出网格的具体例子。
硬件与性能
- 官方权重约 9.4 GB;一位用户报告在调整默认设置后,RTX 4090 上峰值 VRAM 约 19.5 GB,耗时约 1.5 分钟。
- 默认脚本即使在 24 GB 显存上也可能 OOM;减少同时处理的帧数(例如
decoding_t)会有帮助。 - 更广泛的争论:24 GB 对游戏来说很充裕,但对现代 AI 来说却很紧张,人们抱怨 GPU 显存限制和厂商细分。
- 有人建议使用云 GPU 或厂商的 API,而不是本地运行,尤其是在 Mac 上。
潜在应用
- 建议用途包括:为艺术家快速生成基础网格、3D 打印微缩模型、纸模模板、建筑概念(也许可通过其他模型实现)、自动绑定的动画角色、室内设计和家具重新布局、从真实场景快速捕捉资产、前卫电影制作,以及可能的成人内容。
- 一位评论者认为这会对艺术、设计、工程和游戏产生巨大影响;也有人认为它主要只是为小众实验性视频提供更好的工具。
数据与训练考量
- 人们担心高质量、多样化的 3D 训练数据供应有限,导致许多方法不得不从 2D 图像中隐式学习 3D。
- 有人提出的想法包括:通过低成本扫描仪/手机构建大规模 3D 数据集,利用程序化资产(如植被),以及借助海量 STL 文件仓库并自动打标签。
- 有人提出:深度网络能否在没有明确 3D 标注的情况下直接从视频中学习 3D;对此没有共识。
担忧、质疑与元讨论
- 有些人觉得当前示例看起来像塑料玩具,并质疑其对复杂现实物体的泛化能力。
- 另一些人强调其快速进步的轨迹,并将其与早期图像和视频模型作比较。
- 简要提到围绕公司领导层的争议,以及一句关于这篇博客文章可能是 AI 写的玩笑,但没有展开讨论。