我用 M1 Max 电脑和本地 ML 模型索引了我 669 GB 的 GoPro 视频

Hacker News 讨论 ↗

帖子格式与访问

  • 几位评论者说这本应是一个“Show HN”，并指出标题很难编辑。
  • 有人报告主站短暂返回 Cloudflare 错误；有人分享了一个归档链接，后来网站又恢复正常。

使用场景与扩展

  • 许多人对用于整理大型个人媒体收藏（视频、照片、文档）的本地、开源流水线感到兴奋。
  • 一个反复出现的问题是：同样的方法能否用于索引色情收藏；人们讨论模型安全过滤、abliterated 模型、LoRA 微调，以及通过多轮提示绕过内容限制有多容易。
  • 其他人则关注家庭内容：希望能够自动生成“回忆”和年度回顾合集，把照片、视频和音乐结合起来。

技术流水线与模型

  • 讨论中的核心流程是：以约 1 fps 提取场景，将帧缩小尺寸（例如到 720p），运行人脸/对象/文本检测，转录（Whisper），以及视觉描述（Qwen2.5-VL 变体）。
  • 输出会进入向量数据库加上 SQL，用于语义搜索、RAG，以及按文本、截图或音频进行查询。
  • 有用户指出，Whisper 在输入非语音内容时会产生幻觉（例如呻吟、拍打声）；另有人建议使用类似 Parakeet 的模型来过滤非人声。
  • 也有人希望有真正的视频片段嵌入，而不只是帧级嵌入，以更好地捕捉动作。

硬件性能与加速

  • 讨论将 M1 Max 与第 11 代 i9 和 Snapdragon X Elite 进行比较：CPU 跑分相近，但苹果的统一内存和带宽（以及本地“AI 加速器”）被视为这类工作负载的主要优势。
  • 预计 RTX GPU（例如 3060、5090）在索引任务上会明显快于 M1 Max。
  • 有人建议使用按需付费的 GPU 服务商（Runpod、vast.ai）来加速大规模任务，同时尽量保持模型在本地运行。

现有工具与集成

  • DaVinci Resolve Studio 和 Adobe Premiere 被提到具有内置或基于云的 AI 索引；据说 DaVinci 的 AI 在本地运行，但似乎缺少完整的人脸标记。
  • 还建议了第三方工具，如 Jumper、Immich，以及其他本地视频索引项目，其中一些带有 NLE 集成和 API。
  • 也有人对 Apple Silicon 上的容器化 GPU 访问感兴趣（podman + Mesa，Docker 里的 vLLM-metal）。

质疑、可用性与替代方案

  • 一些人质疑示例精彩集锦在如此大量素材下显得不够惊艳，怀疑这项技术是否足够成熟。
  • 另一种“简单”流程被提出：录制时使用 GoPro 内置的“HiLight Tag”，然后稍后手动剪辑这些标记片段。
  • 也有人认为，虽然手动标记更简单，但 ML 流水线支持事后搜索、多模态查询，以及超出精彩片段之外的更广泛用途。