Devin:AI 软件工程师

炒作、演示和信任

  • 很多人对演示的精致程度以及相较于此前模型的 SWE‑Bench 数字印象深刻。
  • 也有人认为 Upwork 演示具有误导性:Devin 并没有真正满足发布的要求(例如 AWS 设置说明),这引发了对挑选性示例的信任担忧。
  • 有几个人希望生成的代码库能开源,或者提供更原始、未经剪辑的录屏,以便判断真实质量。

当前能力 vs 现实中的实用性

  • SWE‑Bench 分数(约 13.9% 的问题被解决,而此前 SOTA 约为 2–5%)被视为真正的进步,但离“可用于生产的工程师”还很远。
  • 一个关键限制是:你仍然必须验证所有内容;如果验证 Devin 的输出几乎和自己编写一样耗时,那么净价值就不明确。
  • 人们将 Devin 与其他 agentic 工具(Sweep、GPT Engineer、Pythagora 等)进行比较,并指出它们也面临类似困难:随时间保持连贯、架构、较大的代码库、细微 bug。

今天的 LLM 作为编码工具

  • 许多人报告说,Copilot/Claude/GPT 在以下方面带来了显著收益:
    • 样板代码和小模块生成
    • 语言/API 之间的转换
    • 编写或搭建测试
    • 文档/搜索替代与快速摘要
  • 但他们也报告了频繁出现的幻觉 API、糟糕的库知识、浅层推理,以及在更大、更微妙的任务上明显掉队。

代码质量、维护和长期风险

  • 担心 agent 编写的代码会增加技术债,并产生“无法修复的意大利面代码”,尤其是在成熟代码库上。
  • 人们担心“AI 生成的烂摊子”最终仍需要有经验的人类来救火和维护。
  • 对于复杂、安全关键系统(例如自动驾驶仪、银行基础设施),是否会把它们交给当前一代 agent,存在强烈怀疑。

工作、初级开发者和经济影响

  • 关于 Devin 之类的工具会不会:
    • 取代大量开发者(尤其是初级开发者),或者
    • 只是提高生产力,并把人类转向更高层的设计和“AI 管理”,展开了大讨论。
  • 许多人认为初级开发者面临的风险最大,并担心如果梯子底部消失,未来的高级开发者将如何培养。
  • 关于再分配/UBI 的争论:有人认为巨大的生产力提升可以资助安全网;也有人引用历史并怀疑任何剩余都会被共享。

历史类比和时间线

  • 将其与以下事物比较:
    • 印刷术、拖拉机、工业革命 → 长期净收益,但转型过程残酷。
    • 自动驾驶汽车炒作 → 承诺很大,但实际部署更慢。
  • 观点分裂为“这还很早,但不可避免”和“我们高估了当前 AI;在那之前很可能先经历另一轮 AI 寒冬或平台期”。