一款已有 10 年历史的 CNN 在皮肤癌诊断上胜过前沿 LLM

原文 ↗ Hacker News 讨论 ↗

一款在皮肤科图像上微调的小型、已有十年历史的卷积神经网络，被证明在皮肤病变分类上优于最先进的大语言模型，这引发了人们对 LLM 适合解决什么问题的讨论。评论者普遍认为，这个结果并不令人意外：一个经过领域特定训练、面向狭窄任务的视觉模型，理应能在图像诊断上胜过通用语言模型，尤其是在高风险医疗场景中。许多人认为，LLM 的真正价值不在于端到端诊断，而在于帮助构建专用模型、编排其他系统，以及处理这些模型产生数据之上的更高层推理。

专用 CNN vs 通用 LLM

  • 大多数评论者认为，经过皮肤科调优的 CNN 在皮肤癌分类上胜过前沿 LLM 并不令人意外。
  • 类比：拿一位资深专科医生和一个聪明孩子相比；LLM 很通用，但并未针对这一狭窄任务优化。
  • 在有标注数据可用时，CNN（以及 xgboost 等其他经典模型）在聚焦型分类问题上仍然更受青睐。

比较的公平性与质量

  • 这款 CNN 在架构上被称为“10 年前的”，但最近在一个大型领域内的 ISIC 数据集上进行了微调；有人认为标题具有误导性。
  • 批评者说这款 CNN 有“主场优势”，因为测试图像与其训练数据来自相同分布。
  • 也有人回应说这是标准做法，不是“benchmaxxing”；过拟合应通过在新数据集上测试来评估，而不应被预设。

LLM 的局限与适用场景

  • 许多人强调，LLM 主要是语言优先（或通用视觉-语言）模型，而不是专门为医学分类任务打造的。
  • 一些评论者反驳“LLM 无所不能”的炒作；他们认为这个结果是一次必要的现实检验。
  • 也有人指出，在调整阈值后，前沿 VLM 在避免假阴性（危险漏诊）方面表现更好，这说明的是安全权衡，而不是简单的“输赢”。

LLM 作为编排器与工具构建者

  • 一个强烈的主题是：LLM 的强项是作为高层控制器或编码助手，而不是最终分类器。
  • 建议的工作流包括使用 LLM 来：
    • 设计/训练 CNN 或其他专用模型。
    • 生成标注、特征或测试框架代码。
    • 调用更高效的视觉模型或工具，而不是直接对图像进行分类。

决策模型与零样本分类

  • 讨论了类似 Jev 风格的决策模型和轻量级分类器，认为它们在许多任务上比完整的 LLM 调用更便宜、更快。
  • 共识是：对于低频或难以标注的问题，LLM/决策模型很有吸引力；而在大规模或安全关键领域，监督式、任务专用模型更可取。

医疗与临床背景

  • 一些人指出，现实中的皮肤科决策涉及病史、笔记和复诊，而不只是单张图像。
  • 有人担心过度依赖类似 ChatGPT 的工具来做诊断；也有人认为，即便不完美的 AI 也可能促使某些漏诊病例更早被发现，但同时也存在操作风险和过度治疗的争论。