新的 AI 导师在达特茅斯课程中实现 0.71-1.30 SD 的效应量 [pdf]

研究设计、效应量与偏差

• 报告的效应量（0.71–1.30 SD）被认为很大且令人振奋，但许多评论强调其存在很强风险：
  • 自我选择偏差（更有动力的学生做了更多测验）。
  • 缺乏随机对照组。
  • 可能存在新奇效应 / 霍桑效应。
  • 测验内容与考试题目可能重叠。
• 有人认为，如果没有合适的 RCT，把它称为“效应量”具有误导性；相关性也许只是说明参与更多的学生学得更多，而不一定是工具本身造成的。
• 一位项目成员回复：
  • 效应是通过覆盖全部使用范围的回归估计出来的，而不只是“重度用户”。
  • 即使把未使用者也算进去，中位课程覆盖率仍超过 90%。
  • 参与度在整个学期内持续存在；重试通常间隔数天，说明不只是新奇效应。
  • 考试和课程是独立设计的；平台只是把教材内容重新打包。
  • 一个仅限 MCQ 的模块显示出类似的参与度，但没有剂量关系，这表明“构建式回答 + AI 评分”起了作用。
  • 伦理顾虑限制了 RCT 的实施；未来计划采用交叉设计或部分功能随机化。

这个工具实际上是什么

• 几位评论指出，它更像是一个带有 AI 自动评分的构建式回答测验平台，而不是完整的对话式“导师”。
• 据说聊天/RAG 助手功能的使用很少。
• 围绕“评分加反馈”算不算“辅导”，还是需要更深层的交互式解释，存在争论。

参与度与学生行为

• 基线教材阅读率约为 10–15%；该平台达到了约 90% 的自愿采用率。
• 许多人认为这才是重点：即使按每小时学习效果看差不多，甚至略差于教材，只要更多学生真正接触了材料，总体效果就会更好。
• 也有人反驳说，仅凭设计更好的题目集（无论是否 AI）也能解释这些提升。

关于教育中 AI 的更广泛看法

• 一些人认为这是朝着缩小个性化辅导带来的“两个西格玛”差距迈出的有希望一步。
• 另一些人担心：
  • 幻觉问题，尤其是在主观领域。
  • AI 主要惠及本来就更有动力的学生。
  • 把工具与评分绑定，可能会促使学生用 LLM 走捷径完成作业。

教育科技与 UX 背景

• 线程中的教育工作者因为以往糟糕的技术（例如由管理员强制推行、结果不佳的 LMS/课堂工具）而表现出深度怀疑。
• 大家对以下方向很感兴趣：
  • 低干扰硬件（e-ink 平板、智能笔）接入 LLM 导师。
  • 内置间隔重复，以及自动生成练习题/闪卡，以降低与当前 SRS 工具相比的使用摩擦。