TNHTH-blog.
菜单
笔记 / 机器学习

把过拟合看作泛化差距

一份简洁的诊断指南,用来区分记忆训练集与真正有用的学习。

过拟合不是简单的“模型太大”,而是训练集表现继续变好、未见数据表现停止变好甚至变差的情况。

诊断模式

训练损失下降 → 验证损失上升 → 需要检查泛化

差距可能来自模型容量过大、数据有限、标签噪声、数据切分泄漏,或训练计划超过了有效区间。

应对矩阵

  • 在调模型之前,先检查数据切分是否合理。
  • 当数据分布过窄时,增加数据或进行增强。
  • 当模型能够记住单个样本时,降低模型容量。
  • 当验证曲线支持这一判断时,使用正则化、Dropout 或提前停止。
  • 报告训练与验证之间的差距,以及完整评估协议,而不只是最好的训练分数。

重要的习惯是把验证曲线当作迁移能力的证据,而不是装饰性的图表。