外观
模型评估与验证
概念定义：没有评估，就没有机器学习
机器学习的全部价值在于泛化——对没见过的数据表现好。而"表现好不好"必须靠评估来回答。评估回答三个问题：
- 模型到底多好？（指标）
- 这个结论可不可信？（验证方法）
- 哪里该改进？（错误分析）
没有评估体系的 ML 项目，要么自我感觉良好（训练集 99%），要么上线翻车（真实数据一塌糊涂）。评估设计是 ML 项目最重要的工程决策之一——它决定你迭代的方向对不对。
一、偏差-方差权衡：评估的理论地基
把模型对未见数据的预测误差分解为三部分：
E[(y - ĥ(x))²] = 偏差²(ĥ) + 方差(ĥ) + σ²（不可约噪声）- 偏差（bias）：模型假设与真实规律的差距——线性模型拟合非线性数据 = 高偏差（欠拟合）；
- 方差（variance）：模型对训练集波动的敏感度——深度网络在小样本上 = 高方差（过拟合）；
- 不可约噪声：数据本身的随机性，任何模型都消不掉。
模型越复杂，偏差越低、方差越高。 调参的本质就是在二者之间找平衡。这个框架解释了 ML 里几乎所有"玄学"：
| 现象 | 诊断 | 对策 |
|---|---|---|
| 训练误差大，验证误差也大 | 高偏差（欠拟合） | 加特征、加模型复杂度、减正则化 |
| 训练误差小，验证误差大 | 高方差（过拟合） | 加数据、加正则化、简化模型、早停 |
| 两个误差都大 | 数据/特征问题 | 回数据环节检查 |
诊断口诀
欠拟合看训练集（训练都学不会），过拟合看验证集（训练会了验证不会）。 先判断是哪种，再对症下药——随机调参是最低效的迭代方式。
二、数据划分：训练 / 验证 / 测试
三份数据的职责
| 数据集 | 用途 | 禁忌 |
|---|---|---|
| 训练集 | 训练模型参数 | 不能用来选超参（会过拟合到训练集） |
| 验证集 | 选超参数、早停、模型选择 | 不能用来报告最终成绩 |
| 测试集 | 最终评估、报告成绩 | 任何迭代过程中都不能碰 |
测试集是"考卷"：训练时你看过答案（训练集），调参时你看过模拟题（验证集），只有测试集是真正没见过的新题。把测试集数据用于任何调参/特征选择的决策，都是在"提前看答案"——即数据泄露。
划分的坑
- 随机划分：适用于独立同分布数据；
- 时间序列必须按时间划分：用前 80% 训练、后 20% 测试，随机划分会让模型"偷看未来"；
- 分组数据：同一用户/同一患者的样本要分到同一份（GroupKFold），否则数据泄露。
三、交叉验证：用小数据榨出可靠结论
留出法（单次划分）在小数据上结果波动大——运气好划分就虚高。K 折交叉验证（K-fold CV）：把数据分成 K 份，轮流拿 1 份做验证、其余 K-1 份训练，报告 K 次结果的平均与方差。K=5 或 10 是默认选择。
python
from sklearn.model_selection import cross_val_score
from sklearn.ensemble import RandomForestClassifier
scores = cross_val_score(model, X, y, cv=5, scoring='roc_auc')
print(f"AUC: {scores.mean():.3f} ± {scores.std():.3f}")变体：StratifiedKFold（每折类别比例一致，分类必用）、GroupKFold（按组划分）、TimeSeriesSplit（时间序列滚动验证）。交叉验证的代价是训练 K 次，大数据集上常用"一次留出 + 大数据量"代替。
交叉验证 ≠ 万能
交叉验证假设样本独立同分布。时间序列、用户级相关数据用普通 K-fold 会得到乐观偏差。选择验证方法前，先想清楚数据是怎么产生的。
四、指标：分类
混淆矩阵：一切分类指标的起点
预测正类 预测负类
实际正类 TP（真正） FN（假负）
实际负类 FP（假正） TN（真负）四个格子导出全部常用指标：
| 指标 | 公式 | 回答的问题 |
|---|---|---|
| 准确率 Accuracy | (TP+TN)/总数 | 整体猜对的比例（类别平衡时可用） |
| 精确率 Precision | TP/(TP+FP) | 预测为正的里面，有多少是真正？ |
| 召回率 Recall | TP/(TP+FN) | 真正的正样本里，找回了多少？ |
| F1 | 2·P·R/(P+R) | 精确率与召回率的调和平均 |
| 特异性 Specificity | TN/(TN+FP) | 负样本被正确拒绝的比例 |
| AUC | ROC 曲线下面积 | 随机正样本得分 > 随机负样本的概率 |
精确率 vs 召回率：业务视角的选择
精确率惩罚"误报"，召回率惩罚"漏报"：
- 垃圾邮件过滤：宁肯漏几封垃圾邮件，也不能把重要邮件误判为垃圾 → 重精确率；
- 癌症筛查：宁肯多查几个人，也不能漏掉一个病人 → 重召回率。
精确率和召回率天然此消彼长（调阈值可以互换），选哪个取决于"哪类错误更贵"。F1 是对两者同等看重时的折中；业务对错误代价不对称时，直接用加权 Fβ 或干脆按代价优化阈值。
为什么准确率可能是陷阱
类别不平衡时（欺诈 1:1000），"全部预测为正常"的模型准确率 99.9%，却毫无用处。不平衡场景下看 Precision/Recall/AUC/PR-AUC，别看 Accuracy。更多类别不平衡对策见监督学习。
AUC 的正确理解
AUC = 随机抽一个正样本、一个负样本，模型给正样本打分更高的概率。性质：与阈值无关（纯排序能力）、对类别不平衡相对不敏感。但它掩盖了概率校准问题（模型打分 0.9 的样本实际只有 50% 是正类，AUC 依然可以很高）——需要概率的业务场景（风控定价）要额外看校准曲线（calibration curve）。
五、指标：回归与排序
回归指标
| 指标 | 公式 | 特点 |
|---|---|---|
| MSE | mean((y-ŷ)²) | 平方惩罚，异常值敏感，可导性好 |
| MAE | mean(|y-ŷ|) | 线性惩罚，对异常值鲁棒 |
| R² | 1 - SS_res/SS_tot | "模型解释了多少方差"，与基线（均值预测）比较 |
| MAPE | mean(|y-ŷ|/y) | 百分比误差，y 接近 0 时爆炸 |
R² 不是准确率，它可能为负（模型比"猜均值"还差）。选择回归指标同样要回到业务：预测房价误差 5 万和 10 万，用 MAE 感知更直观；优化梯度用 MSE 更顺滑。
排序指标
- NDCG：按位置加权的相关性折扣累计，搜索排序标配；
- MAP / MRR：正确结果出现位置的平均倒数排名；
- Pairwise loss：训练时直接优化"相对顺序"而非绝对分数。
排序指标与分类指标的差异：排序只看相对顺序，不看绝对分数。做推荐/搜索时直接优化排序指标（LTR），比先分类再排序效果更好。
六、评估的完整工作流
一个合格的评估流程长这样：
text
① 定义业务目标 → ② 选择指标（离线+线上） → ③ 设计数据划分（防泄露）
④ 建立基线（多数类/线性） → ⑤ 交叉验证评估 → ⑥ 测试集终评
⑦ 错误分析（按错误类型分组） → ⑧ 迭代（基于分析而非随机）其中最容易跳过的 ①⑦ 恰恰最重要。评估不是"最后算个分"，而是从问题定义就开始的设计——你用什么指标，决定了模型朝哪个方向优化。
错误分析的威力
把验证集错误样本按类型分组（哪些类别常错、哪些特征缺失导致错、哪个区间错得多），你会发现改进方向经常不在模型参数，而在数据、特征、阈值。一次认真的错误分析，胜过十次盲目调参。
七、权衡与取舍
- 指标数量：只看一个指标容易被"刷分"，看太多又难以决策。建议主指标一个（对齐业务）+ 副指标两三个（监控退化）。
- 离线 vs 在线：离线 AUC 高不代表线上转化好。成熟做法是离线评估 + 线上 AB 测试闭环，见MLOps 与模型部署。
- 验证严谨度 vs 成本：交叉验证 K 越大越准但越贵；大数据集（百万级）上 K=5 或留出法通常足够。
- 评估偏差 vs 方差：单次留出波动大，K 折更稳；但 K 折对非独立数据有系统性偏差——先修数据独立性，再谈验证严谨度。
延伸阅读
- 监督学习——评估对象是这些模型
- 过拟合与正则化——偏差-方差权衡的对策
- 特征工程——特征决定评估的上限
- 从零搭一套模型评估——把方法论落地成代码
- 常见陷阱与反模式——数据泄露、指标误用等翻车现场
- 可解释性与公平性——评估"公平"这类更难的目标
参考资料
- James et al. An Introduction to Statistical Learning, Chapter 2 & 5（偏差方差、交叉验证）
- Hastie, Tibshirani, Friedman. The Elements of Statistical Learning, Chapter 7（模型评估与选择）
- scikit-learn: Model selection and evaluation —— 官方交叉验证/指标实现
- Fawcett. An Introduction to ROC Analysis（Pattern Recognition Letters, 2006） —— ROC/AUC 权威入门
- Wikipedia: Confusion matrix —— 混淆矩阵与派生指标