机器学习手册

外观

经典论文精读

本页速览 从感知机到 GPT-3，逐篇精读改变机器学习的九篇经典论文：背景、机制、实验、启示，并附三遍读论文法与九篇论文背后的共同规律，助你建立论文阅读坐标系。

经典论文精读 ​

一句话定位：这九篇论文串起来，就是一部"现代机器学习"的进化史——从 1958 年感知机点燃的第一簇火苗，到 2020 年 GPT-3 点燃的规模法则，每一篇都解决了一个当时卡住整个领域的具体痛点，然后改变世界。

一、为什么是这九篇 ​

先把九篇按时间摆成一条线，你会发现一部完整的进化史：

1958  感知机       神经元第一次"从样本中学习"
2012  AlexNet     深度学习革命正式引爆
2014  GAN         生成模型的对抗博弈登场
2015  ResNet      网络第一次可以"深到 152 层"
2016  AlphaGo     AI 首次在人类智力巅峰战胜人类
2017  Transformer 注意力取代循环与卷积
2019  BERT        双向预训练 + 微调范式成型
2020  GPT-3       规模法则降临，大模型军备竞赛开始
2020  DDPM        扩散模型重洗生成式 AI 牌桌
论文第一作者发表一句话贡献
The PerceptronRosenblatt1958, Psychological Review第一个"能学习"的人工神经元模型
ImageNet Classification with Deep CNNsKrizhevsky2012, NeurIPSGPU + 深度卷积 + ReLU/Dropout，引爆深度学习
Deep Residual LearningHe2016, CVPR残差连接，让网络可以深到百层以上
Attention Is All You NeedVaswani2017, NeurIPS纯注意力架构 Transformer，取代 RNN
BERTDevlin2019, NAACL双向预训练 + 微调，横扫 NLP 基准
Generative Adversarial NetsGoodfellow2014, NeurIPS生成器与判别器的零和博弈
Denoising Diffusion Probabilistic ModelsHo2020, NeurIPS加噪-去噪式稳定生成，改写图像生成
Mastering the game of GoSilver2016, NatureMCTS + 深度网络合璧，攻克围棋
Language Models are Few-Shot LearnersBrown2020, NeurIPS1750 亿参数，规模即能力

为什么是这九篇，而不是别的？三个理由：

  • 每一篇都代表一次范式切换：从"人写规则"到"数据学规则"（感知机），从手工特征到表示学习（AlexNet），从序列建模到注意力（Transformer），从判别式到生成式（GAN/DDPM），从专用智能到通用基础模型（BERT/GPT-3）。读懂这九次切换，就抓住了这个领域 60 年最重要的思想主干。
  • 篇幅都适合精读：除 AlphaGo 外，正文大多在 10 页上下，方法和实验都聚焦在一个核心思想上，比今天的巨型技术报告好读得多。
  • 引用量都是万级到十万级：它们是被全世界反复检验、反复引用的"锚点"。读懂了它们，再读任何后续工作都有参照系。

阅读本文前

建议先读从这里开始了解栏目的三条路线，再配合演进简史建立时间线。每篇精读的结构都是固定四步：问题背景 → 核心机制 → 实验结论 → 对今天的启示，方便你边读边做笔记。

二、感知机：一切的起点（Rosenblatt, 1958） ​

1. 问题背景 ​

1950 年代，图灵测试刚提出不久，计算机才学会算数。那时人工智能的主流思路是符号主义：把知识写成逻辑规则，让机器按规则推理。Rosenblatt 提出了一条完全相反的联结主义路线：大脑由亿万神经元构成，每个神经元做的事情无非是"把输入加权求和，超过阈值就激活"——如果机器也按这个结构搭一个简化模型，它能不能从样本里自己学会判断，而不需要人写规则？

2. 核心机制 ​

感知机（Perceptron）是史上第一个"能学习"的人工神经元：

输入 x₁,x₂,...,xₙ ──加权──▶ Σ wᵢ·xᵢ ──阈值激活──▶ 输出 y ∈ {0, 1}

学习规则异常朴素：预测错了就改权重，方向沿误差走。

预测:  ŷ = 1 当 Σ wᵢxᵢ > 阈值, 否则 0
更新:  wᵢ ← wᵢ + η·(y − ŷ)·xᵢ      （η 为学习率）

如果样本线性可分，这条规则在有限步内必然收敛——这就是感知机收敛定理（Novikoff, 1962 给出严格证明）。注意"收敛定理"意味着什么：这不是碰运气的启发式，而是有数学保证的学习算法。它是后来一切"优化保证"思想的源头。

3. 实验结论 ​

Rosenblatt 用专用硬件 Mark I Perceptron（光电扫描仪 + 模拟电路）做了演示：机器能从照片中学会区分三角形和圆形。这在当时是轰动性的——"机器自己学会了"，而非"人把规则写进了机器"。论文发表在顶级心理学期刊 Psychological Review 上，因为它的动机是神经科学：感知机与其说是 AI 模型，不如说是对生物神经元学习的简化假设。

4. 对今天的启示 ​

  • 结构原型：加权求和 + 非线性激活，这个骨架贯穿了后来一切神经网络，直到今天的 Transformer。
  • 理论保证的价值：感知机收敛定理说明，简单规则 + 可证明的收敛性，就能产生可信的智能行为。今天的深度学习很少做理论保证，但感知机提醒我们：能证明的东西，生命力更长。
  • 容量的边界：1969 年 Minsky & Papert 在《Perceptrons》中证明单层感知机连 XOR 都表示不了，第一次 AI 寒冬随之而来。这告诉我们：一个方向再热闹，模型容量与问题复杂度不匹配，就会遭遇理论天花板。二十多年后多层感知机 + 反向传播（Rumelhart, 1986）解决了 XOR，证明问题不在"神经网络"本身，而在深度。

感知机的双重遗产

感知机留下了今天依然成立的两条教训：其一，从神经科学借结构、从数据学参数是一条被反复验证的路线；其二，对理论边界的诚实检验（Minsky & Papert 那本书虽然打击了热潮，却是严格的数学）比盲目乐观更能推动领域前进。

三、AlexNet：深度学习革命的引爆点（Krizhevsky, 2012） ​

1. 问题背景 ​

2012 年之前的图像识别，靠的是"手工特征 + 分类器"：研究者手工设计 HOG、SIFT 等特征，再喂给 SVM。ILSVRC-2012 竞赛上，传统方法的最好成绩是 top-5 错误率约 26%。而深度卷积网络虽然理论可行，却一直"训练不起来"：没有足够强的算力支撑大网络；用 sigmoid/tanh 激活，网络一深梯度就消失；几十万参数在小数据集上严重过拟合。AlexNet 用三个支柱把这个问题一次性解决。

2. 核心机制：GPU、ReLU、Dropout 三支柱 ​

        第 1 支柱                第 2 支柱              第 3 支柱
    GPU 并行计算              ReLU 激活函数          Dropout + 数据增强
    ┌───────────┐          ┌───────────┐          ┌───────────────┐
    │ 两块 GTX580 │          │ max(0,x)   │          │ 全连接层随机丢一半 │
    │ 卷积分卡并行 │          │ 无饱和区    │          │ 随机裁剪/翻转/色偏 │
    │ 训练提速 ~10-20 倍  │ 梯度不消失  │          │ 相当于集成学习    │
    │            │          │ 比 tanh 快 6 倍  │          │               │
    └───────────┘          └───────────┘          └───────────────┘
  • GPU：用两块 GTX 580（各 3GB 显存），把 8 层网络（5 个卷积层 + 3 个全连接层，约 6000 万参数）按通道拆到两卡并行训练，让"大网络"从不可行变成几天可训练。
  • ReLU：ReLU(x) = max(0, x)。它的梯度在正区间恒为 1，不会像 sigmoid 那样饱和，深度网络的梯度消失问题被大幅缓解。论文在 CIFAR-10 上对比，ReLU 训练到同样误差比 tanh 快约 6 倍。
  • Dropout + 数据增强：6000 万参数的模型在 128 万张图上必然过拟合。Dropout 以 0.5 概率随机丢弃全连接层神经元（等效于训练多个子网络的集成）；同时用随机裁剪、水平翻转、PCA 颜色扰动把有效样本量放大数十倍。论文结论很直接："没有 Dropout 就会严重过拟合"。

3. 实验结论 ​

AlexNet 在 ILSVRC-2012 以 top-5 错误率 15.3% 夺冠，第二名 26.2%——直接碾压近 11 个百分点，而且是断崖式的、无可争议的领先。此后三年，深度学习成为图像领域唯一的主流，2015 年 ResNet 把错误率进一步压到 3.57%。2012 年因此被称为"深度学习元年"。

4. 对今天的启示 ​

  • 三支柱是通用处方：算力、好激活函数、防过拟合手段——今天训练任何大模型，配齐的仍然是这三样。
  • 工程细节的辩证看待：论文里的局部响应归一化（LRN）、重叠池化后来被证明作用有限甚至无效，但 ReLU、Dropout、数据增强至今是标准操作。把"作者以为重要的"和"时间验证重要的"区分开，是批判性阅读的基本功。
  • 表示学习范式：特征由网络自动学，替代手工特征工程——这是深度学习相对传统方法的根本胜利。
  • 想深入机制细节，见CNN 与计算机视觉与深度学习基础。

一个数字的提醒

15.3% 是"当时当下"的数字：换掉那时的数据划分、硬件和评测脚本，数字就不复存在。真正值得带走的是"三支柱为什么缺一不可"的机制判断，而不是那个 SOTA。

四、ResNet：让网络深下去（He, 2016） ​

1. 问题背景 ​

AlexNet 8 层、VGG 19 层，人们发现"网络越深，准确率越高"。那一直加深会怎样？答案令人意外：退化（degradation）。56 层的网络在 ImageNet 上的训练错误率比 20 层还高——注意是训练集上的误差都更高，说明深层网络连"背答案"都做不到，问题根本不在过拟合，而在优化：梯度消失/爆炸让深层网络"学不进去"。

2. 核心机制：恒等捷径 ​

ResNet 的解法朴素到令人吃惊：让网络学习的不再是目标映射 H(x)，而是残差 F(x) = H(x) − x。

        x
        │
        ▼
  ┌─────────────┐
  │ 卷积→BN→ReLU │
  │ 卷积→BN      │ ──▶ F(x)
  └─────────────┘
        │                    │
        └────── 恒等映射 +x ──┘
              │
              ▼
          F(x) + x ──▶ ReLU ──▶ 输出

为什么这条"加一条线"有奇效：

  • 梯度高速路：反向传播时，梯度可以沿恒等捷径"抄近道"直接回传，深层网络不再有梯度消失的忧虑。
  • 退化的理论解释：如果网络想学恒等映射 H(x)=x，残差块只需学 F(x)=0——把权重推到 0 比学习一个精确的恒等变换容易得多。因此深层网络的性能至少不差于浅层网络。
  • 与 BatchNorm 协同：残差块内部配合 BatchNorm（2015, Ioffe & Szegedy），训练稳定性再上一个台阶。

3. 实验结论 ​

152 层的 ResNet 在 ILSVRC-2015 上把 top-5 错误率压到 3.57%（单模型 4.49%）——首次超过人类基线（估计约 5.1%）。在 CIFAR 上作者甚至训练了 1000+ 层的网络且仍能收敛。从 AlexNet 的 15.3% 到 3.57%，两年内错误率降了四倍，"机器在感知上超越人类"第一次成为可复现的事实。

4. 对今天的启示 ​

  • 残差连接是深度学习最重要的架构思想之一：今天的 Transformer、U-Net、扩散模型骨干，无一不在用残差连接。它让"深"从诅咒变成礼物。
  • 诊断先于开方：作者先通过实验确认退化"不是过拟合"（否则训练误差该更低才对），才敢对症下药。这种用实验定位失败模式的方法论，比残差连接本身更值得学。
  • 恒等映射思想的延伸：跳跃连接后来被广泛用于 U-Net（扩散模型）与各种多尺度架构；"让信息有捷径可走"是通用设计原则。
  • 联系 AlphaGo 的启示：结构上的"捷径"与学习上的"捷径"（先学人类棋谱）是同一思想的两个侧面。

为什么退化不是过拟合

直觉上"更深更差"最容易归因于过拟合。ResNet 用一张图反驳：56 层的训练误差就比 20 层高。过拟合是"训练好、测试差"；而这里是"训练本身就差"。这一字之差，决定了解决方案完全不同——不是加正则化，而是加残差连接。精确定义失败模式，是创新的第一工序。

五、Transformer：注意力取代循环（Vaswani, 2017） ​

1. 问题背景 ​

2017 年的机器翻译由 RNN（尤其 LSTM）统治，但循环结构有两个天生短板：一是顺序计算——处理第 t 个词必须先算完前 t−1 个词，无法并行，长序列训练极慢；二是长距离依赖——信息隔得越远越难传递，梯度要么消失要么爆炸。Bahdanau 2014 年引入注意力机制缓解了第二个问题，但循环仍然是骨架。Google 团队提出一个激进问题：能不能完全扔掉循环和卷积，只靠注意力？

2. 核心机制：QKV 自注意力 ​

Transformer 的全部魔法浓缩在一个公式里：

Attention(Q, K, V) = softmax( Q·Kᵀ / √d_k ) · V

  Q（Query 查询）  : "我在找什么"
  K（Key 键）      : "我是什么"
  V（Value 值）    : "我提供什么"

每个 token 生成自己的 Q、K、V；用 Q 与所有 token 的 K 做内积得到"注意力权重"（除以 √d_k 防止点积过大导致 softmax 梯度消失），再按权重加权 V——每个 token 一步就能同时看到整句的任意 token，长距离依赖问题不复存在。

围绕它还有四个关键设计：

  • 多头注意力：把注意力拆成 h 个"头"并行计算，各头关注不同子空间（有的管句法、有的管指代、有的管位置），拼起来再投影。论文中的实验表明多头显著优于单头。
  • 位置编码：没有循环就没有顺序信息，必须用正弦/余弦函数把位置信息显式加进输入。
  • 残差连接 + LayerNorm：每个子层外面都包一层"残差 + 归一化"，保证深网络可训练。
  • Masked 注意力：解码器预测下一个词时，屏蔽未来位置的 token，防止"偷看答案"。
编码器层 ×6 ──────────────────▶ 解码器层 ×6
┌────────────────┐            ┌────────────────┐
│ 多头自注意力      │            │ 掩码多头自注意力  │
│   ↓（残差+LN）   │            │   ↓（残差+LN）   │
│ 前馈网络         │            │ 编码器-解码器注意力 │
│   ↓（残差+LN）   │            │   ↓（残差+LN）   │
└────────────────┘            │ 前馈网络          │
                              │   ↓（残差+LN）   │
                              └────────────────┘

3. 实验结论 ​

在 WMT 2014 英德翻译上 BLEU 达 28.4（此前 SOTA 26.8），英法达 41.8（此前 SOTA 39.2），同时训练成本只有当时最好循环模型的零头——8 块 P100 训练 3.5 天。效果与效率的双重碾压，让"纯注意力"迅速取代 RNN。

4. 对今天的启示 ​

  • 通用底座：Transformer 成为 GPT、BERT、扩散模型骨干的共同底座，是整个 2020 年代生成式 AI 的地基。见Transformer 案例。
  • "少假设 + 更多数据"的设计哲学：去掉循环/卷积的顺序归纳偏置，用更通用的机制换更强的可扩展性——这条思路被证明极端有效，也解释了为什么"预训练大模型"路线胜出。
  • 复杂度遗产：自注意力是 O(n²)，长序列（如整本书、整段视频）至今是研究前线——稀疏注意力、线性注意力、FlashAttention 等工程优化仍在演进。
  • 注意它和残差的关系：Transformer 每层都套残差连接——ResNet 的答案，是 Transformer 得以变深的前提。经典论文之间就是这样互相搭梯子的。

六、BERT：双向预训练开启大模型时代（Devlin, 2019） ​

1. 问题背景 ​

2018 年，"预训练 + 微调"已被证明有效：先在无标注的大语料上预训练一个语言模型，再在任务数据上微调。但当时的预训练语言模型都有结构性缺陷：GPT 是从左到右单向的（只能看左侧上下文）；ELMo 是"浅层"地拼接两个方向的 LSTM 表示。而大量理解任务——完形填空、指代消解、句间关系判断——天然需要同时看到左右两侧。如何做出"深度双向"的语言模型？

2. 核心机制：MLM + NSP ​

BERT（Bidirectional Encoder Representations from Transformers）用两个预训练任务解开这个结：

任务一：掩码语言模型 MLM（解决"深度双向"）
  输入:  我 [MASK] 机器学习。[MASK] 是一门用数据自动找规律的学科。
  目标:  预测被 [MASK] 的两个词（"喜欢"/"它"）
  → 模型被迫同时使用左右两侧上下文，实现深度双向

任务二：下一句预测 NSP（解决"句间关系"）
  输入:  [CLS] 机器学习很有趣 [SEP] 它从数据中学习规律 [SEP]
  目标:  判断第二句是否是第一句的真实下一句
  → 为问答、推理、自然语言推断等句对任务注入能力

架构：多层双向 Transformer 编码器。BERT-base 12 层、1.1 亿参数；BERT-large 24 层、3.4 亿参数。预训练语料为 BookCorpus + 英文维基（约 33 亿词）。微调时只需在顶部加一个任务相关的输出层，用极少的训练步数就能适配任意下游任务。

3. 实验结论 ​

BERT-large 在 11 项 NLP 基准上全面刷新 SOTA：

基准BERT-large此前最好
GLUE 综合分80.572.8
SQuAD v1.1（问答 F1）93.290.9（人类 91.2）
SQuAD v2.0（F1）83.180.1
SWAG（常识推理）86.383.0

尤其 SQuAD v1.1 上 F1 93.2 首次超过人类水平 91.2，引发了公众对"AI 阅读理解超过人类"的广泛关注。

4. 对今天的启示 ​

  • 预训练 + 微调范式：海量无标注数据学通用表示、少量标注数据做任务适配——这个范式定义了整个 2010 年代末到 2020 年代。所有大模型都是它的后裔。
  • 双向 vs 单向的分叉与统一：BERT 证明双向理解更强，GPT 证明单向生成更顺。今天的 decoder-only 大模型用"因果掩码 + 注意力"重新统一了两者。看懂这个"分叉再统一"的轨迹，是理解大模型史的关键线索。见大语言模型。
  • 任务设计的创意：把"完形填空"变成预训练任务（MLM），"下一句判断"变成预训练任务（NSP）——预训练目标本身就是一个值得创新的研究对象，后续 T5、RoBERTa 都在改这个目标。
  • 通向规模法则：BERT 用 3.4 亿参数 + 33 亿词，效果随两者同步放大——这直接指向两年后 GPT-3 的"参数、数据、算力三者按幂律增长"。

面试常问的 BERT 一题

"为什么 BERT 能双向而 GPT 不能？"答案要落到 MLM：生成式语言模型必须按顺序预测下一个词，天然单向；BERT 放弃生成、只做理解，用掩码预测"看见全文但挡住一个词"，从而获得双向上下文。架构的选择本质是训练目标的选择。

七、GAN：生成对抗的博弈论（Goodfellow, 2014） ​

1. 问题背景 ​

2014 年前后，深度学习在判别任务（图像分类、语音识别）上全面开花，但生成——从随机噪声里造出逼真的图像——始终做不好：VAE 等显式生成模型要么生成的样本模糊，要么需要复杂的变分推导。当时还是博士生的 Goodfellow 提出了一个颠覆性思路：与其精心设计一个生成模型，不如让两个网络互相对抗、在博弈中共同进化。

2. 核心机制：min-max 博弈 ​

GAN 由两个网络组成一个零和博弈：

  • 生成器 G：吃随机噪声 z，输出伪样本 G(z)，唯一目标是骗过判别器。
  • 判别器 D：判断输入是真实数据还是 G 的假货，输出"是真的"的概率。
        随机噪声 z
           │
           ▼
   ┌─── 生成器 G ───┐   伪造样本 G(z) ──┐
   └────────────────┘                   ▼
                                 ┌─── 判别器 D ───┐
   真实数据 x ────────────────────▶│ 真? / 假?      │
                                 └───────────────┘
   D 想赢：识破一切假货（真样本判真、假样本判假）
   G 想赢：让 D 把 G(z) 判为真
   博弈平衡点：D 输出恒为 0.5（再也分不清），G 就学到了数据分布

价值函数是 min-max 形式：

min_G max_D  V(D,G) = E_x[log D(x)] + E_z[log(1 − D(G(z)))]

训练时交替优化：先固定 G 更新 D，再固定 D 更新 G，如此往复。理论分析表明，在理想条件下博弈收敛于 G 的概率分布等于真实数据分布 p_data。最关键的洞察：不需要显式写出分布密度，只要有一个"打分信号"，生成器就能在对抗中隐式学会整个分布。

3. 实验结论 ​

在 MNIST、TFD 等数据集上，GAN 生成的样本比当时的 VAE 等显式模型更锐利、更逼真，论文中展示的手写数字几乎可以乱真。但原始 GAN 也暴露了深层问题：训练极不稳定——判别器太强则梯度消失、太弱则学不到东西；模式坍缩——生成器只学会产生少数几种样本应付判别器；收敛没有任何保证。

4. 对今天的启示 ​

  • 隐式建模改变了整个生成领域：只要存在一个可微的"真/假评判"，分布就能被间接学出来。这个思想被条件 GAN、StyleGAN、域适应等大量工作继承。
  • 训练不稳定是它最大的遗产：GAN 的对抗训练比最小化单一损失困难得多。正是这个顽疾，为后来训练稳定的扩散模型留下了巨大的替代空间。
  • 对抗思想溢出：对抗样本（骗过分类器的微小扰动）、对抗训练、GAN 数据增强——"让两个模型互相刁难"成了通用工具。
  • 与 DDPM 对照阅读效果最佳：一个用博弈、一个用去噪；一个不稳定但曾质量最高，一个稳定且质量后来居上。同一问题的两种哲学，是理解生成式 AI 的极佳透镜。

GAN 给我们的方法论教训

GAN 论文开创了一个领域，但它自己写下的实验部分也如实报告了"生成结果不稳定、需要精心调参"。一篇论文的价值不在于它是否完美，而在于它是否开启了一条足够多人愿意去修补的路。 后续的 WGAN、DCGAN、StyleGAN 每一篇都在修 GAN 的稳定性——这就是"好的论文打开门"的证据。

八、DDPM：扩散模型重洗生成牌桌（Ho, 2020） ​

1. 问题背景 ​

2020 年的图像生成处于两难：GAN 质量最高但训练不稳、模式坍缩；VAE 稳定但样本模糊、缺乏锐利细节。有没有一种方法训练稳定、模式覆盖全、生成质量还高？Ho、Jain、Abbeel 把 2015 年 Sohl-Dickstein 等人提出的扩散思想（受非平衡热力学启发）用工程配方重新落地，给出了答案——Denoising Diffusion Probabilistic Models（DDPM）。

2. 核心机制：加噪—去噪 ​

扩散模型是一个"先污染、后治理"的两阶段过程：

前向过程（加噪，无需学习）:
  x₀（真实图）──加一点点噪声──▶ x₁ ──▶ x₂ ──▶ ⋯ ──▶ x_T（纯噪声）
  每一步: x_t = √(1−β_t)·x_{t−1} + √β_t·ε ，ε ~ N(0, I)

反向过程（去噪，神经网络学习）:
  训练目标: 给定带噪图 x_t 和时间步 t，预测所加的噪声 ε
  生成:      从纯噪声 x_T 出发，逐步去噪，T 步还原出 x₀

三个关键工程配方让它从"理论上可行"变成"真的能生成"：

  • 简化的训练目标：把复杂的变分下界（ELBO）简化成只优化"预测噪声"的均方误差——监督信号极其简单干净。
  • U-Net 骨干 + 时间步嵌入：用带跳跃连接的 U-Net 做去噪网络，并把时间步 t 作为条件嵌入（网络需要知道"当前该去掉多少噪声"）。
  • 与 VAE 的统一视角：扩散模型本质是一个特殊的层次化 VAE——每一层都把输入"打散成噪声"再学会恢复，只是打散得足够彻底。

3. 实验结论 ​

在无条件 CIFAR-10 上，DDPM 的 FID 达到 9.46，与当时最好的 GAN 相当甚至更优；而它的训练过程全程稳定、无模式坍缩，生成多样性远超 GAN 家族。论文同时用采样质量评估（FID/IS 等）证明了"随机加噪-学习去噪"这条朴素路线不仅能工作，而且能赢得干净利落。

4. 对今天的启示 ​

  • 稳定与质量兼得：DDPM 胜出的根本原因是——把生成建模成"预测噪声"这种简单的回归问题，用稳定的监督学习取代了不稳定的对抗博弈。稳定性是它反超 GAN 的关键，也是它能大规模工程化的前提。
  • 范式迁移的样本：当对抗训练在瓶颈期挣扎时，更朴素的"去噪自编码"弯道超车。这提醒我们：前沿不是唯一的赢法，有时候答案在更基础的数学里。
  • 后续连锁反应：DDIM（更快采样）、Classifier-Free Guidance（可控生成）、Latent Diffusion（Stable Diffusion 的底座）层层叠加，把扩散模型推上了 2022 年后图像/视频/音频生成的主峰。详见扩散模型案例。
  • 方法论：把物理/数学里的老思想（热力学扩散、朗之万动力学）引入机器学习，是发现新模型的捷径——扩散不是第一个例子（残差、注意力也各有前身），也不会是最后一个。

一句话区分 GAN 与扩散

GAN 用一个判别器逼着生成器"像真的"；扩散用 T 步小噪声逼着去噪器"一步步还原"。 前者在博弈中求平衡，后者在简单回归中求稳定。理解了这个差别，你就理解了 2022 年图像生成为什么整体转向扩散。

九、AlphaGo：MCTS + 神经网络合璧（Silver, 2016） ​

1. 问题背景 ​

围棋被公认为 AI 最难攻克的棋类：19×19 棋盘，合法局面约 10¹⁷⁰（国际象棋约 10⁴⁷），远超暴力搜索的极限；而且局面评估极难，没有简单的启发式函数。2016 年之前，最强围棋 AI 也只达到业余水平。DeepMind 的 AlphaGo 首次把**深度学习 + 强化学习 + 蒙特卡洛树搜索（MCTS）**熔为一炉。

2. 核心机制：直觉 + 深思 ​

        ┌────────────────────────────────────────────┐
        │            训练阶段（离线，代价大）            │
        │  策略网络：监督学人类棋谱 → 强化自对弈优化      │
        │  价值网络：自对弈数据回归预测胜率               │
        └────────────────────────────────────────────┘
                              │ 提供"直觉"
                              ▼
        ┌────────────────────────────────────────────┐
        │            搜索阶段（在线，快）               │
        │  MCTS: 策略网络引导"往哪儿看"（缩小分支）      │
        │        价值网络评估"局面好不好"（代替随机模拟） │
        └────────────────────────────────────────────┘
  • 策略网络（Policy Network）：输入棋盘局面，输出下一步的落子概率。先用人类高手棋谱做监督预训练，再用自对弈 + 策略梯度强化学习继续优化。它把搜索的分支因子从约 250 压到几十——搜索只围绕"有希望"的分支展开。
  • 价值网络（Value Network）：评估给定局面的胜率，替代传统 MCTS 里费时的随机对局模拟（rollout），让搜索可以在更少的计算里做出更深更准的判断。
  • MCTS 融合：在推理时，策略网络负责"探索哪条线"，价值网络负责"这条线结果如何"，两者在树搜索中互相修正——这是经典"学习 + 搜索"合璧的典范。强化学习循环见强化学习应用。

3. 实验结论 ​

  • 2015 年 10 月，AlphaGo 5:0 击败欧洲围棋冠军樊麾——AI 首次战胜职业棋手。
  • 2016 年 3 月，4:1 击败世界冠军李世石。第 37 手（对局二）"第 5 线靠"被职业棋手公认为超越人类棋谱的创造性着法——AI 第一次在围棋这样"靠直觉与美感"的领域展现了人类之外的棋路。
  • 分布式训练版本约用 1202 个 CPU + 176 个 GPU；单机版也战胜了樊麾。

4. 对今天的启示 ​

  • 学习与搜索的分工：学习提供"直觉"（该往哪想、局面多好），搜索提供"深思"（把直觉验证到底）。这条合璧路线在 AlphaGo 之后继续进化：AlphaZero 去掉了人类棋谱，只用自对弈就碾压人类水平；今天大模型的"思维链 + 搜索增强"（推理时计算）正是同一个思想。
  • 监督学像人、强化学赢棋：AlphaGo 用监督预训练快速起步、用强化学习超越人类——训练目标的设计比网络结构更决定上限。
  • 里程碑意义：这是深度学习首次在"人类智力巅峰"的棋类竞技中公开战胜人类，公众对 AI 的认知从此被改写。整段历史脉络见演进简史。

与感知机的呼应

AlphaGo 与感知机相隔 58 年，但共享同一个基本信念：结构来自神经科学的启示（深度网络模拟大脑分层处理），能力来自数据驱动的学习。 区别只在于：感知机学一条直线，AlphaGo 学整个围棋的策略与价值。六十年间变大的不是信念，是数据、算力与网络深度。

十、GPT-3：规模法则降临（Brown, 2020） ​

1. 问题背景 ​

BERT 证明了"预训练 + 微调"有效，但微调有个现实瓶颈：每个新任务都要重新收集标注数据、重新训练，成本高且难扩展。GPT-3 提出了更激进的问法：能不能完全不微调——只给模型几个示例（甚至零个示例），它就直接干活？ 论文标题本身就是宣言：《Language Models are Few-Shot Learners》——语言模型是"少样本学习者"。

2. 核心机制：规模 + 上下文学习 ​

  • 规模：1750 亿参数，比前代 GPT-2 大两个数量级；训练数据约 45TB 清理后的网络文本（Common Crawl、WebText 等）。这是当时世界上最大的神经网络。
  • 上下文学习（In-Context Learning）：把任务示例直接写进输入提示（prompt），模型"即看即学"，不更新任何参数。例如要翻译，就在 prompt 里给两三个"英文→中文"的例子，模型直接照做。
  • 三种评测设置：零样本（Zero-shot）、单样本（One-shot）、少样本（Few-shot）。实验结果几乎总是随示例数单调提升——上下文里的示例就是"在线微调"。
  • 规模法则的实证：训练损失、下游任务能力随参数、数据、算力按幂律（power law）稳定提升——"更多算力 + 更多数据 + 更大模型"直接、可预测地转化为更强的能力。
预训练（一次性，代价巨大）:
  45TB 文本 ──▶ 1750 亿参数模型（学习"世界的统计规律"）

推理（即看即学，零成本适配）:
  prompt = "翻译成英文：猫 → cat；狗 → dog；鸟 →" ──▶ "bird"
  ↑ 不给梯度更新，只给几个例子，模型就能完成新任务

3. 实验结论 ​

在翻译、问答、闭卷知识填空、算术、新闻生成等 20+ 任务上，GPT-3 的 few-shot 表现与当时专门微调的 SOTA 相当甚至更好（如 TriviaQA 闭卷问答、算术推理接近或超过微调模型）。同时论文也如实报告了大模型的阴暗面：训练数据里的偏见被放大、生成内容可能捏造事实（幻觉）、规模到一定程度收益递减。这篇论文既宣告了规模的力量，也预告了它的风险。

4. 对今天的启示 ​

  • 规模法则是 2020 年代最硬的信仰：它直接催生了 ChatGPT（2022）、GPT-4（2023）和全球大模型军备竞赛。理解它，才理解为什么各家公司都在疯狂堆 GPU 和买数据。
  • 范式再次切换：从"预训练 + 微调"到"预训练 + 提示/对齐"——人与模型的交互从"写代码微调"变成"对话"。BERT 确立了预训练范式，GPT-3 把交互方式简化为自然语言。
  • 能力藏在数据里：少样本学习的表现说明，许多"能力"可能早已潜伏在预训练数据中，只是需要合适的方式被唤起——这改变了我们对"模型学会什么"的理解。详见大语言模型。
  • 规模不是万能药：偏见、幻觉、数据枯竭、算力物理上限，让"仅靠堆规模"的增长终将放缓。今天的推理时计算、合成数据、算法效率优化，都是对规模法则局限的回应。前沿动态见前沿进展。

规模法则的两面性

规模法则告诉我们"大力出奇迹"，也提醒我们它的边界：模型越大，训练数据里的一条偏见就被放大得越狠；数据总量有限，语料终会耗尽；一块 GPU 的算力增长不是线性的。把规模法则当作工程信念而非万能教条，是读这篇论文该有的平衡感。

十一、读论文的正确姿势：三遍法 ​

精读不是"从头到尾逐字读一遍"，而是有节奏地读三遍，每遍的目标和产出都不同。这个方法来自 S. Keshav 的经典论文《How to Read a Paper》：

遍数时间预算读什么产出
第一遍 · 鸟瞰5–10 分钟标题、摘要、引言、结论、所有图表的标题能回答：解决了什么问题？核心方法一句话？效果如何？
第二遍 · 结构约 1 小时全文正文、图表、公式大意、方法流程能画出方法流程图，能复述关键实验与消融
第三遍 · 精读数小时逐行推导、复现实验、批判性审阅能指出局限、提出改进，能判断"换我的场景会怎样"

具体操作建议：

  1. 第一遍只回答三个问题：它解决什么痛点？它凭什么说是新贡献？它的结论可信吗？答不上来就回去再看摘要——如果第一遍就能答出，恭喜，这篇论文你已经在"略读"层面毕业了。
  2. 第二遍动手画图：把方法画成方块图，把消融实验整理成表格。"画得出来"与"看得懂"是同一件事；画不出来就是还没懂。这一步建议对本文前九篇逐篇练一遍。
  3. 第三遍带上批判：基线是否公平？超参数有没有被调过？结论换到分布外数据还成立吗？再去搜后续论文，看这篇被怎样批评、怎样超越——"被怎样超越"往往比论文本身信息量更大。
  4. 记笔记只记四样：机制一句话、关键数字（注明条件）、作者的失败与局限、与我的场景的相关性。参见本站阅读路径里的笔记模板，术语随手查术语表。

一个关键判断：并不是每篇都值得读到第三遍。 很多论文第二遍读到一半就够用了——当你能预测它下一段要说什么，就停下，把时间留给下一篇文章或一次复现实验。

三遍法实战（用 ResNet 示范）

第一遍：摘要 + 结论——"加了恒等捷径的残差网络解决深层退化，152 层超人类水平"。第二遍：读方法 + 实验——画残差块方块图，整理"退化不是过拟合"的证据，对比 34/50/101/152 层的误差表。第三遍：推导梯度沿捷径回传为什么快，质疑"BN 的作用被算进残差收益没有"，再搜"残差连接为什么有效"的后续分析论文。三遍之后，这篇论文才真正属于你。

十二、这九篇的共同规律 ​

九篇论文跨越 62 年、覆盖感知、语言、博弈、生成五大领域，但放在一起，规律惊人地一致：

规律一：好论文都来自解决具体的痛点，而不是追逐新概念。

  • 感知机解决"机器能不能学会判断"；AlexNet 解决"深度 CNN 训练不起来"；ResNet 解决"更深反而更差"；Transformer 解决"RNN 不能并行 + 长距离遗忘"；BERT 解决"语言模型单向"；GAN 解决"生成模型做不出锐利样本"；DDPM 解决"GAN 训练不稳定"；AlphaGo 解决"围棋搜索分支因子太大"；GPT-3 解决"每个任务都要标注数据微调"。
  • 每一个痛点都是当时堵在路上的具体障碍，事后回看全都"重要到不需要解释"。痛点定义问题，问题定义创新。

规律二：核心机制简单到一句话能讲清。

  • 残差连接：把 F(x) 换成 F(x) + x；注意力：softmax(QKᵀ/√d)·V；Dropout：随机丢一半神经元；扩散：加噪再学去噪；对抗：让两个网络互相骗。真正改变领域的机制，往往一句话就能讲清。复杂是实现的复杂，不是概念的复杂。 如果一篇论文的核心机制需要三页纸才讲得清，它大概率不是这个量级的贡献。

规律三：都用实验证明"是机制在起作用"，而不是只给结果。

  • ResNet 用"训练误差也更高"排除过拟合，定位退化在优化层；Transformer 用 BLEU + 训练成本双指标证明架构优势；BERT 用 11 项基准 + 消融（去掉 NSP 会怎样）逐个验证组件；AlexNet 报告"没有 Dropout 就过拟合"。好论文不仅给结果，还给"证明结果是机制导致的"的实验设计。 这也是你阅读时最该抓住的部分。

规律四：突破几乎都来自"跨界借思想"。

  • 感知机借神经科学，残差借信号处理的"差分/预测校正"，注意力借信息检索的"查询-键值"，GAN 借博弈论的纳什均衡，扩散借热力学的熵增与朗之万动力学，AlphaGo 借博弈树搜索，GPT-3 借统计物理的幂律。站在别的学科肩膀上，是降低创新成本的最短路径。 想追前沿，先看它借了谁的锤子。

规律五：每篇都打开一扇门，而不是关上一扇门。

  • ResNet 让"更深"成为可能，Transformer 让"更大"成为可能，DDPM 让"稳定生成"成为可能，GPT-3 让"规模即能力"成为可检验的假说——它们没有终结一个领域，而是让领域爆发。判断一篇论文价值的简单标准：它是否让后续工作更容易、更便宜、更有可能？ 用这条标准重读这九篇，每一篇都稳稳通过。

用一句话总结

读论文与其说是学知识，不如说是学如何发现和解决问题。这九篇的共同方法论是：找到一个具体的、可测量的痛点 → 给出一个机制简单、可解释的解法 → 用消融实验证明机制与效果之间的因果链。 你如果能复现这条方法论，就具备了独立研究的骨架。剩下的，就是把论文地图上的每一个坐标都走一遍。

延伸阅读 ​

参考资料 ​

以下均为真实公开资源，可直接访问原文：