什么是机器学习
机器学习是从数据中自动发现规律、并用规律做预测或决策的学科。本文给出精确定义、形式化框架、与 AI/统计/传统编程/优化的边界辨析，以及"为什么机器能学习"的核心原理。
外观
Skip to content✨ 推荐 ✨ 推荐 ✨ 推荐 ✨ 推荐 ✨ 推荐 ✨ 推荐 ✨ 推荐 ✨ 推荐 ✨ 推荐 ✨ 推荐 ✨ 推荐 ✨ 推荐 ✨ 推荐 ✨ 推荐
MACHINE LEARNING HANDBOOK
机器学习手册
从数据到决策的系统化知识 —— 建模范式 · 特征工程 · 优化与评估 · 深度学习 · 生成式模型 · MLOps · 职业路径
从哪条路开始
50+ 篇内容不是要你通读的图书馆，而是可以按需组合的路线图
✨ 编辑推荐
只读十篇的话，读这些
0102030405060708091011121314
🧭 什么是机器学习
机器学习是从数据中自动发现规律、并用规律做预测或决策的学科。本文给出精确定义、形式化框架、与 AI/统计/传统编程/优化的边界辨析，以及"为什么机器能学习"的核心原理。
导读🧭 学习路径：三条路线
本站 50 余页内容不是要你通读的图书馆，而是可以按需组合的路线图：为三个月内要面试的人准备求职冲刺线，为想打牢底子的人准备八周系统精进线，为在职建造者准备「问题 → 页面」的案头速查索引。
导读🧭 总体架构解剖
一个生产级机器学习系统的完整骨架：从问题定义、数据管道、特征工程、模型训练、评估迭代到部署监控的九大环节。本文是本站的内容地图，每个环节指向深入文章。
导读🧠 过拟合与正则化
过拟合是机器学习第一大坑：模型把训练集的噪声当成了规律。本文讲透过拟合的成因与识别信号，以及六大正则化武器——L1/L2、Dropout、早停、数据增强、剪枝、集成——各自的原理、适用场景与权衡。
核心知识🧠 监督学习
监督学习是"带标签数据"驱动的建模范式。本文系统讲解任务类型（分类/回归/排序）、损失函数与训练目标、经典算法家族（线性、树、核、神经网络）的选型逻辑，以及何时该用什么模型的决策框架。
核心知识🧠 模型评估与验证
模型评估是机器学习的地基——偏差方差权衡、训练/验证/测试划分、交叉验证、混淆矩阵、精确率/召回率/F1/AUC、类别不平衡处理。本文给出从指标选择到验证方法论的完整框架。
核心知识🧠 深度学习基础
深度学习 = 多层神经网络 + 表征学习。本文从神经元、激活函数讲到前向/反向传播、CNN/RNN/Transformer 架构、损失与训练，给出从零理解深度学习的完整路线，以及它与经典机器学习的选型边界。
核心知识🧠 特征工程
特征工程是把原始数据变成模型能消化的数值特征的过程——缺失值处理、类别编码、数值缩放、特征变换、组合与选择。本文给出完整的特征工程清单与"先简单基线，再按证据加特征"的迭代原则。
核心知识🧠 优化与梯度下降
训练机器学习模型就是解一个优化问题。本文系统拆解梯度下降家族——批/随机/小批量、动量、Adam/AdamW、学习率调度——以及梯度消失/爆炸、局部最优、loss 不收敛的排查方法。
核心知识🧠 MLOps 与模型部署
模型训练出来只是开始——上线、监控、再训练才是生产级 ML 的主战场。本文讲清 MLOps 全貌：实验管理、模型注册、部署方式、推理服务、监控漂移、再训练闭环，以及"为什么很多模型死于上线后没人管"。
核心知识🔍 大语言模型（LLM）
大语言模型是深度学习与规模法则的集大成者。本文拆解 LLM 的技术全景：预训练与规模法则、指令微调与 RLHF、上下文学习与思维链、RAG 与微调、推理部署，以及 2025–2026 年的前沿走向。
经典案例🔍 图神经网络
图神经网络（GNN）用消息传递让模型学会"看图说话"——在社交网络、分子、知识图谱上做节点分类、链接预测与图分类。本文拆解消息传递机制、GCN/GraphSAGE/GAT 三大代表模型，并讨论过平滑、表达力上限等深层问题。
经典案例🔍 CNN 与计算机视觉
从 AlexNet 到 ViT——卷积神经网络如何统治计算机视觉十年。本文拆解 CNN 的架构演进（AlexNet/ResNet/EfficientNet）、图像任务家族（分类/检测/分割）、训练技巧（迁移学习/数据增强），以及视觉大模型的现状。
经典案例🔍 Transformer 与 NLP
2017 年的《Attention Is All You Need》用一个注意力机制统治了自然语言处理。本文拆解 Transformer 架构（自注意力/多头/位置编码）、编码器-解码器范式、BERT 与 GPT 的分野，以及 NLP 任务家族的现代解法。
经典案例全站内容
按模块浏览，或直接搜索
学习路径：三条路线
本站 50 余页内容不是要你通读的图书馆，而是可以按需组合的路线图：为三个月内要面试的人准备求职冲刺线，为想打牢底子的人准备八周系统精进线，为在职建造者准备「问题 → 页面」的案头速查索引。
演进简史
从 1956 年达特茅斯会议到 2020 年代的大模型时代，机器学习经历了三次寒冬与两次范式跃迁。本文用一条时间线讲清 AI/ML/DL 七十年的起落逻辑，以及每次"冷"与"热"背后的技术原因。
总体架构解剖
一个生产级机器学习系统的完整骨架：从问题定义、数据管道、特征工程、模型训练、评估迭代到部署监控的九大环节。本文是本站的内容地图，每个环节指向深入文章。
ML vs AI vs 深度学习 vs 数据科学
机器学习、人工智能、深度学习、数据科学、数据分析、统计建模——六个天天被混用的词，边界到底在哪？本文给出包含关系图、判据与决策建议。
过拟合与正则化
过拟合是机器学习第一大坑：模型把训练集的噪声当成了规律。本文讲透过拟合的成因与识别信号，以及六大正则化武器——L1/L2、Dropout、早停、数据增强、剪枝、集成——各自的原理、适用场景与权衡。
监督学习
监督学习是"带标签数据"驱动的建模范式。本文系统讲解任务类型（分类/回归/排序）、损失函数与训练目标、经典算法家族（线性、树、核、神经网络）的选型逻辑，以及何时该用什么模型的决策框架。
可解释性与公平性
模型不仅要对，还要让人信得过。本文讲清可解释性的三个层次（全局/局部/事后解释）、主流方法（特征重要性、SHAP、LIME、注意力）、公平性评估与偏见来源，以及可信 ML 的工程实践。
模型评估与验证
模型评估是机器学习的地基——偏差方差权衡、训练/验证/测试划分、交叉验证、混淆矩阵、精确率/召回率/F1/AUC、类别不平衡处理。本文给出从指标选择到验证方法论的完整框架。
强化学习
强化学习是第三种建模范式：没有标签也没有标准答案，只有环境反馈的奖励信号。本文讲清 MDP 框架、探索与利用、价值学习 vs 策略学习、深度强化学习（DQN/PPO），以及强化学习适合解决什么问题。
深度学习基础
深度学习 = 多层神经网络 + 表征学习。本文从神经元、激活函数讲到前向/反向传播、CNN/RNN/Transformer 架构、损失与训练，给出从零理解深度学习的完整路线，以及它与经典机器学习的选型边界。
生成式模型
从 GAN 到扩散模型到大语言模型——生成式模型是"学会创造"的一类方法。本文讲清生成建模的本质（学习数据分布）、三大技术路线（VAE/GAN/扩散）的原理与对比，以及生成式 AI 的能力边界与风险。
数据与数据工程
机器学习项目 80% 的时间花在数据上。本文系统讲解数据采集、清洗、标注、版本化、数据泄露，以及特征存储与数据管道——从"拿到数据"到"能训练"的完整工程面。
特征工程
特征工程是把原始数据变成模型能消化的数值特征的过程——缺失值处理、类别编码、数值缩放、特征变换、组合与选择。本文给出完整的特征工程清单与"先简单基线，再按证据加特征"的迭代原则。
无监督学习
没有标签怎么办？无监督学习从数据本身发现结构——聚类、降维、异常检测、关联规则。本文讲清四大任务的原理、代表算法与评估困境，以及"无监督"在真实业务中的落地方式。
优化与梯度下降
训练机器学习模型就是解一个优化问题。本文系统拆解梯度下降家族——批/随机/小批量、动量、Adam/AdamW、学习率调度——以及梯度消失/爆炸、局部最优、loss 不收敛的排查方法。
MLOps 与模型部署
模型训练出来只是开始——上线、监控、再训练才是生产级 ML 的主战场。本文讲清 MLOps 全貌：实验管理、模型注册、部署方式、推理服务、监控漂移、再训练闭环，以及"为什么很多模型死于上线后没人管"。
大语言模型（LLM）
大语言模型是深度学习与规模法则的集大成者。本文拆解 LLM 的技术全景：预训练与规模法则、指令微调与 RLHF、上下文学习与思维链、RAG 与微调、推理部署，以及 2025–2026 年的前沿走向。
聚类与降维
没有标签，机器学习还能做什么？本文深入拆解 K-Means（EM 视角、K 的选择）、DBSCAN 与层次聚类、内部/外部评估困境、PCA 与 t-SNE 的原理与陷阱，并给出 sklearn 实战案例与真实业务落地方式。
扩散模型与生成式 AI
从 DDPM 到 Stable Diffusion：本文拆解扩散模型加噪/去噪的数学原理、潜空间架构与采样加速方法，讲清 ControlNet、LoRA 等条件控制技术，并给出本地实战代码与风险评估。
强化学习应用
AlphaGo 如何从零自学碾压人类棋手？机器人怎样在仿真中学会真实世界的动作？本文拆解游戏、机器人、推荐、调度与大模型对齐五大领域的 RL 落地案例，剖析 MCTS、PPO、SAC、RLHF 的核心机制与工程挑战。
树模型与集成学习
决策树如何分裂？随机森林为什么降方差？GBDT 为什么降偏差？本文系统讲解从单棵决策树到 XGBoost、LightGBM 的完整脉络，并给出实战代码与特征重要性、SHAP 解释。
图神经网络
图神经网络（GNN）用消息传递让模型学会"看图说话"——在社交网络、分子、知识图谱上做节点分类、链接预测与图分类。本文拆解消息传递机制、GCN/GraphSAGE/GAT 三大代表模型，并讨论过平滑、表达力上限等深层问题。
推荐系统
从用户-物品交互出发，本文系统讲解协同过滤、矩阵分解（SVD/SVD++）到工业界"召回→排序→重排"三段式架构，并给出评估指标、冷启动、探索-利用与完整的 surprise 实战代码。
线性模型与逻辑回归
线性回归与逻辑回归是机器学习最基础也最常被低估的模型：既是可解释性最强的"白盒"，又是任何项目必须做的第一个基线。本文从最小二乘与极大似然两个视角讲透原理，覆盖闭式解、梯度下降、R²、正则化、GLM 家族与 sklearn 实战。
CNN 与计算机视觉
从 AlexNet 到 ViT——卷积神经网络如何统治计算机视觉十年。本文拆解 CNN 的架构演进（AlexNet/ResNet/EfficientNet）、图像任务家族（分类/检测/分割）、训练技巧（迁移学习/数据增强），以及视觉大模型的现状。
Transformer 与 NLP
2017 年的《Attention Is All You Need》用一个注意力机制统治了自然语言处理。本文拆解 Transformer 架构（自注意力/多头/位置编码）、编码器-解码器范式、BERT 与 GPT 的分野，以及 NLP 任务家族的现代解法。
从这里开始
为什么机器学习学习者要读论文？本文说清论文阅读的三种价值，按目标给出三条入门路线，并介绍本站论文栏目地图，最后附上一条读论文最重要的一条建议。
经典论文精读
从感知机到 GPT-3，逐篇精读改变机器学习的九篇经典论文：背景、机制、实验、启示，并附三遍读论文法与九篇论文背后的共同规律，助你建立论文阅读坐标系。
论文地图
把机器学习六十年发展的关键论文按主题分组排成一张可检索的地图，覆盖机器学习基础、深度学习奠基、Transformer、生成模型、强化学习、树模型与表征学习七大主题，附范式迁移时间轴、按任务查论文索引与精读泛读路线。
前沿进展
机器学习前沿每周都在变化：本文给出用 arXiv、顶会与学者动态追踪研究的方法，拆解大模型效率、推理模型、多模态、Agent、对齐安全、数据工程六条主线，并诚实评估未解难题，助你选择深耕方向。
阅读纪律与 FAQ
读论文的方法论手册：怎么读论文里的数字和图表、怎么用红旗信号判断论文好坏，以及 12 个高频问题的逐条解答——读不懂、记不住、找不到相关论文、读不完，都有具体对策。
阅读路径
论文海量且艰深，盲目开卷只会劝退。本文给出三条路径——快速入门线、系统研读线、前沿追踪线，并附三遍阅读法，帮你按目标选路线、按节奏读论文。
常见陷阱与反模式
数据泄露、过拟合不自知、训练与线上不一致、幻觉当事实……本清单覆盖数据、特征、模型、评估、工程与大模型六个层面的 25 个高频陷阱，每个都给出症状、原因、后果与正确做法，并附一张可勾选的自检清单。
从零搭一套模型评估
模型评估不是算几个指标，而是一套围绕业务目标设计的系统方法。本文从评估体系设计出发，给出分类、回归、交叉验证、错误分析、类别不平衡与 LLM 评估的完整代码与工程化实践。
从零构建一个 ML 项目
用泰坦尼克生存预测这一经典小项目，走通从数据加载、EDA、特征工程、基线模型到迭代改进、错误分析的完整流程：每一步给出可运行代码、解释、仓库目录结构、常见坑与进阶方向。
调参与超参数优化
调参是模型落地的必经之路，也是最容易浪费算力与时间的地方。本文讲解调参的正确顺序、各模型关键超参数、网格/随机/贝叶斯三种搜索方法的对比与代码实战，并给出深度学习调参与实验纪律的完整方法论。
渐进式教程：三版跑起来
同一份鸢尾花数据，用三个版本渐进进阶：先 50 行 sklearn 逻辑回归跑通完整闭环，再加特征工程、交叉验证与学习曲线，最后换成 PyTorch 神经网络。亲手跑三遍，就掌握了机器学习从入门到工程化的完整路径。
框架与工具怎么选
scikit-learn、PyTorch、vLLM 还是云 API？本文从数据形态、团队与部署环境出发，给出表格数据、深度学习、大模型三大场景的框架选型对比表，以及一份可勾选的决策清单。
作品集项目
作品集是求职面试中最有力的谈资。本文给出好项目的四条标准、按难度分级的具体选题、完整交付物清单、README 模板，以及用 STAR 法则讲项目与避开反模式的方法。
ML 设计原则
机器学习项目失败很少因为模型不够先进，更多死于设计错误。本文提炼十条设计原则：先跑基线、简单优先、评估先行、数据大于模型、可复现、防泄露、监控上线、错误分析驱动迭代，并讨论例外与团队规范。
面试题库
算法岗面试全景与高频真题解析：九大轮次的考察逻辑、15 道机器学习基础题、10 道深度学习题、8 道大模型题与手撕代码/项目深挖应对框架，附「不知道」话术与 1 周/1 个月冲刺清单。
模块导读与岗位版图
机器学习求职版图全景：算法工程师、ML 工程师、数据科学家、大模型工程师等九类岗位的职责、核心技能与薪资对比，配技能雷达图与背景/兴趣/趋势三维决策清单，并给出 career 模块四页的使用地图。
能力对标：简历该突出什么
简历不是经历流水账，而是证明你具备岗位能力的证据链。本文给出 JD 能力对标法、STAR 法 ML 版项目写法、技术栈分层策略、十大致命反例与简历模板骨架。
JD 清单：国内外大厂在招岗位
精选国内外大厂在招机器学习岗位的通用技能要求，拆解算法工程师、大模型工程师等岗位的硬性要求与加分项，提炼高频技能词频表并映射到本站学习页面，帮助你从 JD 反推学习计划。
JD 知识点拆解
把招聘 JD 里"精通机器学习""熟悉深度学习"翻译成可逐项复习的知识点清单。五大知识板块 + 五档自评表，从"没听过"到"能讲透"逐项打分，自动生成属于你自己的补课路线图。
精选资源清单
从吴恩达课程到 CS231n，从 ISLR 到花书，从 Kaggle 到 MLflow：一份按学习阶段组织、官方链接逐一核验的机器学习入门与精进资源地图。
术语表
机器学习领域核心术语表：基础概念、数据、模型与算法、深度学习、评估与指标、生产与可信 ML 等 60+ 术语的准确定义与辨析。
数据集与工具档案
机器学习数据集与工具档案：按任务分类的数据集速查表（Iris、MNIST、ImageNet、SQuAD、MovieLens 等）、主流获取渠道、标注与合成工具、常用库与数据工程工具，以及练习选数据的实用建议。
数学基础速查
机器学习背后的数学不是门槛而是工具：线性代数、微积分、概率统计、信息论与优化五大块，每条概念对应一个具体 ML 用途，配按需学习策略与 3Blue1Brown、Strang、Khan Academy 等真实自学资源。