这是一份以“能运行、能观察、能解释”为标准的深度学习导览。先补必要数学和工程基础,再沿数据、模型、损失、优化与评估完成实验,不从复制整本笔记开始。
1. 开始前先修清单
不要求先完成所有数学课程,但应能在代码和图形中理解以下概念:
- Python 函数、类、列表与字典、数组切片、异常处理和虚拟环境。
- 向量和矩阵形状、转置、点积、均值、方差及基本概率分布。
- 导数、偏导、链式法则和梯度方向;会用小型数值实验验证直觉。
- 训练集、验证集、测试集的区别,以及数据泄漏为何让评估失真。
如果矩阵形状和广播规则不熟,先用 NumPy 或框架张量完成 10 个小练习:创建、索引、求和、拼接、广播和矩阵乘法。每个操作前先预测输出形状。
上游入口:《动手学深度学习》固定版本目录。
2. 建立可复现实验环境
先根据机器是否有兼容 GPU 选择框架安装方式,不盲目复制他人命令。记录 Python、深度学习框架、CUDA(如有)、操作系统和随机种子;安装后用一个小张量乘法验证设备。
每个实验目录至少保存:
- 数据来源、版本、划分规则和预处理步骤。
- 配置文件、依赖版本、随机种子与启动命令。
- 训练与验证损失、评估指标、运行时间和设备信息。
- 最优模型对应的验证结果,而不是直接挑选测试集最好的一次。
首次运行可把数据量与轮数缩小,先验证整个流程。流程通过后再扩大实验,避免在错误的数据管道上浪费长时间训练。
3. 第一阶段:数据、线性模型与基础网络
精选章节:预备知识。
- 手工构造一个小型回归数据集,比较从零实现与框架高级 API。
- 画出线性回归、softmax 回归和多层感知机的输入输出形状。
- 解释损失函数如何评价预测,优化器如何根据梯度更新参数。
- 观察欠拟合与过拟合曲线,分别用模型容量、权重衰减和暂退法做对照。
- 阶段产出:一个可复现分类实验和一页误差分析,不只报告最终准确率。
过关标准:看到任意一层配置,能推断参数形状、输出形状和主要参数数量;能说明验证集与测试集各自用途。
4. 第二阶段:卷积网络与视觉实验
精选章节:卷积神经网络。
先实现一个卷积核并手算小矩阵输出,再使用框架完成图像分类。重点理解局部连接、权重共享、步幅、填充和通道,而非死记经典网络名称。
- 逐层记录特征图高宽、通道数与参数量,核对下采样位置。
- 比较不同卷积核、归一化和数据增强对训练曲线的影响。
- 抽查错误样本,区分标签噪声、类别混淆和预处理问题。
- 阶段产出:一份基线与改进实验对照,保持除研究变量外的条件一致。
5. 第三阶段:序列、注意力与自然语言处理
精选章节:循环神经网络。
- 理解序列长度、批量大小、词表和隐藏状态的形状关系。
- 比较循环网络按时间传递状态与注意力直接建立位置关联的方式。
- 检查填充位置是否被损失或注意力错误计入,避免短样本训练失真。
- 对生成结果同时做指标评估与人工抽查,记录重复、偏题和事实错误。
- 阶段产出:一个小型序列任务,附数据样例、形状图、指标与失败案例。
6. 优化、性能与结果可信度
精选章节:优化算法。
调参时先确认数据和评估正确,再一次只改变少量变量。学习率、批量大小、梯度裁剪和混合精度都会影响速度或稳定性;显存不足不能简单通过缩小批量解决后还宣称结果等价。
实验报告至少回答:
- 基线是什么,改进相对哪个固定条件?
- 使用什么指标,是否符合类别分布和业务目标?
- 是否重复运行,随机波动是否可能解释差异?
- 训练成本、推理延迟、内存和模型大小是多少?
- 错误集中在哪些样本,下一步如何验证?
7. 综合项目与验收
选择一个规模可控的数据集,完成分类或序列任务。先建立简单基线,再增加一种模型改进和一种训练改进,最后提交可复现报告。
- 数据:来源与许可清楚,划分固定,无测试信息泄漏。
- 代码:一条命令可运行,配置、依赖和种子齐全。
- 实验:基线、对照、曲线、资源成本和错误样本完整。
- 结论:只声称证据支持的效果,明确局限与未解决问题。
- 演示:输入一个样本,能解释预处理、模型输出和后处理全过程。
8. 来源、版本与许可
- 上游项目:d2l-ai/d2l-zh。
- 固定 Commit:
e6b18ccea71451a55fcd861d7b96fddf2587b09a。 - 上游许可:Apache License 2.0。
本文依据上游固定版本章节结构重新编写先修清单、实验顺序与验收标准,不复制教材正文和代码。上游教材与代码的再利用遵循 Apache-2.0 及仓库内可能的补充声明;外部数据集、模型和课程分别核查其许可与使用条件。