CURATED GUIDE · 固定上游版本

动手学深度学习:先修知识与学习导航

从数学与张量先修开始,沿基础网络、卷积、序列、注意力和可复现实验逐步实践。

这是一份以“能运行、能观察、能解释”为标准的深度学习导览。先补必要数学和工程基础,再沿数据、模型、损失、优化与评估完成实验,不从复制整本笔记开始。

1. 开始前先修清单

不要求先完成所有数学课程,但应能在代码和图形中理解以下概念:

如果矩阵形状和广播规则不熟,先用 NumPy 或框架张量完成 10 个小练习:创建、索引、求和、拼接、广播和矩阵乘法。每个操作前先预测输出形状。

上游入口:《动手学深度学习》固定版本目录。

2. 建立可复现实验环境

先根据机器是否有兼容 GPU 选择框架安装方式,不盲目复制他人命令。记录 Python、深度学习框架、CUDA(如有)、操作系统和随机种子;安装后用一个小张量乘法验证设备。

每个实验目录至少保存:

  1. 数据来源、版本、划分规则和预处理步骤。
  2. 配置文件、依赖版本、随机种子与启动命令。
  3. 训练与验证损失、评估指标、运行时间和设备信息。
  4. 最优模型对应的验证结果,而不是直接挑选测试集最好的一次。

首次运行可把数据量与轮数缩小,先验证整个流程。流程通过后再扩大实验,避免在错误的数据管道上浪费长时间训练。

3. 第一阶段:数据、线性模型与基础网络

精选章节:预备知识。

过关标准:看到任意一层配置,能推断参数形状、输出形状和主要参数数量;能说明验证集与测试集各自用途。

4. 第二阶段:卷积网络与视觉实验

精选章节:卷积神经网络。

先实现一个卷积核并手算小矩阵输出,再使用框架完成图像分类。重点理解局部连接、权重共享、步幅、填充和通道,而非死记经典网络名称。

5. 第三阶段:序列、注意力与自然语言处理

精选章节:循环神经网络。

6. 优化、性能与结果可信度

精选章节:优化算法。

调参时先确认数据和评估正确,再一次只改变少量变量。学习率、批量大小、梯度裁剪和混合精度都会影响速度或稳定性;显存不足不能简单通过缩小批量解决后还宣称结果等价。

实验报告至少回答:

  1. 基线是什么,改进相对哪个固定条件?
  2. 使用什么指标,是否符合类别分布和业务目标?
  3. 是否重复运行,随机波动是否可能解释差异?
  4. 训练成本、推理延迟、内存和模型大小是多少?
  5. 错误集中在哪些样本,下一步如何验证?

7. 综合项目与验收

选择一个规模可控的数据集,完成分类或序列任务。先建立简单基线,再增加一种模型改进和一种训练改进,最后提交可复现报告。

8. 来源、版本与许可

本文依据上游固定版本章节结构重新编写先修清单、实验顺序与验收标准,不复制教材正文和代码。上游教材与代码的再利用遵循 Apache-2.0 及仓库内可能的补充声明;外部数据集、模型和课程分别核查其许可与使用条件。

离线保存这份精选导览

关注公众号「日拱一卒」,发送口令「深度学习」,按提示验证后下载 Markdown 或 PDF。

前往下载