这份路线以“提出可验证的问题”为起点,串联数据获取、清洗、分析、可视化、生命周期与沟通。重点是保留数据来源和决策依据,而不是只生成一张漂亮图表。
学习准备与固定习惯
先掌握 Python 基础、表格数据和简单统计。准备 Jupyter 或同类笔记本环境,并用 Git 管理代码;大型原始数据、个人隐私、账号和密钥不直接提交仓库。
每个项目建立同一份记录:
- 想回答的问题、目标使用者和可接受误差。
- 数据来源、许可、采集时间、字段含义和缺失原因。
- 原始数据只读保存,清洗步骤可重复执行。
- 分析假设、排除条件、图表选择和局限性。
- 结论对应的具体证据,以及仍不能回答的问题。
上游入口:Data Science For Beginners 固定版本。
第 1 周:数据科学问题与伦理
精选入口:导论。
- 区分描述、诊断、预测和支持决策,不把相关关系直接写成因果关系。
- 把一个宽泛问题改成可验证问题,例如比较明确群体、时间窗和指标。
- 识别采样偏差、标签偏差、隐私风险和可能被分析伤害的群体。
- 本周产出:一页项目定义,包含问题、指标、数据需求、伦理检查和失败条件。
第 2 周:关系数据、SQL 与表格操作
精选入口:处理数据。
练习主键、重复记录、过滤、分组、连接和聚合。每次连接前后都记录行数,解释一对多关系是否造成重复;聚合前明确空值是否应计入。
本周产出:从两张小型表生成一份汇总结果,附 SQL 或 DataFrame 代码、行数核对和五个边界测试。
第 3 周:清洗、缺失值与异常值
不要先删空值再分析。先统计每列类型、缺失率、唯一值、范围和样例,再决定填充、标记、排除或回查来源。
- 区分“未知”“不适用”“未采集”和真正的零。
- 日期统一时区和格式,金额统一币种与最小单位,类别统一编码。
- 异常值可能是错误,也可能是最重要的真实事件,必须结合业务核查。
- 将清洗写成可重复函数,保留清洗前后数量和原因。
过关标准:同一原始文件重复运行得到完全一致结果,并能在报告中解释每次删除或修改。
第 4 周:探索性分析与统计直觉
先看分布再算平均数。使用直方图、箱线图和分组统计发现偏态、离群点与群体差异;需要估计不确定性时,说明样本与方法限制。
- 均值、中位数和分位数回答的问题不同,不只选一个好看的数字。
- 比例指标同时给出分子、分母和时间范围。
- 检查幸存者偏差、选择偏差和混杂因素,不夸大结论。
- 本周产出:一页探索报告,至少包含一个推翻初始猜想的发现。
第 5 周:可视化与误导检查
精选入口:数据可视化。
比较趋势用折线,比较类别用条形,展示分布用直方图或箱线图;关系图不能自动证明因果。标题直接说明图表要支持的事实,并注明单位、来源和时间。
检查截断坐标、双轴、颜色、面积和排序是否夸大差异。为颜色视觉障碍保留形状、标签或直接标注,不仅靠红绿区分。
本周产出:同一数据的两张图,一张存在误导、一张修正,并写出具体差异。
第 6 周:数据采集与 API 边界
采集前阅读网站或 API 条款、 robots 说明、速率限制和隐私要求。优先官方导出或公开 API,不绕过登录、验证码和访问控制。
- 保存请求时间、参数、响应状态和原始数据版本。
- 设置超时、有限重试和缓存,避免重复请求放大服务压力。
- 对密钥使用环境变量,日志中不记录令牌和个人敏感信息。
- 本周产出:一个小型可重复采集器,附许可说明、限速和错误处理。
第 7 周:数据科学生命周期
精选入口:数据科学生命周期。
将项目分为获取、准备、分析、表达和维护。在分析前就约定验收指标和停止条件;在交付后考虑数据更新、字段变化和结果过期。
练习:为一个“公开服务请求处理时长”项目画出生命周期。标出每一步负责人、输入、输出、质量检查和失败后的回退路径。
第 8 周:从分析到简单预测
预测前先建立简单基线,例如历史中位数或多数类别。划分训练与测试时防止同一实体或未来信息泄漏;时间数据按时间切分,不随机打散。
本阶段不追求复杂模型。重点理解特征、目标、训练、验证和评估,选择与问题匹配的指标。类别极不平衡时,单独报告准确率通常不足。
过关标准:能解释模型比基线好在哪里、误差集中在哪里、何时不应自动使用预测结果。
第 9 周:云端与实际应用边界
精选入口:云端数据科学。
比较本地与云端在弹性、协作、成本、数据驻留和运维上的取舍。云服务不是默认答案;先用小规模数据验证需求,设置预算、访问控制和资源清理。
本周产出:一份部署决策记录,明确为什么选本地或云端、如何计费、如何备份和如何删除数据。
第 10 周:综合项目与答辩
选择一个可合法使用的小数据集,在有限范围内完成问题定义、清洗、探索、图表和结论。不要做无法收尾的大平台。
最终交付包含:
- 一页摘要:问题、关键发现、建议与限制。
- 可运行笔记本或脚本:从原始数据到结果无需手工改文件。
- 数据字典:字段、单位、缺失含义、来源与许可。
- 质量记录:行数核对、异常处理、图表复查和失败实验。
- 口头答辩:5 分钟讲清证据,另准备回答“如果结论错了,最可能错在哪里”。
来源、版本与许可
- 上游项目:microsoft/Data-Science-For-Beginners。
- 固定 Commit:
4d2ac427ad6f022e73a75c4f46a28bbb7978ec3f。 - 上游版权:Copyright (c) Microsoft Corporation。
- 上游许可:MIT License。
本文依据上游固定版本的课程分区重新编写 10 周路线,并加入原创质量检查、伦理与项目验收清单。上游课程和代码遵循 MIT 许可;外链数据集、云服务、文章与工具分别遵循其原始许可和使用条款。