返回课程列表
Day 20
Week 3数据工程与 MLOps
数据质量保障
20 分钟安排： 1. 5 分钟：想象"突然有一列数据全是 null 会怎样"。 2. 10 分钟：写出你觉得重要的数据质量规则： • 范围 • 唯一性 • 不能为空 3. 5 分钟：了解一下 Great Expectations 在做什么事情。
🎯学习目标
- 1想象"突然有一列数据全是 null 会怎样"
- 2写出你觉得重要的数据质量规则：范围、唯一性、不能为空
- 3了解一下 Great Expectations 在做什么事情
💡核心概念
数据 Schema 验证：确保数据结构符合预期数据质量规则：范围检查、唯一性、非空、格式验证Great Expectations：数据质量测试框架，类似单元测试数据测试框架：自动化数据质量检查，防止坏数据进入模型
🛠实战提示
使用 Great Expectations 或类似工具构建数据质量检查流程。建立数据质量监控，及时发现数据问题。
✅20 分钟安排
1. 5 分钟：
2. 10 分钟：
范围
唯一性
不能为空
3. 5 分钟：
📚学习资源
📝学习笔记
还没有笔记，开始记录你的学习心得吧