返回课程列表
Day 5
Week 1AI 架构基础与系统设计
数据管道设计
20 分钟安排： 1. 5 分钟：写出你知道的"数据流来源"：日志、埋点、交易、设备、第三方接口。 2. 10 分钟：对比： • 批处理适合什么场景？ • 流处理适合什么场景？ 3. 5 分钟：画一个简易数据管道： • 数据源 → Kafka → 流处理 → 特征存储 / Data Warehouse
🎯学习目标
- 1写出你知道的"数据流来源"：日志、埋点、交易、设备、第三方接口
- 2对比：批处理适合什么场景？流处理适合什么场景？
- 3画一个简易数据管道：数据源 → Kafka → 流处理 → 特征存储 / Data Warehouse
💡核心概念
批处理 vs 流处理：批（每天/每小时跑一次，离线）vs 流（来一条处理一条，实时）Kafka / Redis Streams 作用：解耦生产者 / 消费者，做缓冲 & 抗峰值数据血缘 (Data Lineage)：这条特征 / 指标是从哪些原始数据算出来的？
🛠实战提示
想象一个"实时监控用户行为 → 更新推荐特征"的管道：Web 日志 → Kafka → 流式计算 → 特征库。
✅20 分钟安排
1. 5 分钟：
2. 10 分钟：
批处理适合什么场景？
流处理适合什么场景？
3. 5 分钟：
数据源 → Kafka → 流处理 → 特征存储 / Data Warehouse
📚学习资源
📝学习笔记
还没有笔记，开始记录你的学习心得吧