返回课程列表
Day 9
Week 2模型训练与推理优化
模型优化技术
20 分钟安排： 1. 5 分钟：用你能理解的话解释：什么是量化？ 2. 10 分钟：写出"做知识蒸馏"的流程：Teacher → Student。 3. 5 分钟：想想你现在常用的大模型，有没有可能用一个小模型替代部分场景？
🎯学习目标
- 1用你能理解的话解释：什么是量化？
- 2写出"做知识蒸馏"的流程：Teacher → Student
- 3想想你现在常用的大模型，有没有可能用一个小模型替代部分场景？
💡核心概念
INT8 / FP16 量化：用更低精度数字存储权重，换速度 & 内存知识蒸馏：大模型教小模型，换取更快的推理模型剪枝：删掉"贡献不大"的权重/通道
🛠实战提示
记住一句话："不一定永远要最强的模型，而是场景里最合适的模型。"
✅20 分钟安排
1. 5 分钟：
2. 10 分钟：
3. 5 分钟：
📚学习资源
📝学习笔记
还没有笔记，开始记录你的学习心得吧