返回课程列表
Day 11
Week 2模型训练与推理优化
模型服务框架
20 分钟安排： 1. 5 分钟：了解 TorchServe / Triton 的定位。 2. 10 分钟：想象有"一台统一的推理服务器"，多个模型挂在上面。 3. 5 分钟：写下各自优点： • TorchServe → PyTorch 生态 • Triton → 多框架 / 多模型 / 高性能
🎯学习目标
- 1了解 TorchServe / Triton 的定位
- 2想象有"一台统一的推理服务器"，多个模型挂在上面
- 3写下各自优点：TorchServe → PyTorch 生态；Triton → 多框架 / 多模型 / 高性能
💡核心概念
TorchServe：部署 PyTorch 模型的标准化方式Triton：NVIDIA 推出的通用推理服务器模型热加载 / 热更新：不停机替换模型版本
🛠实战提示
思考：你的"SecondMind"将来是：调别人 API（OpenAI 等）还是挂在你自己的 Triton 集群上？
✅20 分钟安排
1. 5 分钟：
2. 10 分钟：
3. 5 分钟：
TorchServe → PyTorch 生态
Triton → 多框架 / 多模型 / 高性能
📚学习资源
📝学习笔记
还没有笔记，开始记录你的学习心得吧