Skip to content

30. Dynamic Shape Handling | 动态 Shape 处理 (Dynamic Shape Handling)

难度: Medium-Hard | 标签: 动态 Shape, 推理服务, Batching | 目标人群: 想理解变长序列和动态 batching 的学习者

这是一篇占位页,目前只保留入口和简短说明。后续正文会在 Chapter 1 主线稳定后补充。

当前状态

  • 占位中,暂不展开正文
  • 先保留可点击入口,后续更新时再补内容
  • Notebook 暂不展开

后续更新

  • 动态 batching
  • 变长序列的显存管理
  • Padding vs bucketing
  • CUDA Graph 与动态 shape 的冲突和折中

Released under the MIT License.