Skip to content

25. Sparse Computation and Sparse Attention | 稀疏计算与稀疏注意力 (Sparse Computation & Sparse Attention)

难度: Medium-Hard | 标签: 稀疏计算, 稀疏注意力, 推理优化 | 目标人群: 想了解稀疏化加速直觉的学习者

这是一篇占位页,目前只保留入口和简短说明。后续正文会在 Chapter 1 主线稳定后补充。

当前状态

  • 占位中,暂不展开正文
  • 先保留可点击入口,后续更新时再补内容
  • Notebook 暂不展开

后续更新

  • 结构化稀疏 vs 非结构化稀疏
  • NVIDIA 2:4 稀疏模式
  • 稀疏 Attention 变体
  • 稀疏训练的收敛性和工程代价

Released under the MIT License.