Skip to content

07. Activation Functions | 激活函数

难度: Easy | 标签: PyTorch, Activation, GELU, SiLU | 目标人群: Chapter 0 入门学习者

学习目标

  • 理解 ReLU、GELU 和 SiLU 的常见写法
  • 学会把激活函数抽象成可复用的小工具
  • 为后续 Transformer/MLP 代码阅读打底

核心练习

  • relu
  • gelu_exact
  • silu
  • activation_summary

练习提示

  • 先确认公式,再写实现
  • 尽量对齐 PyTorch 官方实现做单测
  • 激活函数属于逐元素运算,注意输入输出 shape 保持一致

Released under the MIT License.