GELU

Gaussian Error Linear Unit (GELU)

ref:

• 1606.08415v3
• GELU — PyTorch 2.10 documentation

$$\mathrm{GELU}(x)=x\cdot \Phi (x)$$

• $x\ast \Phi (x)$ 是高斯分布的累积分布函数：

$$\Phi (x)={\int }_{-\infty }^x\frac{1}{\sqrt{2\pi }}{e}^{-\frac{t^2}{2}}dt$$

完整形式：

$$\mathrm{GELU}(x)=x\cdot \Phi (x)=x\cdot {\int }_{-\infty }^x\frac{1}{\sqrt{2\pi }}{e}^{-\frac{t^2}{2}}dt$$

近似值：

$$\mathrm{GELU}(x)=0.5\ast x\ast (1+\mathrm{Tanh}(\sqrt{2/\pi }\ast (x+0.044715\ast x^3)))$$

核心思想：它根据输入值的大小，概率性地对其进行保留或归零，而不是像 ReLU 那样根据正负进行硬性截断。

这里所谓的“保留或归零”，意思是一种对保留、归零的模拟，输出的是一个概率的期望值。

出发点

设计一个随机的“门”，该门根据当前输入 x 决定是否打开还是关闭。对于随机门控机制的状态，服从一个伯努利分布。

$$m\sim Bernoulli(\Phi (x))$$

得到期望

$$\mathrm{E}(m\cdot x)=x\cdot \Phi (x)$$