RoPE

Rotary Position Embedding，旋转位置嵌入

ref: RoFormer

概述

在 Transformer 架构中，注意力机制使用参数“距离（pos）”来理解上下文之间的关联程度。该距离参数也是限制了 Transformer 上下文长度的首要因素。

RoPE 修改了距离的表现形式，使用一个旋转矩阵变换查询向量 Q 参数，使其使用一个高维的螺旋旋转来表示线性的距离参数。最终达到扩展 Transformer 上下文的目的。

而 RoPE 之后，原先表示距离长度的 pos，现在用来表示旋转角度。

将 Attention 中表示位置的参数，替换为旋转参数。

查询向量是多维的，可以用复数形式公式化表示：

$q_{d} = q_{d}^{(re)} + i \cdot q_{d}^{(im)}$

等效于一个二维向量

$q_{d} = [q_{d}^{(re)} q_{d}^{(im)}]$

$q_{d}^{'} = q_{d} \cdot e^{im θ_{d}}$

对 $q_{d}$ 做一个旋转矩阵的操作，操作参数为 $e^{im θ_{d}}$
i 表示虚部部分 $- 1$
m 表示长度
$θ_{d}$ 表示对于维度 d 的独立旋转频率，对于不同的 d 维度，使用不同的旋转参数，实际上就是表示了 Transformer 对于不同距离上的参数使用不同的旋转维度，这样就可以让 Transformer 区分不同的距离长度对 Query 的影响。

$e^{i ϕ} = cos ϕ + i sin ϕ$

$e^{im θ_{d}} = cos (m θ_{d}) + i sin (m θ_{d})$

将上式乘入公式，得到的就是一个对于 $q_{d}$ 的旋转操作