Open27日前にコメント追加4RoPE のメモsyoyo27日前https://arxiv.org/abs/2104.09864 syoyo27日前に更新2 word で 2D で embedding を扱うとする. 2D 回転行列を使って position encoding する 回転項を対角配置することで n 次元に一般化して拡張できる syoyo27日前RoPE + linear Attention による最終的な Attention 計算式は eq. 19 となりスッキリ syoyo27日前に更新回転行列使うと f(x, m) x f(y, n) = g(x, y, m - n) と, 内積計算が相対量(m - n)での計算にできて都合が良い
syoyo27日前に更新2 word で 2D で embedding を扱うとする. 2D 回転行列を使って position encoding する 回転項を対角配置することで n 次元に一般化して拡張できる
