はじめに
この前のブログでは、HiPPOフレームワークとLSSLについて書いた。
https://zenn.dev/izmyon/articles/8374a11d272602
本シリーズでは、mambaの理論的背景を理解するために、それらの先行研究を順々にまとめて解説していく。重要な先行研究としては、LMU, HiPPO, LSSL, S4, H3などがあり、主に以下の流れで解説する。
HiPPOフレームワークとLSSL
S4のアルゴリズム
H3とHyena Hierarchy
mamba
本記事は、第二弾として、S4のアルゴリズムについて書く。
元論文を以下に記す。
S4
https://arxiv.org/abs/2111.00396
読者の方へ
補足や訂正などがあれば、コメントにて優しく丁寧にご教示いただけると喜びます。
書くのけっこう大変だったのでバッチを送っていただけると嬉しいです。たくさんもらえると僕のやる気が上がって投稿頻度が上がるかもしれません。（逆にもらえないと下がるかもしれない。）
おさらい：状態空間モデル
LSSLでは、以下のような状態方程式を考え、1次元の信号u(t) y(t) N x(t)
\begin{align}
x'(t) = A x(t) + B u(t)
\\
y(t) = C x(t) + D u(t)
\end{align}
S4の論文中や解説記事であるThe annotated S4（文献[8]）では、行列D
そして、行列A x(t) u(t)
\begin{align}
A_{nk} = - \left\{
\begin{array}{ll}
(2n+1)^{1/2} (2k+1)^{1/2} & \text{if} \ n>k \\
n+1 & \text{if} \ n=k \\
0 & \text{if} \ n<k \\
\end{array}
\right.
\end{align}
また、式(1)、(2)ではu(t) \Delta (u_0, u_1, \ldots) u_k u(t) \Delta u_k = u(k\Delta) (u_0, u_1, \ldots)
\begin{align}
x_k &= \bar{A} x_{k-1} + \bar{B} u_k
\\
y_k &= \bar{C} x_k + \bar{D} u_k
\\
\text{where,} \notag
\\
\bar{A} &= (I - \frac{\Delta}{2}A)^{-1} (I + \frac{\Delta}{2}A)
\\
\bar{B} &= (I - \frac{\Delta}{2}A)^{-1} \Delta B
\\
\bar{C} &= C, \bar{D} = D
\end{align}
また、式(4)、(5)から、以下が導かれる。
\begin{align}
y_k = (\overline{C A}^k \overline{B} u_0 + \overline{C A}^{k-1} \overline{B} u_1 + \cdots + \overline{C A B}u_{k-1} + \overline{CB}u_k) + \overline{D}u_k
\end{align}
ここで、入力u L \bar{K}
\begin{align}
\overline{K} \in \mathbb{R}^L := \mathcal{K}_L (\overline{A}, \overline{B}, \overline{C}):= (\overline{C A}^i \overline{B})_{i \in [L]} = (\overline{CB}, \overline{CAB}, \ldots, \overline{CA}^{L-1} \overline{B})
\end{align}
これを用いると、以下のように表せる。
\begin{align}
y = \bar{K} * u + \overline{D}u_k
\end{align}
ただし、u = (u_0, u_1, \ldots, u_{L-1}) \bar{K} \bar{K}
SSMカーネルの計算に伴う課題
式(4)、(5)の再帰形式、式(11)の畳み込み形式で、\bar{A} \bar{A} \bar{A} A
!
ここで、なぜ対角化を考えるのかがわからなかった人のために対角化について説明する。
n A A n n \Lambda n V
ここで、対角行列\Lambda
\Lambda =
\begin{bmatrix}
\lambda_1 & 0 & \cdots & 0 \\
0 & \lambda_2 & \cdots & 0 \\
\vdots & \vdots & \ddots & \vdots \\
0 & 0 & \cdots & \lambda_n \\
\end{bmatrix}
すると、\Lambda
\Lambda^k =
\begin{bmatrix}
\lambda_1^k & 0 & \cdots & 0 \\
0 & \lambda_2^k & \cdots & 0 \\
\vdots & \vdots & \ddots & \vdots \\
0 & 0 & \cdots & \lambda_n^k \\
\end{bmatrix}
さらに、元の行列A
\begin{align}
A^k &= (V \Lambda V^{-1})^k = (V \Lambda V^{-1})(V \Lambda V^{-1}) \cdots (V \Lambda V^{-1}) \notag
\\
&= V \Lambda (V^{-1} V) \Lambda (V^{-1} V) \Lambda \cdots (V^{-1} V) \Lambda V^{-1} \notag
\\
&= V \Lambda^k V^{-1}
\end{align}
\Lambda^k A^k
式(1), (2)の対角化に関して、次の二つの補題が成り立つ。
Lemma [3, p.5, 3.1]
式(1)、(2)のSSMに共役な作用を施しても同じ変換\bold{u \mapsto y} \bold{(A, B, C, D) \simeq (V^{-1}AV, V^{-1}B, CV, D)}
証明 ：
状態x \tilde{x}
\begin{align}
x' = Ax + Bu
\\
y = Cx + Du
\end{align}
\begin{align}
\tilde{x}' = V^{-1} A V \tilde{x} + V^{-1} B u
\\
y = C V \tilde{x} + D u
\end{align}
式(15)に左からV x = V \tilde{x} x V u \mapsto y
（証明終）
Lemma [3, p.5, 3.2]
式(3)のHiPPO行列A \bold{V_{i,j} = \binom{i+j}{i-j}} \bold{V_{3i,i} = \binom{4i}{2i} \simeq 2^{4i}} \bold{V} \bold{2^{4N/3}}
（証明略）
これらの補題から、A A \bar{K} N
Normal Plus Low-Rank (NPLR)とDiagnoral Plus Low-Rank (DPLR)
ここれまで行列A A
Theorem [3, p.6, 1]
文献[1]で用いたすべてのHiPPO行列は、ユリタリ行列V \in \mathbb{C}^{N \times N} \Lambda P, Q \in \mathbb{R}^{N \times r} r=1 r=2 r=1
\begin{align}
A = V \Lambda V^* - PQ^T = V (\Lambda - (V^* P)(V^* Q)^* ) V^*
\end{align}
文献[3]（S4の論文）では、文献[1]（HiPPOの論文）で紹介されたすべてのHiPPO行列について証明を与えているが、HiPPO-LegSの行列A M_{nk} = \frac{1}{2}(2n+1)^{1/2}(2k+1)^{1/2}
\begin{align*}
M_{nk} + A_{nk} =& - \left\{
\begin{array}{ll}
\frac{1}{2}(2n+1)^{1/2} (2k+1)^{1/2} & \text{if} \ n>k \\
\frac{1}{2} & \text{if} \ n=k \\
-\frac{1}{2}(2n+1)^{1/2}(2k+1)^{1/2} & \text{if} \ n<k \\
\end{array}
\right.
\end{align*}
ここで、以下のように交代行列S
\begin{align*}
S_{nk} = - \left\{
\begin{array}{ll}
\frac{1}{2}(2n+1)^{1/2} (2k+1)^{1/2} & \text{if} \ n>k \\
0 & \text{if} \ n=k \\
-\frac{1}{2}(2n+1)^{1/2}(2k+1)^{1/2} & \text{if} \ n<k \\
\end{array}
\right.
\end{align*}
すると、M+A
\begin{align*}
M + A = - \frac{1}{2} I + S
\end{align*}
と表せる。したがって、
\begin{align}
A = (- \frac{1}{2} I + S) - M
\end{align}
交代行列S - \frac{1}{2} I + S
さらに、M N \times 1 P_n = \frac{1}{2}(2n+1)^{1/2} Q_n = (2n+1)^{1/2} M=PQ^T - \frac{1}{2} I + S V \Lambda V^*
\begin{align*}
A = (- \frac{1}{2} I + S) - M = V \Lambda V^* - PQ^T
\end{align*}
さらに、NPLRは、以下の式(19)で表されるDiagnoral Plus Low-Rank (DPLR)形式と共役である。このことは、NPLRの式(17)からすぐに分かるだろう。
\begin{align}
V^* A V = \Lambda - (V^*P)(V^*Q)^*
\end{align}
S4では、実験的に性能の向上が確認されている、式(3)のNPLR形式で表されるHiPPO行列（Theorem [3, p.6, 1]）で行列A (A, B, C, D) \Lambda P, Q, \tilde{B}, \tilde{C}, D \in \mathbb{C}^{N \times 1} (\Lambda - PQ^*, \tilde{B}, \tilde{C}, D) A
!
ここをもう少し詳しく考える。A \Lambda P, Q, B, C \in \mathbb{C}^{N \times 1} V
\begin{align*}
A = V \Lambda V^* - PQ^T = V (\Lambda - (V^* P)(V^* Q)^* ) V^*
\end{align*}
これを式(13), (14)のSSＭに代入すると、以下のようになる。
\begin{align*}
x' &= V (\Lambda - (V^* P)(V^* Q)^* ) V^* x + Bu
\\
y &= Cx + Du
\end{align*}
両辺に左からV^*
\begin{align*}
V^* x' &= (\Lambda - (V^* P)(V^* Q)^* ) V^* x + V^* Bu
\\
y &= Cx + Du
\end{align*}
ここで、\tilde{x} = V^* x \tilde{C} = CV \tilde{B} = V^* B \tilde{P} = V^* P \tilde{Q} = V^* Q
\begin{align*}
\tilde{x}' &= (\Lambda - \tilde{P}\tilde{Q}^* ) \tilde{x} + \tilde{B}u
\\
y &= \tilde{C}\tilde{x} + Du
\end{align*}
これは、(\Lambda - \tilde{P}\tilde{Q}^*, \tilde{B}, \tilde{C}, D)
以上より、(A, B, C, D) \tilde{x} = V^* x \tilde{C} = CV \tilde{B} = V^* B \tilde{P} = V^* P \tilde{Q} = V^* Q (\Lambda - \tilde{P}\tilde{Q}^*, \tilde{B}, \tilde{C}, D)
したがって、NPLRであるHiPPO行列A A \Lambda - \tilde{P}\tilde{Q}^*
S4のアルゴリズム
S4のアルゴリズムを用いれば、行列A O(N) \tilde{O}(N+L) O(N+L)
ここで、以下の補題で表されるWoodburyの行列恒等式が鍵を握る。
Proposition [3, p.23, 4]
可換環\bold{\mathcal{R}} \bold{A \in \mathcal{R}^{N \times N}} \bold{U, V \in \mathcal{R}^{N \times p}} \bold{A} \bold{A+UV^*} \bold{I_p + V^* A^{-1} U \in \mathcal{R}^{p \times p}}
\begin{align}
(A + UV^*)^{-1} = A^{-1} - A^{-1} U (I_p + V^* A^{-1} U)^{-1} V^* A^{-1}
\end{align}
再帰形式
再帰形式では、式(4)、(5)を計算していく。A = \Lambda - PQ^* \bar{A} \bar{B} \bar{A} (I - \Delta/2 \cdot A)^{-1} (I + \Delta/2 \cdot A) \bar{B} (I - \Delta/2 \cdot A)^{-1} A (I + \Delta/2 \cdot A) (I - \Delta/2 \cdot A)^{-1}
(I + \Delta/2 \cdot A)
\begin{align}
I + \frac{\Delta}{2} A &= I + \frac{\Delta}{2} (\Lambda - PQ^*) \notag
\\
&= \frac{\Delta}{2} [\frac{2}{\Delta} I + (\Lambda - PQ^*)] \notag
\\
&= \frac{\Delta}{2} A_0
\end{align}
ここで、以下のように置いた。
\begin{align}
A_0 = \frac{2}{\Delta} I + (\Lambda - PQ^*)
\end{align}
(I - \Delta/2 \cdot A)^{-1}
\begin{align}
(I - \frac{\Delta}{2} A)^{-1} &= (I - \frac{\Delta}{2} (\Lambda - PQ^*))^{-1} \notag
\\
&= (\frac{\Delta}{2} (\frac{2}{\Delta}- \Lambda + PQ^*))^{-1} \notag
\\
&= \frac{2}{\Delta} (\frac{2}{\Delta}- \Lambda + PQ^*)^{-1} \notag
\\
&= \frac{2}{\Delta} [R - RP(I + Q^* RP)^{-1} Q^* R] \quad (\because Woodburyの行列恒等式を用いた。) \notag
\\
&= \frac{2}{\Delta} A_1
\end{align}
ここで、以下のように置いた。
\begin{align}
R &= (\frac{2}{\Delta} - \Lambda)^{-1}
\\
A_1 &= R - RP(I + Q^* RP)^{-1} Q^* R
\end{align}
以上を用いると、S4の再帰形式用いる\bar{A} \bar{B}
\begin{align}
\bar{A} &= A_1 A_0
\\
\bar{B} &= \frac{2}{\Delta} A_1 \Delta B = 2 A_1 B
\end{align}
従って、離散化されたSSM、式(4)、(5)は、以下のように表せる。
\begin{align}
x_k &= \bar{A} x_{k-1} + \bar{B} u_k \notag
\\
&= A_1 A_0 x_{k-1} + 2 A_1 B u_k
\\
y_k &= C x_k
\end{align}
ここで、A_0 A_1 O(N)
Theorem [3, p.6, 2]
任意のステップサイズ\Delta N O(N)
畳み込み形式
畳み込み形式の計算で重要なのは、SSMカーネル\bar{K}
S4で用いるアルゴリズムを計算するために、行列C \mathbb{C}^{1 \times N} B, P, Q
\begin{align}
x'(t) &= A x(t) + B u(t)
\\
y(t) &= C^* x(t) + D u(t)
\end{align}
この時、式(10)のSSMカーネルは、以下のように表される。
\begin{align}
\mathcal{K}_L (\overline{A}, \overline{B}, \overline{C}) = (\overline{C}^* \overline{B}, \overline{C}^* \overline{AB}, \ldots, \overline{C}^*\overline{A}^{L-1} \overline{B}) \in \mathbb{R}^L
\end{align}
ここで、SSM生成関数を、z
\begin{align}
\hat{\mathcal{K}}(z; \bar{A}, \bar{B}, \bar{C}) \in \mathbb{C} := \sum^{\infty}_{i=0} \overline{C}^*\overline{A}^i \overline{B} z^i = \overline{C}^* \overline{B} \sum^{\infty}_{i=0} (\overline{A} z)^i = \overline{C}^* (I - \overline{A} z)^{-1} \overline{B}
\end{align}
さらに、長さL
\begin{align}
\hat{\mathcal{K}}_L (z; \bar{A}, \bar{B}, \bar{C}) \in \mathbb{C} := \sum^{L-1}_{i=0} \overline{C}^*\overline{A}^i \overline{B} z^i = \overline{C}^* (I - \overline{A}^L z^L)(I - \overline{A}z)^{-1} \overline{B}
\end{align}
ここでの目的は\bar{A}
Lemma [3, p.23, C.2]
SSM関数\mathcal{K}_L (\overline{A}, \overline{B}, \overline{C}) \Omega = {\exp(- 2 \pi i \frac{k}{L}) : k \in [L])} i \hat{\mathcal{K}}_L (\Omega; \bar{A}, \bar{B}, \bar{C}) O(L \log L)
証明 ：
\begin{align*}
\overline{K} &= \mathcal{K}_L (\overline{A}, \overline{B}, \overline{C}) = (\overline{C}^* \overline{B}, \overline{C}^* \overline{AB}, \ldots, \overline{C}^*\overline{A}^{L-1} \overline{B})
\\
\hat{K} &= \hat{\mathcal{K}}_L (\Omega; \bar{A}, \bar{B}, \bar{C})
\end{align*}
と表すこととし、さらに、\overline{K} k \overline{K}_k
\begin{align*}
\overline{K}_k = \overline{C}^*\overline{A}^k \overline{B}
\end{align*}
さらに、以下のように\hat{K}_j
\begin{align}
\hat{K}_j = \sum^{L-1}_{k=0} \overline{K}_k \exp(- 2 \pi i \frac{jk}{L})
\end{align}
式(35)は離散フーリエ変換（DFT）の式と一致しており、\overline{K} \hat{K}
したがって逆に、\hat{K} \overline{K} O(L \log L)
（証明終）
したがって、ここからは\hat{K} \hat{K}
Lemma [3, p.23, C.3]
\bold{A} \bold{A=\Lambda - PQ^*} \bold{z \in \Omega} \bold{L}
\begin{align}
\hat{\mathcal{K}}_L (z; \bar{A}, \bar{B}, \bar{C}) &= \frac{2}{1+z}[\tilde{C}^*R(z)B - \tilde{C}^*R(z)P (1 + Q^*R(z)P)^{-1} Q^* R(z)B]
\\
\tilde{C} &= (I - \overline{A}^L)^* \overline{C}
\\
R(z; \Lambda) &= (\frac{2}{\Delta} \frac{1-z}{1+z} I - \Lambda)^{-1}
\end{align}
証明 ：
\begin{align*}
\hat{\mathcal{K}}_L (z; \bar{A}, \bar{B}, \bar{C})
&= \overline{C}^*\overline{B} + \overline{C}^*\overline{AB}z + \cdots + \overline{C}^*\overline{A}^{L-1}\overline{B} z^{L-1}
\\
&= \overline{C}^* (I - \overline{A}^L) (I - \overline{A}z)^{-1} \overline{B}
\\
&= \tilde{C}^* (I - \overline{A}z)^{-1} \overline{B}
\end{align*}
ここで、
\begin{align}
\tilde{C}^* =\overline{C}^* (I - \overline{A}^L)
\end{align}
とした。これは式(37)の共役転置である。
ここで、式(6)、(7)で以下のように離散化したことを思い出す。
\begin{align*}
\bar{A} &= (I - \frac{\Delta}{2}A)^{-1} (I + \frac{\Delta}{2}A)
\\
\bar{B} &= (I - \frac{\Delta}{2}A)^{-1} \Delta B
\end{align*}
まず\bar{A} = (I - \frac{\Delta}{2}A)^{-1} (I + \frac{\Delta}{2}A)
\begin{align}
\hat{\mathcal{K}}_L (z; \bar{A}, \bar{B}, \bar{C}) =& \tilde{C}^* （I － \overline{A} z ) \notag
\\
=& \tilde{C}^* [(I - \frac{\Delta}{2}A)^{-1} (I - \frac{\Delta}{2}A) - (I - \frac{\Delta}{2}A)^{-1} (I + \frac{\Delta}{2}A) z ]^{-1} \overline{B} \notag
\\
=& \tilde{C}^* [(I - \frac{\Delta}{2}A) - (I + \frac{\Delta}{2}A) z]^{-1} (I - \frac{\Delta}{2}A) \overline{B} \notag
\\
=& \tilde{C}^* [I(1-z) - \frac{\Delta}{2}A(1+z)]^{-1} \Delta B \notag
\\
&(\because 式(7)より、\Delta B = \bar{B} (I - \frac{\Delta}{2}A)) \notag
\\
=& \tilde{C}^* [\frac{1+z}{2} ( 2 \frac{1-z}{1+z} I - \Delta A)]^{-1} \Delta B \notag
\\
=& \frac{2}{1+z} \tilde{C}^* [ \frac{2}{\Delta} \frac{1-z}{1+z} I - A]^{-1} B \notag
\\
=& \frac{2}{1+z} \tilde{C}^* [ \frac{2}{\Delta} \frac{1-z}{1+z} I - \Lambda + PQ^* ]^{-1} B \notag
\\
=& \frac{2}{1+z} \tilde{C}^* [ R(z)^{-1} + PQ^* ]^{-1} B
\end{align}
ここで、
\begin{align}
R(z) = (\frac{2}{\Delta} \frac{1-z}{1+z} I - \Lambda)^{-1}
\end{align}
と置いた。
ここで、Woodburyの行列恒等式を用いると、
\begin{align}
[ R(z)^{-1} + PQ^* ]^{-1} = R(z) - R(z) P (I + Q^* R(z) P)^{-1} Q^* R(z)
\end{align}
従って、式(40)に式(42)を代入して、
\begin{align*}
\hat{\mathcal{K}}_L (z; \bar{A}, \bar{B}, \bar{C}) &= \frac{2}{1+z} \tilde{C}^* [ R(z) - R(z) P (I + Q^* R(z) P)^{-1} Q^* R(z) ] B
\\
&= \frac{2}{1+z}[\tilde{C}^* R(z) B - \tilde{C}^* R(z) P (I + Q^* R(z) P)^{-1} Q^* R(z) B]
\end{align*}
が成り立つ。（証明終）
この補題により、\hat{K} \hat{K} \overline{K}
従って次は式(36)でどうやって\hat{K} \hat{K} R(z) \tilde{C}^* R(z) B \tilde{C}^* R(z) P Q^* R(z) P Q^* R(z) B R(z)
Definition [3, p.25, 3]
ノード\bold{\Omega = (\omega_i ) \in \mathbb{C}^M} \bold{\Lambda = (\lambda_j) \in \mathbb{C}^N}
\begin{align*}
M \in \mathbb{C}^{M \times N} = M(\Omega, \Lambda) = (M_ij)_{i \in [M], j \in [N]}
\quad M_ij = \frac{1}{\omega_i - \lambda_j}
\end{align*}
また、サイズM \times N C(M, N)
Proposition [3, p.25, 5]
コーシー核は\bold{O(M+N)}
\begin{align*}
C(M, N) = \left\{
\begin{array}{ll}
O(MN) & \text{if} \ ナイーブな計算 \\
O((M+N) \log^2 (M+N)) & 正確な計算 \\
O((M+N) \log (M+N) \log \frac{1}{\epsilon}) & εの精度での数値計算 \\
\end{array}
\right.
\end{align*}
したがって、ビッグオー記法O \tilde{O}
Corollary [3, p.25, C.5]
任意のノード集合\bold{\Omega \in \mathbb{C}^L} \bold{\Lambda} \bold{P} \bold{Q} \bold{Q^*R(\Omega; \Lambda)P} \bold{C(L, N)} \bold{O(L+N)} \bold{C(L, N) = \tilde{O}(L+N)}
このことから、\hat{K} \tilde{C}^* R(z) B \tilde{C}^* R(z) P Q^* R(z) P Q^* R(z) B \tilde{O}(L+N) K
\begin{align}
K &=
\begin{bmatrix}
\tilde{C} & Q
\end{bmatrix}^*
R(z)
\begin{bmatrix}
B & P
\end{bmatrix}
=
\begin{bmatrix}
\tilde{C}^* \\
Q^*
\end{bmatrix}
R(z)
\begin{bmatrix}
B & P
\end{bmatrix}
=
\begin{bmatrix}
\tilde{C}^* R(z) \\
Q^* R(z)
\end{bmatrix}
\begin{bmatrix}
B & P
\end{bmatrix} \notag
\\
&=
\begin{bmatrix}
\tilde{C}^* R(z) B & \tilde{C}^* R(z) P\\
Q^* R(z) B & Q^* R(z) P
\end{bmatrix}
\end{align}
K
\begin{align*}
K =
\begin{bmatrix}
k_{00} (\omega) & k_{01} (\omega) \\
k_{10} (\omega) & k_{11} (\omega) \\
\end{bmatrix}
\end{align*}
すると、\hat{K} K
\begin{align*}
\hat{\mathcal{K}}_L (z; \bar{A}, \bar{B}, \bar{C}) &= \frac{2}{1+z}[k_{00} (\omega) - k_{01} (\omega) (1 + k_{11} (\omega))^{-1} k_{10} (\omega)]
\end{align*}
このようにして\hat{K} \overline{K} O(L \log L)
S4のSSMカーネルを求めるアルゴリズム
ここまでの流れをまとめると、S4のSSM畳み込みカーネル\overline{K}
S4の畳み込みカーネルアルゴリズム
Input: S4パラメータ\Lambda, P, Q, B, C \in \mathbb{C}^N \Delta
Output: A = \Lambda - PQ^* \overline{K}=\mathcal{K}_L (\overline{A}, \overline{B}, \overline{C})
1. \tilde{C} \leftarrow (I - \overline{A}^L)^* \overline{C}
2. \begin{bmatrix} k_{00} (\omega) & k_{01} (\omega) \\ k_{10} (\omega) & k_{11} (\omega) \\ \end{bmatrix} \leftarrow \begin{bmatrix} \tilde{C} & Q \end{bmatrix}^* R(z) \begin{bmatrix} B & P \end{bmatrix}
3. \hat{\mathcal{K}} (z) \leftarrow \frac{2}{1+z}[k_{00} (\omega) - k_{01} (\omega) (1 + k_{11} (\omega))^{-1} k_{10} (\omega)]
4. \hat{\mathcal{K}} = \{\hat{\mathcal{K}}(\omega): \omega = \exp(2 \pi i \frac{k}{L}) \}
5. \overline{K} \leftarrow iFFT(\hat{K})
以上より、このアルゴリズムについて、以下の定理が成り立つ。
Theorem [3, p.6, 3]
任意のステップサイズ\Delta \overline{K} \tilde{O}(N+L) O(N+L)
このアルゴリズムによりSSMカーネル\bar{K} y
Deep S4 Layer
Under Constructionn
実装とともに理解したい方へ
ここまで理解した読者であれば、Sasha Rush氏とSidd Karamcheti氏による以下の解説記事The annotated S4(文献[8])をすらすら読むことが出来ると思われる。JAXによる実装がついた非常に詳細で面白い記事となっているので、是非読んでみてください。
https://srush.github.io/annotated-s4/
S4D
Under Constructionn
参考文献
[1] Gu, A., Dao, T., Ermon, S., Rudra, A., & Ré, C. (2020). Hippo: Recurrent memory with optimal polynomial projections. Advances in neural information processing systems, 33, 1474-1487.https://techblog.morphoinc.com/entry/2022/05/24/102648 , 2024年2月10日閲覧https://dora.bk.tsukuba.ac.jp/~takeuchi/?線形代数Ｉ , 2024年2月15日閲覧https://srush.github.io/annotated-s4/ , accessed on March 4th 2024.
Discussion