数式表示のテスト

はじめに

数式が表示できるか確認してみる。

Multi-Head Self-Attention

$$\begin{align*}q &= xW_q, & k &= xW_k, & v &= xW_v\end{align*}$$

$$\begin{align*}\text{score} &= \frac{qk^T}{\sqrt{d_k}} \\\text{Attention}(q, K, V) &= \text{softmax}(\text{score})v \\\text{MultiHead}(Q, K, V) &= \text{Concat}(\text{head}_1, ..., \text{head}_h)W_O\end{align*}$$