✨数式表示のテスト2023/06/26に公開AItech はじめに 数式が表示できるか確認してみる。 Multi-Head Self-Attention \begin{align*}q &= xW_q, & k &= xW_k, & v &= xW_v\end{align*} \begin{align*}\text{score} &= \frac{qk^T}{\sqrt{d_k}} \\\text{Attention}(q, K, V) &= \text{softmax}(\text{score})v \\\text{MultiHead}(Q, K, V) &= \text{Concat}(\text{head}_1, ..., \text{head}_h)W_O\end{align*} Discussion
Discussion