🫡

【前編】Transformer解読:AIは「言葉の意味」をどう計算しているのか?

に公開
2026/01/18

はじめに

2017年、Googleの研究者たちが発表した論文『Attention Is All You Need』。この論文が、世界を不可逆的に変えました(らしい)。
現在のChatGPT、Claude、Geminiといった生成AIブームの源流になる(らしい)。

、、、、、、、。
とは聞くけど、Transformer, Attention何してんのかよくわかんない、理解深めたいけど論文読む体力ない、という方に向けて、私の学習メモを共有しますので参考になればと!

本記事は、以下の神解説動画(数理の弾丸・3Blue1BrownJapanさん)の内容をベースに、直感的なイメージと数学的な厳密さをちょうどいいバランスでまとめてみました。

本記事の参考・元ネタ動画

  1. 圧倒的図解で学ぶ「Transformer」徹底解読
  2. GPT解説2 アテンションの仕組み

第1章:AIにおける言葉の革命

1-1. 従来のAIの課題:単語の辞書的に固定された意味の限界

人間は文脈によって言葉の意味を自然に変えています。
しかし、Transformer以前のAI(Word2Vecなど)にとって、それは非常に難しいことでした。

動画内ではMoleという単語の例が挙げられています。

Mole

  1. 動物の「モグラ」
  2. 皮膚の「ほくろ」
  3. 組織の「スパイ」

昔のAIは、「Mole」という単語に対してたった1つの固定ベクトル(数値の列)しか持てませんでした。
辞書のように Mole = [0.1, 0.5, -0.3, ...] と決まっていたため、「土を掘るMole」も「顔にあるMole」も、AIにとっては
同じ数値
として処理されてしまっていたのです。

これでは高度な読解は不可能です。

1-2. Transformerは空気を読んで単語を理解する

Transformerが出した答えはシンプルかつ革命的でした。
最初から意味を決めつけるのはやめよう。周りの単語を見て、自分の意味(ベクトル)をその場で書き換えればいいよね

  • 「掘る」「土」が近くにある
    • → 「Mole」にそれらの成分を混ぜる
    • → 「モグラ」ベクトルへ変身!
  • 「スパイ」「CIA」が近くにある
    • → 「Mole」にそれらの成分を混ぜる
    • → 「潜入工作員」ベクトルへ変身!

このように、文脈に応じて動的に変化するベクトルのことを*動的埋め込み(Dynamic Embedding)と呼びます。
そして、この「周りの情報を自分に混ぜ合わせる」機能こそが、Attention(注意機構)なのです。


第2章:Attentionの仕組み

2-1. 3つの役割:Q, K, V

Attentionを理解する最大の壁は、Q, K, V という3つの記号です。
これは、データベース検索やRPGのパーティ会話に例えると直感的に理解できます。

ある単語(例:生き物)が、文脈を理解するために周りの単語(例:「青くて」「ふわふわした」)から情報を集めようとしているシーンを想像してください。

このとき、各単語は以下の3つの役割(ベクトル)に分身します。

① Query(クエリ):Q

  • 役割:「私は今、こんな情報を探しています!」という検索ワード(質問)。
  • 「生き物」のセリフ:「ねえ、僕を詳しく説明してくれる形容詞、近くにいない?」

② Key(キー):K

  • 役割:「私はこういう属性の単語ですよ」という目印(タグ・索引)。
  • 「青くて」のセリフ:「はい! 私は『形容詞』で『色』を表す単語です!」
  • 「です」のセリフ:「私は『助動詞』です…」

③ Value(バリュー):V

  • 役割:「実際にあなたにあげる情報」である中身(コンテンツ)。
  • 「青くて」のセリフ:「私の『青色成分』の数値をあげるよ」

2-2. Attentionの流れ

  1. 照合 (Q \times K):
    「生き物」の質問(Q)と、周りの単語のタグ(K)を照らし合わせます。
    「生き物」は形容詞を探しているので、「青くて(K)」とは相性が良く、「です(K)」とは相性が悪いです。

  2. 重み付け (Softmax):
    相性の良さをパーセント(確率)に直します。

    • 青くて:50%
    • ふわふわ:40%
    • です:10%
  3. 合成 (Vの加重和):
    それぞれの単語が持っている中身(V)を、パーセント分だけもらって混ぜ合わせます。

    結果: ただの「生き物」というベクトルが、「青くて(50%) + ふわふわ(40%)」な要素を含んだ新しいベクトルに進化します。


第3章:数式で見るAttentionの仕組み

ここからは「なんとなく」ではなく、エンジニアとして実装できるレベルで数式を理解しましょう。
Attentionの数式は以下の一行です。

\mathrm{Attention}(Q,K,V) = \mathrm{softmax}\!\left(\frac{QK^\top}{\sqrt{d_k}}\right) V

この数式を4つのステップに分解して解説します。

STEP 1:内積による類似度計算 (QK^\top)

まず、Q(自分のクエリ)と K^\top(相手のキーの転置)の行列積を計算します。
ベクトルの世界では、内積をとる =類似度を測る ことを意味します。

  • ベクトルの向きが同じ(似ている) → 内積は大きなプラスになる
  • ベクトルの向きが逆(似ていない) → 内積はマイナスになる
  • 無関係(直交している) → 内積は 0 になる

つまり、QK^\top を計算することで、「どの単語とどの単語が仲良し・関係ありか」のスコア(Attention Score)が算出されます。

STEP 2:スケーリング (\sqrt{d_k} で割る)

数式にある謎の割り算 \frac{1}{\sqrt{d_k}}。これは何のためにあるのでしょうか?
これは勾配消失を防ぐための調整です。

ベクトルの次元数(d_k)が大きくなると、内積の結果(スコア)も雪だるま式に大きくなってしまいます。
スコアが極端に大きいと、次のSoftmax関数の結果が「0か1か」に極端に偏ってしまい、AIの学習(逆伝播)がうまくいかなくなります。
それを防ぐために、次元数のルートで割って数値をマイルドにしているのです。これを Scaled Dot-Product Attention と呼びます。

STEP 3:確率化 (Softmax)

スコアを確率分布(合計1.0)に変換します。

\alpha_i = \frac{\exp(\text{score}_i)}{\sum_j \exp(\text{score}_j)}

これにより、「青くて」には0.5、「ふわふわ」には0.4…といった、Attention Weight(注意の重み) が確定します。

STEP 4:情報の集約 (V との掛け算)

最後に、確率 \alpha を重みとして、各単語の Value (V) を足し合わせます。

\text{Output} = 0.5 \times V_{\text{青}} + 0.4 \times V_{\text{ふわ}} + \dots

この計算は行列演算で一発で行えるため、GPUを使って超高速に並列処理できるのがTransformerの強みです。


第4章:Transformerのアーキテクチャ詳細

Attentionの計算方法がわかったところで、それを組み込んだ全体構造(Encoder-Decoder)を見ていきましょう。

4-1. Multi-Head Attention(「視点」を増やす)

1つのAttention(シングルヘッド)だけでは、「文法」も「意味」も「文脈」も全て一度に捉えるのは困難です。
そこで、ベクトルを分割して複数の係を作ります。これを Multi-Head Attention と呼びます。

  • ヘッド1:「誰が」「何を」という係り受けを見る係
  • ヘッド2:「代名詞」が何を指しているか特定する係
  • ヘッド3:前後の感情(ポジティブ/ネガティブ)を見る係

GPT-3では96個ものヘッドがあり、96通りの異なる視点で文章を分析しています。
最後にすべてのヘッドの結果を結合(Concat)し、線形変換することで、多角的な情報を統合した最強のベクトルが完成します。

4-2. Encoder(読み手)と Decoder(書き手)

Transformerは翻訳機(例:日本語→英語)として発明されました。

① Encoder:文章の「理解」

入力された日本語(例:「私は猫が好き」)を処理します。
ここでの特徴は、未来も過去もカンニングし放題であることです(双方向)。

「好き」という単語を処理するとき、後ろにある「猫」も見れるし、前にある「私」も見れます。全単語が一斉にお互いを見て、理解を深めます。これを Self-Attention と呼びます。

② Decoder:文章の「生成」

英語(例:"I like cats")を出力します。
Encoderとは違い、Decoderには厳しいルールがあります。

ルール:未来を見てはいけない(Masking)

"I like" まで作った時点で、まだ作っていない "cats" の情報を見てしまったら、それはただのカンニングであり学習になりません。
そのため、DecoderのSelf-Attentionでは、未来の単語へのAttentionスコアを強制的に -\infty(マイナス無限大) にします。
Softmaxを通すと -\infty は 0 になるため、物理的に未来の情報が遮断されます。これを Masked Self-Attention と呼びます。

③ 魔法の橋渡し:Cross-Attention

Decoderは単語を作るとき、Encoderで作った「日本語の意味マップ」をチラ見します。
ここでの役割分担は以下の通りです。

  • Query (Q):Decoderから出る。「次はどんな単語を作ればいい?」
  • Key (K) / Value (V):Encoderから出る。「日本語の原文データはこれだよ」

これにより、生成中の英文と、原文の日本語を突き合わせ(アライメント)、正しい翻訳語を選び出すことができるのです。

それがこれ


前編のまとめ

ここまでで、Transformerの基礎となる部分は網羅しました。

  1. 静的から動的へ:単語の意味は固定せず、Attentionで文脈に応じて作り変える。
  2. Q, K, V:検索システムのような仕組み(質問・タグ・中身)で、必要な情報を収集する。
  3. 内積とSoftmax:ベクトルの類似度を計算し、確率(混ぜる濃さ)を決定する。
  4. Multi-Head:複数の視点で分析し、文法や意味を多角的に捉える。
  5. Masking:生成時に未来を見ないように、スコアをマイナス無限大にして遮断する。

しかし、現代のLLM(GPT-4やLlama 3)は、さらにこの先へ進んでいます。
ただ仕組みが動くだけでなく、いかに高速に、効率よく動かすかという、極限のエンジニアリングの世界です。

Discussion