【前編】Transformer解読:AIは「言葉の意味」をどう計算しているのか?
はじめに
2017年、Googleの研究者たちが発表した論文『Attention Is All You Need』。この論文が、世界を不可逆的に変えました(らしい)。
現在のChatGPT、Claude、Geminiといった生成AIブームの源流になる(らしい)。

、、、、、、、。
とは聞くけど、Transformer, Attention何してんのかよくわかんない、理解深めたいけど論文読む体力ない、という方に向けて、私の学習メモを共有しますので参考になればと!
本記事は、以下の神解説動画(数理の弾丸・3Blue1BrownJapanさん)の内容をベースに、直感的なイメージと数学的な厳密さをちょうどいいバランスでまとめてみました。
本記事の参考・元ネタ動画
第1章:AIにおける言葉の革命
1-1. 従来のAIの課題:単語の辞書的に固定された意味の限界
人間は文脈によって言葉の意味を自然に変えています。
しかし、Transformer以前のAI(Word2Vecなど)にとって、それは非常に難しいことでした。
動画内ではMoleという単語の例が挙げられています。
Mole
- 動物の「モグラ」
- 皮膚の「ほくろ」
- 組織の「スパイ」
昔のAIは、「Mole」という単語に対してたった1つの固定ベクトル(数値の列)しか持てませんでした。
辞書のように Mole = [0.1, 0.5, -0.3, ...] と決まっていたため、「土を掘るMole」も「顔にあるMole」も、AIにとっては同じ数値として処理されてしまっていたのです。
これでは高度な読解は不可能です。
1-2. Transformerは空気を読んで単語を理解する
Transformerが出した答えはシンプルかつ革命的でした。
最初から意味を決めつけるのはやめよう。周りの単語を見て、自分の意味(ベクトル)をその場で書き換えればいいよね
- 「掘る」「土」が近くにある
- → 「Mole」にそれらの成分を混ぜる
- → 「モグラ」ベクトルへ変身!
- 「スパイ」「CIA」が近くにある
- → 「Mole」にそれらの成分を混ぜる
- → 「潜入工作員」ベクトルへ変身!
このように、文脈に応じて動的に変化するベクトルのことを*動的埋め込み(Dynamic Embedding)と呼びます。
そして、この「周りの情報を自分に混ぜ合わせる」機能こそが、Attention(注意機構)なのです。
第2章:Attentionの仕組み
2-1. 3つの役割:Q, K, V
Attentionを理解する最大の壁は、
これは、データベース検索やRPGのパーティ会話に例えると直感的に理解できます。
ある単語(例:生き物)が、文脈を理解するために周りの単語(例:「青くて」「ふわふわした」)から情報を集めようとしているシーンを想像してください。
このとき、各単語は以下の3つの役割(ベクトル)に分身します。
① Query(クエリ):Q
- 役割:「私は今、こんな情報を探しています!」という検索ワード(質問)。
- 「生き物」のセリフ:「ねえ、僕を詳しく説明してくれる形容詞、近くにいない?」
② Key(キー):K
- 役割:「私はこういう属性の単語ですよ」という目印(タグ・索引)。
- 「青くて」のセリフ:「はい! 私は『形容詞』で『色』を表す単語です!」
- 「です」のセリフ:「私は『助動詞』です…」
③ Value(バリュー):V
- 役割:「実際にあなたにあげる情報」である中身(コンテンツ)。
- 「青くて」のセリフ:「私の『青色成分』の数値をあげるよ」
2-2. Attentionの流れ
-
照合 (
):Q \times K
「生き物」の質問( )と、周りの単語のタグ(Q )を照らし合わせます。K
「生き物」は形容詞を探しているので、「青くて( )」とは相性が良く、「です(K )」とは相性が悪いです。K -
重み付け (Softmax):
相性の良さをパーセント(確率)に直します。- 青くて:50%
- ふわふわ:40%
- です:10%
-
合成 (
の加重和):V
それぞれの単語が持っている中身( )を、パーセント分だけもらって混ぜ合わせます。V 結果: ただの「生き物」というベクトルが、「青くて(50%) + ふわふわ(40%)」な要素を含んだ新しいベクトルに進化します。
第3章:数式で見るAttentionの仕組み
ここからは「なんとなく」ではなく、エンジニアとして実装できるレベルで数式を理解しましょう。
Attentionの数式は以下の一行です。
この数式を4つのステップに分解して解説します。
STEP 1:内積による類似度計算 (QK^\top )
まず、
ベクトルの世界では、内積をとる =類似度を測る ことを意味します。
- ベクトルの向きが同じ(似ている) → 内積は大きなプラスになる
- ベクトルの向きが逆(似ていない) → 内積はマイナスになる
- 無関係(直交している) → 内積は 0 になる
つまり、
STEP 2:スケーリング (\sqrt{d_k} で割る)
数式にある謎の割り算
これは勾配消失を防ぐための調整です。
ベクトルの次元数(
スコアが極端に大きいと、次のSoftmax関数の結果が「0か1か」に極端に偏ってしまい、AIの学習(逆伝播)がうまくいかなくなります。
それを防ぐために、次元数のルートで割って数値をマイルドにしているのです。これを Scaled Dot-Product Attention と呼びます。
STEP 3:確率化 (Softmax)
スコアを確率分布(合計1.0)に変換します。
これにより、「青くて」には0.5、「ふわふわ」には0.4…といった、Attention Weight(注意の重み) が確定します。
STEP 4:情報の集約 (V との掛け算)
最後に、確率
この計算は行列演算で一発で行えるため、GPUを使って超高速に並列処理できるのがTransformerの強みです。
第4章:Transformerのアーキテクチャ詳細
Attentionの計算方法がわかったところで、それを組み込んだ全体構造(Encoder-Decoder)を見ていきましょう。
4-1. Multi-Head Attention(「視点」を増やす)
1つのAttention(シングルヘッド)だけでは、「文法」も「意味」も「文脈」も全て一度に捉えるのは困難です。
そこで、ベクトルを分割して複数の係を作ります。これを Multi-Head Attention と呼びます。
- ヘッド1:「誰が」「何を」という係り受けを見る係
- ヘッド2:「代名詞」が何を指しているか特定する係
- ヘッド3:前後の感情(ポジティブ/ネガティブ)を見る係
GPT-3では96個ものヘッドがあり、96通りの異なる視点で文章を分析しています。
最後にすべてのヘッドの結果を結合(Concat)し、線形変換することで、多角的な情報を統合した最強のベクトルが完成します。
4-2. Encoder(読み手)と Decoder(書き手)
Transformerは翻訳機(例:日本語→英語)として発明されました。
① Encoder:文章の「理解」
入力された日本語(例:「私は猫が好き」)を処理します。
ここでの特徴は、未来も過去もカンニングし放題であることです(双方向)。
「好き」という単語を処理するとき、後ろにある「猫」も見れるし、前にある「私」も見れます。全単語が一斉にお互いを見て、理解を深めます。これを Self-Attention と呼びます。
② Decoder:文章の「生成」
英語(例:"I like cats")を出力します。
Encoderとは違い、Decoderには厳しいルールがあります。
ルール:未来を見てはいけない(Masking)
"I like" まで作った時点で、まだ作っていない "cats" の情報を見てしまったら、それはただのカンニングであり学習になりません。
そのため、DecoderのSelf-Attentionでは、未来の単語へのAttentionスコアを強制的に
Softmaxを通すと
③ 魔法の橋渡し:Cross-Attention
Decoderは単語を作るとき、Encoderで作った「日本語の意味マップ」をチラ見します。
ここでの役割分担は以下の通りです。
-
Query (
):Decoderから出る。「次はどんな単語を作ればいい?」Q -
Key (
) / Value (K ):Encoderから出る。「日本語の原文データはこれだよ」V
これにより、生成中の英文と、原文の日本語を突き合わせ(アライメント)、正しい翻訳語を選び出すことができるのです。

それがこれ
前編のまとめ
ここまでで、Transformerの基礎となる部分は網羅しました。
- 静的から動的へ:単語の意味は固定せず、Attentionで文脈に応じて作り変える。
- Q, K, V:検索システムのような仕組み(質問・タグ・中身)で、必要な情報を収集する。
- 内積とSoftmax:ベクトルの類似度を計算し、確率(混ぜる濃さ)を決定する。
- Multi-Head:複数の視点で分析し、文法や意味を多角的に捉える。
- Masking:生成時に未来を見ないように、スコアをマイナス無限大にして遮断する。
しかし、現代のLLM(GPT-4やLlama 3)は、さらにこの先へ進んでいます。
ただ仕組みが動くだけでなく、いかに高速に、効率よく動かすかという、極限のエンジニアリングの世界です。
Discussion