📚

【Transformerとは？ - 第一回】Transformerとは？（概要）

に公開
2026/01/30
機械学習
transformer
ニューラルネットワーク
llm
生成 AI
idea

1. はじめに

本記事は、「機械学習素人が Transformer を理解するまでの記録」 という連載の第一回です。
ChatGPT は使っているものの、Transformer の中身はよく分かっていない、という立場から、
基礎に立ち返って理解していく過程をまとめています。

1.1. 今回の内容

今回は、「Transformer とは何か？」をざっくり掴む回です。

数式や内部構造の詳細にはまだ踏み込みません。
代わりに、

  • Transformer は何をしている仕組みなのか
  • LLM とどういう関係にあるのか
  • なぜ「次の単語の確率を出す装置」と言えるのか

といった全体像を、できるだけ引いた視点から整理します。

Transformer の図や専門用語を見て「よく分からん…」となった経験がある人でも、
「なるほど、そういう役割の仕組みなのね」と腹落ちすることを目標にしています。

細かい数式やアルゴリズムは、次回以降で一つずつ分解していく予定です。
今回はまず、森を見る回だと思って読んでもらえればと思います。

1.2. シリーズの目次

導入回：【Transformerとは？ - 導入回】機械学習素人が Transformer を理解するまでの記録

  1. Transformerとは（概要） 👈 今回
  2. ニューラルネットワークとは何か
    • 重み・バイアス・活性化関数
    • 脳との関係（比喩として）
  3. ニューラルネットワークの推論と学習
  4. 自然言語処理とは何をしているのか
  5. 文章の意味と系列モデル（RNN）
  6. 言語モデル・系列変換モデル
  7. Transformerを改めて見る
  8. モデルのチューニング手法の整理
  9. RAGとは何をしているのか
  10. PEFT / Fine Tuning
  11. なぜプロンプトエンジニアリングは効くのか

なお、本シリーズは完成された解説ではなく、学習ログとして公開しています。
理解が更新された場合、過去記事を修正することもあります。

2. まず結論

Transformerは、文章を入力すると「次に来そうな言葉の確率」を計算する仕組みです。
なので、Transformerは、人間の言葉を「意味」ではなく「数値の関係」として扱う仕組みです。

そして、LLMは、Transformerという仕組みを巨大化・高精度化したものです。

3. LLM の立ち位置

LLM (Large Language Model) を調べ始めた初期の頃に思いました。
「LLM」って AI とか機械学習とどういう関係なの？

参考サイト[1][2][3]をみていると、以下の関係性のようでした。
「人工知能(AI)」が一番大枠なのね、と納得するとともに、機械学習や強化学習、深層学習などの用語の関係性が分かりました。

人工知能（AI）
├─ ルールベースAI
│   └─ if-then など人が人手で定義
│
└─ 機械学習
    ├─ 強化学習
    │   └─ 報酬最大化を目的とした学習（生成が主目的ではない）
    │
    └─ ニューラルネットワーク（NN）
        └─ 深層学習（ディープラーニング）
            ├─ 大規模言語モデル（LLM）
            │   └─ 文章生成
            │
            ├─ 画像生成モデル
            │   └─ 画像生成
            │
            └─ 音声生成モデル
                └─ 音声生成

LLM は深層学習の中でも言語に特化したものです。
画像生成モデル、音声生成モデルは LLM とは横並びであり、まとめて生成AIと呼ばれます。
上記は技術の階層を表していますが、「生成AI」という用語は用途分類の用語なので、上記の階層構造には入らないそうです。
技術分類とは別に、以下の用途カテゴリ分類があるイメージです。

生成AI（用途カテゴリ）
├─ 文章生成 → LLM（深層学習）
├─ 画像生成 → 深層学習（拡散モデルなど）
└─ 音声生成 → 深層学習

ということで、LLM 立ち位置がわかりました。
私の思考の癖で、全体像を理解してからでないとその先に進めないため、このような一歩引いた説明は今後も頻発すると思います。

4. Transformer とは何か

4.1. 世の中にある LLM たち

現在、LLMを使えるサービスは様々存在します。
ChatGPT (OpenAI) や、Gemini (Google)、Claude (Anthropic)、など。
それぞれ、gpt-5.2 や Gemini 3、Claude Sonnet 4.5 などが具体的な LLM 名です。

これらは名前は違いますが、実は中身は Transformer が使われています。

例えば下図（Harnessing the Power of LLMs in Practice: A Survey on ChatGPT and Beyond[4]から引用）では、左下のグレーの枝以外は全て Transformer が元になっています。
decoder-only や encoder-only の表記は今は無視しましょう。


Harnessing the Power of LLMs in Practice: A Survey on ChatGPT and Beyond[4:1]から引用

また、Gemini は Google が出している論文[5]に「Gemini models build on top of Transformer decoders」と書かれており、Transformer が基本だと分かります。

4.2. Transformer はニューラルネットワークの一種である

色々 調べる中で Transformer はニューラルネットワーク (NN) の一種だと理解できました。
Transformer を調べると、下図がアーキテクチャとして良く出てきます。


Transformer の大元の論文[6]から引用

初めは、
いや、これなんやねん、と、
左下の Inputs は辛うじて入力と分かるとして、右下はなぜ入力の矢印の部分に Outputs が入力されているんだと、
これどうみても NN ちゃうやんか、
ともう本当に疑問しかなかったです。

これを頑張って理解していったので、その軌跡を記事にまとめていきます。
やればできる、ですね。

とりあえずここでは Transformer は NN の一種である と理解できれば OK です。

4.3. 中身は同じなのに、なぜ性能が違うのか

様々な LLM の中身は Transformer だと分かったら、
じゃあなぜ、gpt-5.2 や Gemini 3、Claude Sonnet 4.5 は性能が違うのか？
と疑問に思いました。

Transformer の基本的な仕組みとしては、「文章を入力して、次の言葉の確率を出す装置」です。
ただ、ここで各社の LLM ごとに Transformer の中身がカスタマイズされています。

Transformer でカスタマイズできる指標は以下です。

  • 層の数（パラメータ数）
  • シーケンス長
  • 学習データ
  • 計算量

これらは後々詳細を理解するとして、私はカレーのイメージで理解しました。

カレーを作ることを考えます。カレー = Transformer とします。
カレーを作る場合に、「カレー」という外枠は同じですが、
カレーのルーとしてバーモンドカレーを使うのか？、チキンカレーにするか？人参はどう切るのか？ナスを入れたりするのか？どれくらい煮込むのか？
といった具合に中身や調理方法が違うと、カレーの味がだいぶ変わると思います。

Transformer も同様に、中身が違うことで性能がだいぶ変わります。
詳細は連載が深まるとともに理解していければと思います。

5. LLMは「確率の世界」

ChatGPT を使っていると、向こう側に「人間」がいて、その人と会話しているように思えてきます。
しかし、ChatGPT の中身の LLM が Transformer で構成されている以上、「文章を入力して、次の言葉の確率を出す装置」が成り立ちます。
つまり ChatGPT は「一番それっぽい単語」を選んでいるだけです。

もう少し専門用語を使うと、

  • 入力：トークン列（文章を細かく分けたもの）
  • 出力：次のトークンの確率分布
  • それを繰り返して文章を作る

となります。
あくまで確率で回答を生成しています。

「ハルシネーション」という言葉があります。
日本語訳では「幻覚」です。
ハルシネーションは LLM が、事実に基づかない情報を、あたかも正しいかのように自信満々に出力する現象です。
これの原因は LLM のバグではありません。「確率」で言葉を選んでいるために起こる現象です。

6. 自然言語を数式で扱えるという衝撃

次の単語を「確率」で選ぶということは、「言語」を数式で表現できる、ことになります。
この事実を知って理解できた時は感動しました。
詳細はここでは述べませんが、基本的な書き方としては以下となります。

P(y_2 | y_1) = {P(y_1, y_2)}/{P(y_1)}

これは
y_1 の単語が選ばれた後に、y_2 が選ばれる確率
です。
P(次の単語∣これまでの文脈) ですね。

このように、「言語」を確率変数として扱うことで、
自然言語を数式の世界に落とし込むことができます。

7. 終わりに

第一回では、Transformer とは何か、そして LLM がどのような位置づけにあるのかを、
かなり引いた視点から整理しました。

正直なところ、最初に Transformer の図を見たときは、
「これは一体何を見せられているんだ……」
という気持ちでした。
ですが調べていく中で、
「文章を入力して、次の単語の確率を計算している仕組み」
と捉え直したことで、少しずつ全体像が見えてきました。

このシリーズは、完成された解説を書くことが目的ではありません。
機械学習の素人が、分からないところで立ち止まりながら、
少しずつ理解していく過程そのものを残すことを目的としています。

次回以降は、Transformer を理解するために必要な前提として、
ニューラルネットワークとは何か、学習とは何をしているのか、といった部分から
一段ずつ積み上げていく予定です。

数式や専門用語も出てきますが、
分からなくなったら一度引いて全体に戻る、
そんな読み方で、気楽に付き合ってもらえたら嬉しいです。

8. 参考

文中で引用しているもの下部に記載しています。
これれに加えて、自然言語処理や Transformer、もっと広く機械学習について非常に参考になるものをこちらで記載しておきます。
シリーズ通して何度も参照することになると思います。

脚注

  1. 機械学習とディープラーニング（深層学習）の違いとは？ ↩︎

  2. LLM（大規模言語モデル）とは？やさしい用語解説 | AIとの違い | クラウド型RPA「AUTORO（オートロ）」 | AUTORO ↩︎

  3. 大規模言語モデル（LLM）とは？仕組みや種類一覧、活用サービス、課題を紹介 | スキルアップAI Journal ↩︎

  4. [2304.13712] Harnessing the Power of LLMs in Practice: A Survey on ChatGPT and Beyond ↩︎ ↩︎

  5. [2312.11805] Gemini: A Family of Highly Capable Multimodal Models ↩︎

  6. [1706.03762] Attention Is All You Need ↩︎

Discussion