LLMの中に潜む虚数：複素関数論は現在のAIをどう支えているのか？
「現在のAIは巨大な行列計算の塊であり、その中身は実数（float）である」――これは概ね正しい認識です。しかし、実はその裏側で、複素関数論（Complex Analysis） の概念が、最新のLLMの性能向上に決定的な役割を果たしていることをご存知でしょうか？
今回は、GPT-4やLlama 3、そして次世代モデルMambaなどに通じる「複素数の貢献」について解説します。
1. 回転する位置情報：RoPE (Rotary Positional Embeddings)
現在、MetaのLlamaシリーズ、Mistral、GoogleのPaLMなど、多くのSOTA（State-of-the-Art）モデルで採用されているのが、RoPEという位置エンコーディング手法です。ここに複素数の「回転」の概念が直結しています。
なぜ複素数なのか？
自然言語処理において、「単語の相対的な位置関係（AはBの隣にある）」を理解することは極めて重要です。従来の足し算による位置情報の埋め込みではなく、**「ベクトルを回転させる」**ことで位置情報を表現する手法がRoPEです。
2次元平面上のベクトル を複素数 と見なすと、角度 だけ回転させる操作は、オイラーの公式を用いて以下のように表現できます。
これを実数の行列計算に戻すと、回転行列を掛けることと同義になります。RoPEでは、この「複素平面上での回転」の性質を利用して、トークン同士の距離（内積）が相対位置のみに依存するように設計されています。これにより、LLMは**「どの単語がどの単語の近くにあったか」をより数学的に厳密かつ効率的に学習できる**ようになりました。
2. 次世代アーキテクチャ「SSM」と複素平面
Transformerに代わる、あるいは補完する技術として注目されているSSM（State Space Models）、特にS4やMambaといったモデルにおいて、複素関数論は中心的な役割を果たします。
長期記憶と固有値
SSMは、時系列データを処理する微分方程式を離散化したものと捉えられます。このとき、過去の情報をどれだけ長く保持できるかは、状態遷移行列 の**固有値（Eigenvalues）**の分布に依存します。
- 複素平面上の安定性: 行列 を対角化して計算を高速化する際、複素数の領域で扱われます。
- HiPPO行列: 過去の情報を最適に圧縮するための「HiPPO理論」では、固有値の実部と虚部が記憶の減衰と振動（周波数）を制御します。
もし固有値が実数だけだと表現力が足りませんが、複素数を用いることで「振動的なパターン」や「長期的な依存関係」を効率的に圧縮・保持できます。これが、Mambaなどが非常に長いコンテキスト（数万〜数十万トークン）を低コストで扱える数学的根拠となっています。
3. 高速化技術としてのFFT（高速フーリエ変換）
Transformerの計算量（）を削減しようとする試み（例: FlashAttention登場以前の長文脈手法や、Hyena Hierarchyなど）では、**畳み込み（Convolution）**計算が頻繁に使われます。
畳み込み定理
「時間の領域での畳み込みは、周波数領域での掛け算になる」という定理を利用し、データを一度フーリエ変換（FFT）して周波数領域（複素数）に持ち込み、そこで計算してから逆変換することで、計算速度を劇的に向上させる手法があります。
このプロセス自体が複素数演算をベースにしており、超長文脈を扱う一部の特化型モデルでは現在も重要な技術です。
4. 複素数値ニューラルネットワーク（CVNN）
これはまだメインストリームではありませんが、重みパラメータそのものを複素数 として持つニューラルネットワークの研究も進んでいます。
- 位相（Phase）の学習: 画像や音声、あるいは言語の「波」としての性質（位相情報）を捉えるのに適しています。
- 計算効率: 特定の問題設定では、実数ネットワークよりも少ないパラメータで高い表現力を持つことが示唆されています（XOR問題の解決容易性など）。
まとめ
現在のLLMにおいて、複素関数論は以下のように役立っています。
- RoPE: 複素数の「回転」を利用して、単語の位置関係をスマートに処理する（現在のデファクトスタンダード）。
- SSM (Mamba等): 複素平面上の固有値解析により、超長期記憶の安定性と計算効率を実現する。
- 信号処理的アプローチ: フーリエ変換を通じて、計算の高速化を支える。
一見すると「実数の羅列」に見えるLLMですが、その知能を支えるアルゴリズムの深層には、エレガントな複素数の数学が息づいています。
承知しました。前回の概要から一歩踏み込み、現在のLLMのデファクトスタンダードである**「RoPE（Rotary Positional Embeddings）」が、具体的にどのように複素関数（オイラーの公式）を使って「言葉の意味と位置」を操っているのか、その数学的なカラクリ**を深掘りします。
また、次世代モデルMambaで複素数がどのように「記憶の圧縮」に使われているかについても解説します。
深層解説：LLMを支配する「オイラーの公式」と「回転」の魔術
前回、LLMにおける複素関数の活用として「回転（RoPE）」と「振動（SSM）」を挙げました。ここでは、エンジニアや研究者が実際に扱っている数式レベルの直感へブレイクダウンします。
1. RoPEの核心：なぜ「足し算」ではなく「掛け算（回転）」なのか？
Transformerの元々の論文（Attention Is All You Need）では、単語ベクトルに位置情報を**「足して」**いました（加算）。
しかし、これには欠点があります。「5番目の単語」という絶対的な位置はわかりますが、**「Aという単語の3つ隣にBがある」という「相対的な距離」**を学習するのが苦手なのです。
そこで登場したのが、複素数による回転です。
複素平面でのアプローチ
単語の埋め込みベクトルを2次元ごとのペア（複素数）と見なし、位置 にある単語ベクトル を、角度 だけ回転させます。
ここで、LLMの核心である「Attention（注意機構）」の計算を見てみます。Attentionスコアは、クエリ（）とキー（）の内積で決まります。位置 のクエリと、位置 のキーの内積をとるとどうなるでしょうか？
複素数の性質（指数法則 ）を使うと、驚くべきことが起きます。
この数式の凄さ
結果の項に **** が現れました。
これは、**「内積（単語間の関連度）が、絶対位置 ではなく、相対距離 のみに依存する」**ことを数学的に保証しています。
- 意味: 文章のどこに現れても、「"犬"と"ワンワン"の距離が近ければ関係性は高い」という構造を、学習なしに数学的に注入できる。
- 効果: これにより、Llama 3などは長い文章（Long Context）でも位置を見失わず、高い性能を発揮できます。
2. 次世代モデルMambaと「複素数の記憶」
Transformerの弱点（計算量が文字数の2乗で増える）を克服するために開発された**Mamba（SSM: State Space Models）**では、複素関数論が「記憶の圧縮技術」として使われています。
連続的な記憶を離散化する
SSMは、脳のニューロンのように連続的な信号 を微分方程式で処理します。
この行列 が「記憶の寿命」を決めます。ここで重要なのが、行列 を対角化して計算する際、その成分（固有値）が複素数になる点です。
複素数が作る「構造化された記憶」
固有値 だとすると、その挙動は以下のようになります。
- 実部 (減衰): 過去の記憶をどれくらいの速さで忘れるか（例：直前の単語は鮮明に、1000文字前はぼんやりと）。
- 虚部 (振動): 記憶の周期性やリズム（文脈のパターン）を捉える。
Mambaのベース理論（S4）では、HiPPO行列という特殊な行列を用いて、 の固有値を複素平面上で最適に配置します。これにより、「10万トークン前の情報」を、限られたメモリ容量（状態ベクトル）の中に、フーリエ級数のように波の重ね合わせとして圧縮保存することが可能になります。
実数だけの行列では、このような「振動的な情報の圧縮」を効率よく表現するのは困難です。
3. なぜ実数のGPUで複素数を計算するのか？
現在のGPU（H100など）は、実数の行列演算に特化しています。複素数演算はコストが高いのでは？と思われがちですが、実装上のトリックがあります。
- RoPEの実装: 複素数の掛け算 を行う代わりに、行列の要素を半分ずつずらして掛け合わせるような「回転行列」として実装することで、実数演算のみで高速に処理しています。
- SSMの実装: 複素数の計算が必要なのは学習時の「畳み込み（FFT）」部分が主であり、推論時はリカレント（再帰的）な実数計算に落とし込めるため、爆速で動きます。
結論：複素数は「文脈の幾何学」
現在のAI開発において、複素関数は以下の役割を担っています。
- 幾何学的な意味づけ: 単語同士の関係性を「角度」として定義する（RoPE）。
- 情報の周波数分解: 長い文脈を「波」として捉え、効率的に圧縮・復元する（SSM/Mamba）。
AIモデルが単なる統計マシンから、より高度な推論マシンへと進化する過程で、**「情報をどう空間的に配置し、どう保持するか」**という課題解決のために、数学（複素解析）の重要性はむしろ増していると言えます。
Discussion