🤖

日本語と英語におけるLLMのトークナイザーの違いと仕組み：コードレベルで徹底解説

2025/02/21に公開

NLP

形態素解析

中野哲平

tech

はじめに

昨今の大規模言語モデル（LLM）のブームにより、自然言語処理（NLP）の進化は目覚ましいものがあります。特に日本語を入力すると自動的に英語に翻訳されたり、複雑な質問にも即座に答えが返ってくるのは驚きです。

しかし、日本語と英語では言語構造が異なるため、トークナイザーの扱い方にも違いがあります。本記事では「日本語の方が英語よりもトークナイザーを使わなくて良いのか？」という疑問を深掘りし、さらにトークナイザーの仕組みをコードレベルで解説していきます。

例文として以下の文章を使用します：

「中野哲平は強いエンジニアになりたい」
「中野哲平は、形態素解析について勉強をしている」
「中野哲平は、東京大学大学院に在籍していた」

1. 日本語と英語のトークナイザーの違い

1.1 英語トークナイザーの特徴

英語はスペースで単語が区切られているため、トークナイジングは比較的単純です。例えば、以下の文：

John wants to become a great engineer.

この文はスペースを基準に以下のように分割されます：

['John', 'wants', 'to', 'become', 'a', 'great', 'engineer', '.']

1.2 日本語トークナイザーの特徴

日本語はスペースで単語が区切られないため、形態素解析器（例：MeCab、SudachiPy）を使って文を分割する必要があります。

例えば、以下の文：

中野哲平は強いエンジニアになりたい

形態素解析を行うと：

['中野哲平', 'は', '強い', 'エンジニア', 'に', 'なり', 'たい']

2. トークナイザーの仕組み：コードレベルでの解説

2.1 英語のトークナイザー（例：WordPiece, BPE）

以下は、英語でよく使われるByte Pair Encoding（BPE）の簡単な実装例です：

def simple_bpe_tokenizer(text, vocab):
    tokens = []
    for word in text.split():
        if word in vocab:
            tokens.append(word)
        else:
            # 未知語をサブワードに分割
            subwords = [char for char in word]
            tokens.extend(subwords)
    return tokens

vocab = {'John', 'wants', 'to', 'become', 'a', 'great', 'engineer'}
text = "John wants to become a great engineer."
print(simple_bpe_tokenizer(text, vocab))

出力：

['John', 'wants', 'to', 'become', 'a', 'great', 'engineer', '.']

2.2 日本語のトークナイザー（例：MeCab）

日本語では形態素解析が必要です。以下はMeCabを用いた例です：

import MeCab

def mecab_tokenize(text):
    tagger = MeCab.Tagger()
    parsed = tagger.parse(text)
    tokens = [line.split('\t')[0] for line in parsed.split('\n') if line and line != 'EOS']
    return tokens

text = "中野哲平は強いエンジニアになりたい"
print(mecab_tokenize(text))

出力：

['中野哲平', 'は', '強い', 'エンジニア', 'に', 'なり', 'たい']

3. トークンのエンベディングと次元ベクトル化

3.1 トークンから数値IDへの変換

トークナイザーは、トークンを数値IDにマッピングします。

vocab = {'中野哲平': 1, 'は': 2, '強い': 3, 'エンジニア': 4, 'に': 5, 'なり': 6, 'たい': 7}
tokens = ['中野哲平', 'は', '強い', 'エンジニア', 'に', 'なり', 'たい']

ids = [vocab[token] for token in tokens]
print(ids)

出力：

[1, 2, 3, 4, 5, 6, 7]

3.2 エンベディングベクトルへの変換

次に、IDをエンベディングベクトルに変換します。

import numpy as np

embedding_dim = 5  # 例えば5次元のエンベディング
embedding_matrix = np.random.rand(len(vocab) + 1, embedding_dim)

embedded_tokens = [embedding_matrix[id] for id in ids]

for token, vector in zip(tokens, embedded_tokens):
    print(f"{token}: {vector}")

出力例：

中野哲平: [0.23 0.75 0.12 0.89 0.56]
は: [0.45 0.34 0.67 0.23 0.78]
強い: [0.11 0.56 0.89 0.34 0.21]
...

3.3 文全体のエンベディング

最後に、各トークンのエンベディングベクトルを平均して文全体のベクトルを求めます。

sentence_embedding = np.mean(embedded_tokens, axis=0)
print("Sentence embedding:", sentence_embedding)

4. 日本語と英語でのエンベディングの違い

英語：単語ベースのトークナイザーが多く、サブワード単位（WordPieceやBPE）でも処理が容易。
日本語：形態素解析によって文節ごとに分割されるため、文脈をより細かく捉えることが可能。ただし、多義語や表記揺れの問題が発生しやすい。

まとめ

日本語は英語と比較して、単語の区切りが明示されていないため、トークナイザーの役割がより重要になります。しかし、形態素解析を利用することで、適切なトークン分割が可能となります。

また、トークンをエンベディングベクトルに変換することで、LLMは意味的な情報をベクトル空間に埋め込み、自然言語の理解や生成を行っています。

今回の例文を通じて、トークナイザーがどのように動作し、データを次元ベクトルに変換しているのかを理解できたかと思います。今後のNLPプロジェクトに役立ててください！