Zenn
📖

Word2VecにおけるN-gramとは？

2025/03/03に公開
ディープラーニング
word2vec
中野哲平
tech

Word2Vecは、自然言語処理（NLP）で単語の意味をベクトル表現に変換するための手法です。その際、N-gramという概念が関連することがあります。本記事では、Word2VecにおけるN-gramの役割とその応用について詳しく解説します。

1. N-gramとは？

N-gram（エヌグラム）とは、連続したN個の単語や文字のシーケンスを指します。一般的に、言語モデルやテキスト解析で使用され、以下のように分類されます。

  • Unigram（1-gram）: 単語単体（例：「AI」）
  • Bigram（2-gram）: 連続する2単語（例：「人工 知能」）
  • Trigram（3-gram）: 連続する3単語（例：「機械 学習 モデル」）
  • N-gram（N>1）: 任意のN個の連続した単語や文字

一般的なN-gramモデルは、単語の共起関係を利用して確率的な言語モデルを構築する際に用いられます。

2. Word2VecにおけるN-gramの役割

Word2Vec自体は、単語のベクトル表現を学習する手法であり、Skip-gramやCBOWといったモデルを用いて単語間の意味的な関係を学習します。N-gramは、Word2Vecの処理において以下のような形で活用されます。

2.1 Skip-gramとN-gramの関係

Skip-gramは、ある単語が周囲の単語（コンテキスト）を予測するタスクを通じて単語のベクトル表現を学習します。このとき、N-gramを考慮すると、以下のような処理が可能になります。

  • Subword情報の活用: 単語全体を1つのトークンとして扱うのではなく、その内部のN-gram（特に文字N-gram）を考慮することで、未知語や類似語の処理が可能になります。
  • 高速な学習: 小さいN-gramを利用することで、語彙サイズを縮小し、計算コストを削減できます。

2.2 CBOWとN-gramの関係

CBOW（Continuous Bag of Words）は、周囲の単語からターゲット単語を予測するモデルですが、ここでもN-gramを導入することで以下のメリットがあります。

  • 短い単語や未知語の処理: 小さなN-gram（例えば3-gram）を利用することで、単語の意味を補完しやすくなる。
  • 文脈の拡張: 長めのN-gramを考慮することで、より広範なコンテキストをモデルが学習できる。

3. Word2VecにおけるN-gramの具体的な適用

3.1 FastTextによるSubword N-gramの活用

Word2Vecの派生モデルであるFastTextでは、N-gramを活用した単語ベクトル学習が実装されています。FastTextは、単語そのものではなく、その中の部分文字列（Subword N-gram）をベクトル化することで、以下のような利点を得られます。

  • 未知語に強い: 既存の単語に含まれるN-gramを活用するため、新しい単語や綴りミスがあっても意味を類推できる。
  • 形態素の情報を捉えられる: 特に日本語のような形態素に依存する言語において有用。

例えば、「自然言語処理」という単語を3-gramで分割すると、以下のようなサブワードに分解されます。

[「#自」, 「自然」, 「然言」, 「言語」, 「語処」, 「処理」, 「理#」]

このように、単語の内部構造を考慮することで、語彙が限定される場面でも高精度な単語ベクトルを得ることができます。

3.2 N-gramを活用したWord2Vec前処理

Word2Vecを適用する前の前処理として、N-gramを生成し、それを特徴量としてモデルに入力する方法もあります。例えば、以下のような手順を取ることができます。

  1. テキストデータを収集
  2. トークン化（形態素解析）
  3. N-gram（特にBigramやTrigram）を作成
  4. Word2Vecモデルに適用

4. まとめ

Word2Vecは単語ベースの分散表現モデルですが、N-gramを活用することで、未知語への対応や形態素情報の補足が可能になります。特に、FastTextのようにSubword N-gramを利用する手法は、日本語やその他の形態素依存言語で有用です。

N-gramは単なる頻度解析だけでなく、Word2Vecや他の機械学習モデルの前処理や特徴量生成としても活用できるため、適切に導入することで精度向上に寄与することが期待されます。

参考文献

  • Mikolov, T. et al. "Efficient Estimation of Word Representations in Vector Space" (2013)
  • Bojanowski, P. et al. "Enriching Word Vectors with Subword Information" (2017)

Discussion