Janome (pythonライブラリ）で日本語をトークナイズ

挨拶

こんにちはkeitaです。今日は私の自作ChatAIプロジェクトに使ったjanomeと言う日本語をトークナイズするライブラリの使い方をまとめました。

インストール

pip install janome

私の場合は仮想環境を使ったので、

python -m venv keitanoenv
source keitanoenv/bin/activate

トークナイズ

from janome.tokenizer import Tokenizer


tokenizer = Tokenizer()

text = "こんにちはkeitaです"


for token in tokenizer.tokenize(text):
    print(token.surface, token.part_of_speech)

まとめ

janomeは比較的簡単に日本語を単語単位で、トークナイズ出来るので、AIに日本語を学習、生成に使えます。