🖊️

AutoTokenizer.from_pretrainedコードリーディング

2024/02/17に公開

transformers

Hugging Face

LLM

tech

概要

AutoTokenizer.from_pretrained
のコードを読んでいく。

実行例

Swallow-7bモデルを使用したケースを想定。

from transformers import AutoTokenizer

model_name = "tokyotech-llm/Swallow-7b-instruct-hf"
tokenizer = AutoTokenizer.from_pretrained(model_name)

重要そうなメソッド

AutoTokenizer.from_pretrained

ここから開始

tokenizer_config

tokenizer_configの取得

こちらを読み込んでいる

config_tokenizer_classのロード

以下のconfigに従ってtokenizer_classを取得。

"tokenizer_class": "LlamaTokenizer",

use_fastがTrueの場合はサフィックスにFastをつけて検索

classをインスタンス化

tokenizer_class_from_name

class_name(文字列)からtokenizerクラスを検索しに行く処理

このMAPからクラスを探す

先頭から探していき、最初はこちらがヒットするが

以下のようにクラスが見つからないので次の設定を探しにいく（なぜかはわからないが）

AttributeError: module transformers.models.idefics has no attribute LlamaTokenizerFast

結局以下の設定がヒットする
'transformers.models.llama.tokenization_llama_fast.LlamaTokenizerFast'

LlamaTokenizerFast.from_pretrained

tokenizerクラスはこちら

実際に呼ばれるのは継承先のメソッド

fast_tokenizer_fileのロード

resolved_config_file
はtokenizer_config.jsonのパス

fast_tokenizer_filesの設定は無いのでtokenizer_fileは上書きせずそのまま使う。

resolved_vocab_files

{'added_tokens_file': None,
 'special_tokens_map_file': '/root/.cache/huggingface/hub/models--tokyotech-llm--Swallow-7b-instruct-hf/snapshots/eab84acc130b253061ae7ffb88f254c1d496fcfd/special_tokens_map.json',
 'tokenizer_config_file': '/root/.cache/huggingface/hub/models--tokyotech-llm--Swallow-7b-instruct-hf/snapshots/eab84acc130b253061ae7ffb88f254c1d496fcfd/tokenizer_config.json',
 'tokenizer_file': None,
 'vocab_file': '/root/.cache/huggingface/hub/models--tokyotech-llm--Swallow-7b-instruct-hf/snapshots/eab84acc130b253061ae7ffb88f254c1d496fcfd/tokenizer.model'}

_from_pretrainedの呼び出し

PreTrainedTokenizerBase._from_pretrained

トーカナイザクラスの生成

結局ここでトーカナイザを生成する

init_inputs

()

init_kwargs

{'__slow_tokenizer': LlamaTokenizer(name_or_path='tokyotech-llm/Swallow-7b-instruct-hf', vocab_size=43176, model_max_length=1000000000000000019884624838656, is_fast=False, padding_side='right', truncation_side='right', special_tokens={'bos_token': '<s>', 'eos_token': '</s>', 'unk_token': '<unk>'}, clean_up_tokenization_spaces=False),  added_tokens_decoder={
	0: AddedToken("<unk>", rstrip=False, lstrip=False, single_word=False, normalized=True, special=True),
	1: AddedToken("<s>", rstrip=False, lstrip=False, single_word=False, normalized=True, special=True),
	2: AddedToken("</s>", rstrip=False, lstrip=False, single_word=False, normalized=True, special=True),
},
 'add_bos_token': True,
 'add_eos_token': False,
 'added_tokens_decoder': {},
 'bos_token': AddedToken("<s>", rstrip=False, lstrip=False, single_word=False, normalized=True, special=True),
 'clean_up_tokenization_spaces': False,
 'eos_token': AddedToken("</s>", rstrip=False, lstrip=False, single_word=False, normalized=True, special=True),
 'legacy': False,
 'model_max_length': 1000000000000000019884624838656,
 'name_or_path': 'tokyotech-llm/Swallow-7b-instruct-hf',
 'pad_token': None,
 'padding_side': 'right',
 'sp_model_kwargs': {},
 'tokenizer_file': None,
 'unk_token': AddedToken("<unk>", rstrip=False, lstrip=False, single_word=False, normalized=True, special=True),
 'vocab_file': '/root/.cache/huggingface/hub/models--tokyotech-llm--Swallow-7b-instruct-hf/snapshots/eab84acc130b253061ae7ffb88f254c1d496fcfd/tokenizer.model'}

LlamaTokenizerFast.init

PreTrainedTokenizerFastの__init__を呼んでいる

PreTrainedTokenizerFast.init

slowトーカナイザからfastトーカナイザへのコンバートが呼ばれる

convert_slow_tokenizer

fastトーカナイザへのコンバート

このMAPでLlamaConverterにより変換が行われる

LlamaConverter

変換処理

SpmConverter.init

LlamaConverterのベースクラス

vocab_fileの読み込み

self.original_tokenizer.vocab_file
にはtokenizer.modelのファイルパスが入っている

SpmConverter.converted

fastトーカナイザへコンバートしたものを返す

LlamaConverter.tokenizer

model_type

model_type == 2
で処理される

huggingface/tokenizers
を呼び出している

tokenizer = Tokenizer(
    BPE(bpe_vocab, merges, unk_token=proto.trainer_spec.unk_piece, fuse_unk=True, byte_fallback=True)
)