Open1
hf transformers CausalLanguageModel で token の生成を制限したいメモ
syoyoたとえば vocab を日本語 token で拡張したが, 英語トークンだけ生成したいなど.
llama.cpp では grammer あたりをいじればいけるか.
hf transformers だととりあえずは bad_token_ids 指定になるか.
制約つけるの話題
syoyosyoyosyoyoたとえば vocab を日本語 token で拡張したが, 英語トークンだけ生成したいなど.
llama.cpp では grammer あたりをいじればいけるか.
hf transformers だととりあえずは bad_token_ids 指定になるか.