HuggingFaceのライブラリが使うキャッシュディレクトリを環境変数で指定する

結論

HF_HUB_CACHEを指定すればいい。

参考:
https://huggingface.co/docs/huggingface_hub/v0.22.2/en/package_reference/environment_variables#hfhubcache

特に何も指定しないと ~/.cache/huggingface が使われるが、HF_HUB_CACHE が指定されるとそこがキャッシュディレクトリになる。