Xet

Hugging Faceが開発したストレージの仕組み。モデルなどの大きなファイルをホストするのにGit LFSを使っていたが、ストレージも速度もより効率的なXetを開発した。

ファイルをチャンクに分けることで、ストレージや転送の重複を減らすということらしい。

Hugging Faceからモデルファイルをダウンロードする際に、HTTPのif-modified-sinceフィールドを使っていたが、これが効かなくなった。Xet移行の影響ではないかと思う。

PythonのHugging Faceクライアント（ huggingface_hub ）へのXet統合が進行中： https://github.com/huggingface/huggingface_hub/issues/2713

Xet関連のモノリポジトリー： https://github.com/huggingface/xet-core