No More Restarts! Stable Ways to Download Huge Hugging Face Models.
<h2 id="1.-%E6%A6%82%E8%A6%81-(overview)" data-line="2" class="code-line">
<a class="header-anchor-link" href="#1.-%E6%A6%82%E8%A6%81-(overview)" aria-hidden="true"></a> 1. 概要 (Overview)</h2>
Hugging Face の巨大モデルのダウンロードが何度も失敗する！😥
・・・みたいなことは無いでしょうか？
Hugging Face から巨大ファイルを確実にダウンロードする方法について、 
私が実践している方法を紹介します。
Web ブラウザ経由で 10 GB 以上の動画生成モデルなどの巨大ファイルをダウンロードする際、 
途中で失敗して 1 からダウンロードし直しになったり、それを繰り返してしまうような場合に 
有効な方法です。 
Web ブラウザ以外にも curl や wget でも同様です。
<h2 id="2.-%E5%B7%A8%E5%A4%A7%E3%83%95%E3%82%A1%E3%82%A4%E3%83%AB%E3%82%92%E7%A2%BA%E5%AE%9F%E3%81%AB%E3%83%80%E3%82%A6%E3%83%B3%E3%83%AD%E3%83%BC%E3%83%89%E3%81%99%E3%82%8B%E6%96%B9%E6%B3%95-(stable-ways-to-download-huge-files)" data-line="16" class="code-line">
<a class="header-anchor-link" href="#2.-%E5%B7%A8%E5%A4%A7%E3%83%95%E3%82%A1%E3%82%A4%E3%83%AB%E3%82%92%E7%A2%BA%E5%AE%9F%E3%81%AB%E3%83%80%E3%82%A6%E3%83%B3%E3%83%AD%E3%83%BC%E3%83%89%E3%81%99%E3%82%8B%E6%96%B9%E6%B3%95-(stable-ways-to-download-huge-files)" aria-hidden="true"></a> 2. 巨大ファイルを確実にダウンロードする方法 (Stable Ways to Download Huge Files)</h2>
Git を使います。
Git でも失敗はしますが、1 からダウンロードを何度も繰り返すことなく、 
確実性が高く安定的にダウンロードできます。
内部処理的には、Git LFS で管理されているファイルは、ダウンロードが中断したところから 
再開されます。
※以降は git version 2.43.0.windows.1 で確認した内容です
<h3 id="2.1.-%E3%83%AA%E3%83%9D%E3%82%B8%E3%83%88%E3%83%AA%E4%B8%B8%E3%81%94%E3%81%A8%E3%83%80%E3%82%A6%E3%83%B3%E3%83%AD%E3%83%BC%E3%83%89%E3%81%99%E3%82%8B%E5%A0%B4%E5%90%88" data-line="28" class="code-line">
<a class="header-anchor-link" href="#2.1.-%E3%83%AA%E3%83%9D%E3%82%B8%E3%83%88%E3%83%AA%E4%B8%B8%E3%81%94%E3%81%A8%E3%83%80%E3%82%A6%E3%83%B3%E3%83%AD%E3%83%BC%E3%83%89%E3%81%99%E3%82%8B%E5%A0%B4%E5%90%88" aria-hidden="true"></a> 2.1. リポジトリ丸ごとダウンロードする場合</h3>
<div class="code-block-container"><pre class="language-shell"><code class="language-shell code-line" data-line="30">git clone &lt;Hugging Face の Model card の URL&gt;
</code></pre></div>リポジトリ丸ごと<code>git clone</code>します。
<div class="code-block-container"><pre class="language-shell"><code class="language-shell code-line" data-line="36">git reset
git restore --source=HEAD :/
</code></pre></div>もし途中で通信エラーになった場合、Staging されているものがあれば <code>git reset</code> で戻し、 
<code>git restore</code> で HEAD コミットの状態にします。
ちなみに、リポジトリごと持って来ているので、もしリモートでファイルの追加や更新が 
あった場合、<code>git pull</code> で漏れなく差分を持って来れるメリットもあります。
<h3 id="2.2.-%E3%83%95%E3%82%A1%E3%82%A4%E3%83%AB%E5%8D%98%E4%BD%8D%E3%81%A7%E3%83%80%E3%82%A6%E3%83%B3%E3%83%AD%E3%83%BC%E3%83%89%E3%81%99%E3%82%8B%E5%A0%B4%E5%90%88" data-line="47" class="code-line">
<a class="header-anchor-link" href="#2.2.-%E3%83%95%E3%82%A1%E3%82%A4%E3%83%AB%E5%8D%98%E4%BD%8D%E3%81%A7%E3%83%80%E3%82%A6%E3%83%B3%E3%83%AD%E3%83%BC%E3%83%89%E3%81%99%E3%82%8B%E5%A0%B4%E5%90%88" aria-hidden="true"></a> 2.2. ファイル単位でダウンロードする場合</h3>
<div class="code-block-container"><pre class="language-shell"><code class="language-shell code-line" data-line="49">git clone --filter=tree:0 --no-tags --no-checkout --depth=1 --single-branch \
 --branch=&lt;branch&gt; &lt;Model card の URL&gt; [ローカルディレクトリ]
cd &lt;ローカルディレクトリ&gt;
git sparse-checkout init --no-cone
</code></pre></div>特定ファイルの最新バージョン以外のデータは極力取得しないように絞った設定です。
※<code>git clone</code> で [ローカルディレクトリ] を指定しない場合は、リポジトリと同じ名前のディレクトリになる
<div class="code-block-container"><pre class="language-shell"><code class="language-shell code-line" data-line="60">git sparse-checkout set &lt;ファイルパス&gt;
git checkout
</code></pre></div>そして <code>git sparse-checkout set</code> でダウンロードしたいファイルを指定します。
<code>--no-checkout</code> の指定により <code>git clone</code> 時点ではファイルをダウンロードせず、 
<code>git checkout</code> の時点で実際にダウンロードされます。
<div class="code-block-container"><pre class="language-shell"><code class="language-shell code-line" data-line="70">git sparse-checkout add &lt;ファイルやディレクトリのパス&gt;
</code></pre></div>更に別のファイルも追加した場合は、<code>git sparse-checkout add</code> で追加することもできます。
ファイルだけでなくディレクトリ単位でも指定できます。 
ワイルドカードなど <code>.gitignore</code> と同じ指定の仕方ができます。
既に <code>git checkout</code> しているので、<code>add</code> した時点でダウンロードが始まります。
<code>set</code> ではなく <code>add</code> なので気を付けてください。 
<code>set</code> をやった場合は他のファイルが消えますが、データ自体はローカルのリポジトリに 
あるので、再度 <code>add</code> すれば大丈夫です。
<h2 id="3.-%E5%85%B7%E4%BD%93%E4%BE%8B-(concrete-example)" data-line="85" class="code-line">
<a class="header-anchor-link" href="#3.-%E5%85%B7%E4%BD%93%E4%BE%8B-(concrete-example)" aria-hidden="true"></a> 3. 具体例 (Concrete Example)</h2>
<ul data-line="87" class="code-line">
<li data-line="87" class="code-line"><a href="https://huggingface.co/Kijai/WanVideo_comfy" target="_blank" rel="nofollow noopener noreferrer">Kijai/WanVideo_comfy · Hugging Face</a></li>
</ul>
このリポジトリを例にします。
<h3 id="3.1.-%E3%83%AA%E3%83%9D%E3%82%B8%E3%83%88%E3%83%AA%E4%B8%B8%E3%81%94%E3%81%A8%E3%83%80%E3%82%A6%E3%83%B3%E3%83%AD%E3%83%BC%E3%83%89%E3%81%99%E3%82%8B%E4%BE%8B" data-line="91" class="code-line">
<a class="header-anchor-link" href="#3.1.-%E3%83%AA%E3%83%9D%E3%82%B8%E3%83%88%E3%83%AA%E4%B8%B8%E3%81%94%E3%81%A8%E3%83%80%E3%82%A6%E3%83%B3%E3%83%AD%E3%83%BC%E3%83%89%E3%81%99%E3%82%8B%E4%BE%8B" aria-hidden="true"></a> 3.1. リポジトリ丸ごとダウンロードする例</h3>
<div class="code-block-container"><pre class="language-shell"><code class="language-shell code-line" data-line="93">git clone https://huggingface.co/Kijai/WanVideo_comfy
</code></pre></div>Hugging Face のページの "Files and versions" ではなく "Model card" の URL です。
<h3 id="3.2.-%E3%83%95%E3%82%A1%E3%82%A4%E3%83%AB%E5%8D%98%E4%BD%8D%E3%81%A7%E3%83%80%E3%82%A6%E3%83%B3%E3%83%AD%E3%83%BC%E3%83%89%E3%81%99%E3%82%8B%E4%BE%8B" data-line="99" class="code-line">
<a class="header-anchor-link" href="#3.2.-%E3%83%95%E3%82%A1%E3%82%A4%E3%83%AB%E5%8D%98%E4%BD%8D%E3%81%A7%E3%83%80%E3%82%A6%E3%83%B3%E3%83%AD%E3%83%BC%E3%83%89%E3%81%99%E3%82%8B%E4%BE%8B" aria-hidden="true"></a> 3.2. ファイル単位でダウンロードする例</h3>
以下は先ず <code>README.md</code> をダウンロードして、その後に追加でモデルファイルを 
ダウンロードする例です。
<div class="code-block-container"><pre class="language-shell"><code class="language-shell code-line" data-line="104">$ git clone --filter=tree:0 --no-tags --no-checkout --depth=1 --single-branch \
 --branch=main https://huggingface.co/Kijai/WanVideo_comfy tmp
$ cd tmp
$ git sparse-checkout init --no-cone
$ git sparse-checkout set README.md
$ git sparse-checkout list
README.md

$ git checkout
remote: Enumerating objects: 2, done.
remote: Counting objects: 100% (2/2), done.
～略～
$ git sparse-checkout add Skyreels/Wan2_1-SkyReels-V2-DF-1_3B-540P_fp32.safetensors
～略～
</code></pre></div>モデルファイルのパスは、以下のページのファイル名の横のコピーボタンから取れるものと 
同じです。
<ul data-line="124" class="code-line">
<li data-line="124" class="code-line"><a href="https://huggingface.co/Kijai/WanVideo_comfy/blob/main/Skyreels/Wan2_1-SkyReels-V2-DF-1_3B-540P_fp32.safetensors" target="_blank" rel="nofollow noopener noreferrer">Skyreels/Wan2_1-SkyReels-V2-DF-1_3B-540P_fp32.safetensors · Kijai/WanVideo_comfy at main</a></li>
</ul>
なお、ある程度 Hugging Face を利用するのであれば、Python 環境は必要ですが、 
専用のコマンドラインツール <code>huggingface-cli</code> を使う方が良いかもしれません。
<h2 id="4.-%E3%81%BE%E3%81%A8%E3%82%81-(conclusion)" data-line="129" class="code-line">
<a class="header-anchor-link" href="#4.-%E3%81%BE%E3%81%A8%E3%82%81-(conclusion)" aria-hidden="true"></a> 4. まとめ (Conclusion)</h2>
Hugging Face から巨大ファイルを確実にダウンロードする方法について、 
私が実践している方法を紹介しました。
Git を使うことで、確実性が高く安定的にダウンロードできます。
特に Web ブラウザ経由でダウンロードが途中で失敗し、それを繰り返してしまうような場合に 
それを解決する方法となります 🤗
<h2 id="%E9%96%A2%E9%80%A3%E3%83%BB%E5%8F%82%E8%80%83-(references)" data-line="139" class="code-line">
<a class="header-anchor-link" href="#%E9%96%A2%E9%80%A3%E3%83%BB%E5%8F%82%E8%80%83-(references)" aria-hidden="true"></a> 関連・参考 (References)</h2>
<ul data-line="141" class="code-line">
<li data-line="141" class="code-line"><a href="https://zenn.dev/fuqunaga/articles/dfce1b60cbea6f" target="_blank">Git で出来るだけ無駄なくリモートリポジトリの特定のファイルをダウンロードする</a></li>
<li data-line="142" class="code-line"><a href="https://github.blog/jp/2021-01-13-get-up-to-speed-with-partial-clone-and-shallow-clone/" target="_blank" rel="nofollow noopener noreferrer">パーシャルクローンとシャロークローンを活用しよう - GitHub ブログ</a></li>
</ul>
<hr data-line="144" class="code-line">
いいね 👍 とフォローよろしく 🍌 基本フォロバしますので輪を拡げましょう 
記事のリンク・引用自由 👌

🤗 ダウンロードが失敗する！ Hugging Face の巨大モデルを確実に落とす方法

2.1. リポジトリ丸ごとダウンロードする場合

2.2. ファイル単位でダウンロードする場合

2. 巨大ファイルを確実にダウンロードする方法 (Stable Ways to Download Huge Files)

Discussion