<h1 id="1.-%E3%81%AF%E3%81%98%E3%82%81%E3%81%AB" data-line="0" class="code-line">
<a class="header-anchor-link" href="#1.-%E3%81%AF%E3%81%98%E3%82%81%E3%81%AB" aria-hidden="true"></a> 1. はじめに</h1>
NEDO<a href="#fn-5677-1" id="fnref-5677-1">[1]</a> GENIAC 東京大学 松尾・岩澤研究室 LLM開発プロジェクト<a href="#fn-5677-2" id="fnref-5677-2">[2]</a> において Team Tanuki の事前学習データ収集の一環として、国会図書館デジタルコレクション<a href="#fn-5677-3" id="fnref-5677-3">[3]</a>のデータをダウンロードし Hugging Face へアップロードしました。本記事では実際に用いたソースコードを元に、国会図書館デジタルコレクションデータの取得時のポイントについて説明します。
<h1 id="2.-%E3%82%BD%E3%83%BC%E3%82%B9%E3%82%B3%E3%83%BC%E3%83%89" data-line="10" class="code-line">
<a class="header-anchor-link" href="#2.-%E3%82%BD%E3%83%BC%E3%82%B9%E3%82%B3%E3%83%BC%E3%83%89" aria-hidden="true"></a> 2. ソースコード</h1>
ソースコードはこちらからダウンロードできます。このコードはチームメンバー <a href="https://zenn.dev/misdelivery" target="_blank">林寛太</a>さんのものをベースにして作成したものです。 
<iframe id="zenn-embedded__66f10e980759c" src="https://embed.zenn.studio/github#zenn-embedded__66f10e980759c" data-content="https%3A%2F%2Fgithub.com%2Fmatsuolab%2Fnedo_project_code%2Fblob%2Fteam_hatakeyama_phase2%2Fteam_hatakeyama_phase2%2Fpre_training_data%2Fndlj%2Ftext_download_NationalDietLibraryJapan.ipynb" frameborder="0" scrolling="no" loading="lazy"></iframe><a href="https://github.com/matsuolab/nedo_project_code/blob/team_hatakeyama_phase2/team_hatakeyama_phase2/pre_training_data/ndlj/text_download_NationalDietLibraryJapan.ipynb" style="display:none" target="_blank" rel="nofollow noopener noreferrer">https://github.com/matsuolab/nedo_project_code/blob/team_hatakeyama_phase2/team_hatakeyama_phase2/pre_training_data/ndlj/text_download_NationalDietLibraryJapan.ipynb</a>
このコードは次のように処理されます。
<ol data-line="16" class="code-line">
<li data-line="16" class="code-line">データの読み込み: 書誌情報データセット(Excel) を読み込みます。</li>
<li data-line="17" class="code-line">データのダウンロード: 国会図書館デジタルコレクションから書誌データを一つずつダウンロードします。</li>
<li data-line="18" class="code-line">データの保存: ダウンロードしたデータを "本文" という列で保存します。</li>
<li data-line="19" class="code-line">データのアップロード: 処理したデータを Hugging Face へアップロードします。</li>
</ol>
このコードを実行した後のフォルダ構造はこのようになります
<ul data-line="22" class="code-line">
<li data-line="22" class="code-line">
<code>working_folder</code>
<ul data-line="23" class="code-line">
<li data-line="23" class="code-line">
<code>text_files</code>
<ul data-line="24" class="code-line">
<li data-line="24" class="code-line"><code>{Excel File Name}</code></li>
<li data-line="25" class="code-line"><code>{Excel File Name}</code></li>
<li data-line="26" class="code-line">etc...</li>
</ul>
</li>
<li data-line="27" class="code-line">
<code>csv_files</code>
<ul data-line="28" class="code-line">
<li data-line="28" class="code-line">batch 毎にcsv ファイルを保存</li>
</ul>
</li>
</ul>
</li>
</ul>
<h1 id="3.-%E4%BA%8B%E5%89%8D%E6%BA%96%E5%82%99" data-line="30" class="code-line">
<a class="header-anchor-link" href="#3.-%E4%BA%8B%E5%89%8D%E6%BA%96%E5%82%99" aria-hidden="true"></a> 3. 事前準備</h1>
<h2 id="3.1.-%E6%9B%B8%E8%AA%8C%E6%83%85%E5%A0%B1%E3%83%87%E3%83%BC%E3%82%BF%E3%82%BB%E3%83%83%E3%83%88%E3%81%AE%E5%85%A5%E6%89%8B" data-line="31" class="code-line">
<a class="header-anchor-link" href="#3.1.-%E6%9B%B8%E8%AA%8C%E6%83%85%E5%A0%B1%E3%83%87%E3%83%BC%E3%82%BF%E3%82%BB%E3%83%83%E3%83%88%E3%81%AE%E5%85%A5%E6%89%8B" aria-hidden="true"></a> 3.1. 書誌情報データセットの入手</h2>
国会図書館オープンデータセット<a href="#fn-5677-4" id="fnref-5677-4">[4]</a> から書誌情報データセット(Excel ファイル)をダウンロードします。 
今回のプロジェクトでは以下4つの書誌情報データセットを利用しました。
<ul data-line="35" class="code-line">
<li data-line="35" class="code-line">図書 x 2ファイル</li>
<li data-line="36" class="code-line">古典籍</li>
<li data-line="37" class="code-line">雑誌</li>
</ul>
<h2 id="3.2.-%E5%8B%95%E4%BD%9C%E7%92%B0%E5%A2%83%E3%81%AE%E6%BA%96%E5%82%99" data-line="42" class="code-line">
<a class="header-anchor-link" href="#3.2.-%E5%8B%95%E4%BD%9C%E7%92%B0%E5%A2%83%E3%81%AE%E6%BA%96%E5%82%99" aria-hidden="true"></a> 3.2. 動作環境の準備</h2>
<ul data-line="43" class="code-line">
<li data-line="43" class="code-line">Google Colab Pro</li>
<li data-line="44" class="code-line">GPU: 不要</li>
<li data-line="45" class="code-line">メモリ: <code>ハイメモリ</code>モード (50GB 程度必要)</li>
<li data-line="46" class="code-line">ディスク空き容量: 400GB 程度</li>
</ul>
<h2 id="3.3.-%E3%82%BD%E3%83%BC%E3%82%B9%E3%82%B3%E3%83%BC%E3%83%89%E3%81%AE%E5%AE%9F%E8%A1%8C%E5%A0%B4%E6%89%80%E3%80%81%E5%90%84%E7%A8%AE%E3%83%95%E3%82%A1%E3%82%A4%E3%83%AB%E3%81%AE%E4%BF%9D%E5%AD%98%E5%A0%B4%E6%89%80%E3%81%AE%E7%A2%BA%E8%AA%8D" data-line="48" class="code-line">
<a class="header-anchor-link" href="#3.3.-%E3%82%BD%E3%83%BC%E3%82%B9%E3%82%B3%E3%83%BC%E3%83%89%E3%81%AE%E5%AE%9F%E8%A1%8C%E5%A0%B4%E6%89%80%E3%80%81%E5%90%84%E7%A8%AE%E3%83%95%E3%82%A1%E3%82%A4%E3%83%AB%E3%81%AE%E4%BF%9D%E5%AD%98%E5%A0%B4%E6%89%80%E3%81%AE%E7%A2%BA%E8%AA%8D" aria-hidden="true"></a> 3.3. ソースコードの実行場所、各種ファイルの保存場所の確認</h2>
<ul data-line="49" class="code-line">
<li data-line="49" class="code-line">上記の書誌情報データセット(Excel) とソースコードは同じフォルダにおきます</li>
<li data-line="50" class="code-line">Excel ファイル名とソースコード内の Excel ファイル名を同一にします</li>
<li data-line="51" class="code-line">Hugging Faceのトークンを設定します</li>
<li data-line="52" class="code-line">各種変数を設定します
<ul data-line="53" class="code-line">
<li data-line="53" class="code-line"><code>working_folder</code></li>
<li data-line="54" class="code-line"><code>hugging_face_repogitory_name</code></li>
<li data-line="55" class="code-line"><code>destination_folder</code></li>
<li data-line="56" class="code-line">など</li>
</ul>
</li>
</ul>
<h1 id="4.-%E3%83%9D%E3%82%A4%E3%83%B3%E3%83%88" data-line="58" class="code-line">
<a class="header-anchor-link" href="#4.-%E3%83%9D%E3%82%A4%E3%83%B3%E3%83%88" aria-hidden="true"></a> 4. ポイント</h1>
<h2 id="4.1.-%E6%A8%A9%E5%88%A9%E5%8C%BA%E5%88%86-%3D%3D-%E4%BF%9D%E5%AD%98%E6%9C%9F%E9%96%93%E6%BA%80%E4%BA%86-%E3%81%AE%E6%9B%B8%E8%AA%8C%E3%83%87%E3%83%BC%E3%82%BF%E3%81%AE%E3%81%BF%E3%83%80%E3%82%A6%E3%83%B3%E3%83%AD%E3%83%BC%E3%83%89%E3%81%99%E3%82%8B" data-line="59" class="code-line">
<a class="header-anchor-link" href="#4.1.-%E6%A8%A9%E5%88%A9%E5%8C%BA%E5%88%86-%3D%3D-%E4%BF%9D%E5%AD%98%E6%9C%9F%E9%96%93%E6%BA%80%E4%BA%86-%E3%81%AE%E6%9B%B8%E8%AA%8C%E3%83%87%E3%83%BC%E3%82%BF%E3%81%AE%E3%81%BF%E3%83%80%E3%82%A6%E3%83%B3%E3%83%AD%E3%83%BC%E3%83%89%E3%81%99%E3%82%8B" aria-hidden="true"></a> 4.1. 権利区分 == 保存期間満了 の書誌データのみダウンロードする</h2>
著作権が切れている書誌データのみ利用するため、<code>権利区分 == 保存期間満了</code> でフィルタリングを行います。
<div class="code-block-container"><pre class="language-python"><code class="language-python code-line" data-line="62">def load_data(self):
 if self.data is None:
 print("Loading Excel file...")
 self.data = pd.read_excel(self.file_path)
 self.data['PID'] = self.data['永続的識別子'].str.extract(r'/(\d+)$')
 self.data = self.data[self.data['権利区分'] == '保護期間満了'].reset_index(drop=True)
 print("Excel file loaded and filtered.")
 return self.data
</code></pre></div><h2 id="4.2.-%E3%83%90%E3%83%83%E3%83%81%E5%87%A6%E7%90%86" data-line="73" class="code-line">
<a class="header-anchor-link" href="#4.2.-%E3%83%90%E3%83%83%E3%83%81%E5%87%A6%E7%90%86" aria-hidden="true"></a> 4.2. バッチ処理</h2>
書誌データが大きいため、メモリオーバーを避けるためにバッチ処理を導入しました。デフォルトのバッチサイズは、以下の通りです。
<ul data-line="76" class="code-line">
<li data-line="76" class="code-line">tosho_1 = 10000</li>
<li data-line="77" class="code-line">tosho_2 = 8000</li>
</ul>
今回はこれらのサイズでメモリオーバーを回避できました。 
また、リスト形式でエクセルファイルを渡せるようにしましたが、処理時間が長くなるため、1ファイルずつ実行する方が良いです。
<h2 id="4.3.-%E3%82%A8%E3%83%A9%E3%83%BC%E5%87%A6%E7%90%86" data-line="82" class="code-line">
<a class="header-anchor-link" href="#4.3.-%E3%82%A8%E3%83%A9%E3%83%BC%E5%87%A6%E7%90%86" aria-hidden="true"></a> 4.3. エラー処理</h2>
国会図書館デジタルコレクションからのデータダウンロード時に、ダウンロード失敗、破損した zip ファイルに対応するためのエラー処理を実装しました。
例えば、ダウンロードできない場合は以下のようなエラーメッセージが表示されます。<a href="#fn-5677-5" id="fnref-5677-5">[5]</a>
<div class="code-block-container"><pre><code class="code-line" data-line="86">OS error for PID 785596: 403 Client Error: Forbidden for url: https://lab.ndl.go.jp/dl/api/book/fulltext/785596
</code></pre></div><h2 id="4.4.-%E5%86%8D%E5%AE%9F%E8%A1%8C%E6%99%82%E3%81%AE%E3%82%B9%E3%82%AD%E3%83%83%E3%83%97%E5%87%A6%E7%90%86" data-line="92" class="code-line">
<a class="header-anchor-link" href="#4.4.-%E5%86%8D%E5%AE%9F%E8%A1%8C%E6%99%82%E3%81%AE%E3%82%B9%E3%82%AD%E3%83%83%E3%83%97%E5%87%A6%E7%90%86" aria-hidden="true"></a> 4.4. 再実行時のスキップ処理</h2>
処理が途中で止まり、再度プログラムを実行する際、ダウンロード済みテキストはダウンロードをスキップしてテキスト読み込み処理をします。
<div class="code-block-container"><pre class="language-python"><code class="language-python code-line" data-line="95"># 対象フォルダ内にすでに{pid}.txtがある場合はテキストを読み込む
if os.path.exists(os.path.join(destination_folder, f"{pid}.txt")):
 with open(os.path.join(destination_folder, f"{pid}.txt"), 'r') as file:
 content = file.read()
 return content
</code></pre></div><h1 id="5.-%E3%81%BE%E3%81%A8%E3%82%81" data-line="103" class="code-line">
<a class="header-anchor-link" href="#5.-%E3%81%BE%E3%81%A8%E3%82%81" aria-hidden="true"></a> 5. まとめ</h1>
Google Colab を使って国会図書館のデータを取得し、バッチ処理やメモリ管理の工夫をしながらデータを処理する方法を紹介しました。また、作業には数時間〜十数時間かかることや、Google Driveに約400GBの空き容量が必要な点にも注意が必要です。
<aside class="msg message">!<div class="msg-content">
この成果は、NEDO（国立研究開発法人新エネルギー・産業技術総合開発機構）の助成事業「ポスト５Ｇ情報通信システム基盤強化研究開発事業」（JPNP20017）の結果得られたものです。
</div></aside>
<section class="footnotes">
脚注
<ol class="footnotes-list">
<li id="fn-5677-1" class="footnote-item">
NEDO 国立研究開発法人新エネルギー・産業技術総合開発機構 <a href="#fnref-5677-1" class="footnote-backref">↩︎</a>
</li>
<li id="fn-5677-2" class="footnote-item">
GENIAC 松尾研 LLM開発プロジェクト 
<a href="https://weblab.t.u-tokyo.ac.jp/geniac_llm/" target="_blank" rel="nofollow noopener noreferrer">https://weblab.t.u-tokyo.ac.jp/geniac_llm/</a> <a href="#fnref-5677-2" class="footnote-backref">↩︎</a>
</li>
<li id="fn-5677-3" class="footnote-item">
国会図書館デジタルコレクション 
<a href="https://dl.ndl.go.jp" target="_blank" rel="nofollow noopener noreferrer">https://dl.ndl.go.jp</a> <a href="#fnref-5677-3" class="footnote-backref">↩︎</a>
</li>
<li id="fn-5677-4" class="footnote-item">
国会図書館オープンデータセット 
<a href="https://www.ndl.go.jp/jp/dlib/standards/opendataset/index.html" target="_blank" rel="nofollow noopener noreferrer">https://www.ndl.go.jp/jp/dlib/standards/opendataset/index.html</a> <a href="#fnref-5677-4" class="footnote-backref">↩︎</a>
</li>
<li id="fn-5677-5" class="footnote-item">
このURL (<a href="https://lab.ndl.go.jp/dl/api/book/fulltext/785596" target="_blank" rel="nofollow noopener noreferrer">https://lab.ndl.go.jp/dl/api/book/fulltext/785596</a>) にブラウザでアクセスすると <code>This PID is not allowed</code> と表示されます。一方でデジタルコレクション (<a href="https://dl.ndl.go.jp/pid/785596" target="_blank" rel="nofollow noopener noreferrer">https://dl.ndl.go.jp/pid/785596</a>) にアクセスすると書誌データは存在します。しかし、画像ファイルのみでテキスト情報が含まれていません。おそらくテキストデータがないため、ダウンロードできないのだと思われます。 <a href="#fnref-5677-5" class="footnote-backref">↩︎</a>
</li>
</ol>
</section>

国会図書館データをGoogle Colab で取得し、Hugging Face へアップロードする方法

3.1. 書誌情報データセットの入手

3.3. ソースコードの実行場所、各種ファイルの保存場所の確認

4.1. 権利区分 == 保存期間満了 の書誌データのみダウンロードする

Discussion