<p><span class="embed-block zenn-embedded zenn-embedded-card"><iframe id="zenn-embedded__2151eabf7c38e" src="https://embed.zenn.studio/card#zenn-embedded__2151eabf7c38e" data-content="https%3A%2F%2Fhuggingface.co%2Fspaces%2FHuggingFaceFW%2Fblogpost-fineweb-v1" frameborder="0" scrolling="no" loading="lazy"></iframe></span><a href="https://huggingface.co/spaces/HuggingFaceFW/blogpost-fineweb-v1" style="display:none" target="_blank" rel="nofollow noopener noreferrer">https://huggingface.co/spaces/HuggingFaceFW/blogpost-fineweb-v1</a></p>
<h2 id="%E8%A6%81%E7%B4%84">
<a class="header-anchor-link" href="#%E8%A6%81%E7%B4%84" aria-hidden="true"></a> 要約</h2>
<p>このテクニカルレポートは大規模言語モデルの学習に使用する高品質なウェブテキストデータセット FineWeb の作成方法について詳細に説明している</p>
<ol>
<li>
<p>CommonCrawl のテキストデータを抽出しベースフィルタリングを行った</p>
</li>
<li>
<p>MinHash を用いて各クロールデータの重複を個別に除去した。これによりデータ品質が向上した</p>
</li>
<li>
<p>C4 データセットで使用されているフィルターや独自のフィルターを適用することで更なる品質向上を図った</p>
</li>
<li>
<p>最終的に 15 兆トークンからなる FineWeb データセットを構築した。これは他のオープンデータセットよりも優れたパフォーマンスを示した</p>
</li>
<li>
<p>Llama-3-70B-Instruct を用いて教育的品質のアノテーションを行い、分類器を学習させることで FineWeb から教育的に高品質な部分集合 FineWeb-Edu を抽出した</p>
</li>
<li>
<p>FineWeb-Edu は MMUL や ARC などの教育ベンチマークにおいて他のすべてのデータセットを上回る性能を示した</p>
</li>
<li>
<p>またクロールごとのベンチマーク性能の違いや最近のクロールデータに合成データが増えている可能性についても考察している</p>
</li>
</ol>
<h2 id="introduction">
<a class="header-anchor-link" href="#introduction" aria-hidden="true"></a> Introduction</h2>
<ul>
<li>大規模言語モデル (LLM) の性能は事前学習データセットの品質とサイズに大きく依存する</li>
<li>最先端のオープン LLM の学習データセットは公開されておらず、その作成方法もほとんど知られていない</li>
<li>15兆トークン (44TB) の新しい大規模データセット 🍷 FineWeb を紹介する
<ul>
<li>96 の CommonCrawl スナップショットから派生</li>
<li>他のオープンな事前学習データセットよりも優れたパフォーマンスの LLM を生成</li>
</ul>
</li>
<li>FineWeb のデータ重複除去やフィルタリング戦略などの設計選択について詳細に説明・検証する</li>
<li>教育的価値を目的とし、高品質アノテーションを用いて FineWeb から構築された 📚 FineWeb-Edu についても紹介
<ul>
<li>MMLU, ARC, OpenBookQA などの教育ベンチマークで公開されている全ウェブデータセットを上回る性能を示す</li>
</ul>
</li>
<li>このブログでは以下の内容を扱う :
<ul>
<li>大規模データの処理と品質評価</li>
<li>🍷 FineWeb の設計方針とその説明</li>
<li>📚 FineWeb-Edu サブセットの作成プロセス</li>
</ul>
</li>
</ul>
<h2 id="web-data">
<a class="header-anchor-link" href="#web-data" aria-hidden="true"></a> Web data</h2>
<h3 id="finding-the-raw-data">
<a class="header-anchor-link" href="#finding-the-raw-data" aria-hidden="true"></a> Finding the raw data</h3>
<ul>
<li>Web データを収集する際は自前でクローリングするか CommonCrawl などの公開リポジトリーを使用する選択肢がある</li>
<li>🍷 FineWeb では CommonCrawl (CC) を出発点として使用した。CC は毎月 200-400TiB のテキストコンテンツを含む新しいクロールをリリースしている</li>
</ul>
<h3 id="processing-at-scale">
<a class="header-anchor-link" href="#processing-at-scale" aria-hidden="true"></a> Processing at scale</h3>
<ul>
<li>データ処理の際はモジュール性とスケーラビリティーを持つコードベースが重要</li>
<li>🍷 FineWeb の作成ではオープンソースのデータ処理ライブラリー datatrove を開発・使用しフィルタリングと重複排除を何千もの CPU コアにスケールさせた</li>
</ul>
<h3 id="what-is-good-data%3F">
<a class="header-anchor-link" href="#what-is-good-data%3F" aria-hidden="true"></a> What is good data?</h3>
<ul>
<li>大規模言語モデルの学習におけるデータの「高品質」は明確に定義されておらず人間の直接観察だけでは判断が難しい</li>
<li>データセットを評価するには小規模モデルを代表的なサブセットで学習させ diverse かつ representative な評価タスクセットでテストするのが一般的</li>
<li>人間による評価が最も信頼できるがコストと時間がかかるため小規模モデルによる評価を品質の代理指標として用いる</li>
</ul>
<h3 id="ablations-and-evaluation-setup">
<a class="header-anchor-link" href="#ablations-and-evaluation-setup" aria-hidden="true"></a> Ablations and evaluation setup</h3>
<ul>
<li>処理ステップの影響を比較するため、あるステップの有無で 2 つのデータセットを作成し、それぞれで学習したモデルを同じタスクで評価・比較した</li>
<li>評価タスクは CommonSense QA, HellaSwag, OpenBook QA, PIQA, SIQA, WinoGrande, ARC, MMLU を使用。小規模学習でも十分なシグナルが得られるよう選定した</li>
</ul>
<h2 id="the-%F0%9F%8D%B7-fineweb-recipe">
<a class="header-anchor-link" href="#the-%F0%9F%8D%B7-fineweb-recipe" aria-hidden="true"></a> The 🍷 FineWeb recipe</h2>
<h3 id="starting-point-%3A-text-extraction">
<a class="header-anchor-link" href="#starting-point-%3A-text-extraction" aria-hidden="true"></a> Starting point : text extraction</h3>
<ul>
<li>CommonCrawl の WARC ファイルから trafiltura ライブラリーを使用してテキストを抽出</li>
<li>WET ファイルを直接使用するよりも品質が向上</li>
</ul>
<h3 id="base-filtering">
<a class="header-anchor-link" href="#base-filtering" aria-hidden="true"></a> Base filtering</h3>
<ul>
<li>成人向けコンテンツのブロックリストを使用した URL フィルタリング</li>
<li>fastText の言語分類器で英語のテキストのみを抽出（スコア ≥ 0.65）</li>
<li>MassiveText の品質・反復フィルターを適用</li>
<li>フィルタリング後、約 36 兆トークンのデータが得られた</li>
</ul>
<h3 id="deduplicating-the-data">
<a class="header-anchor-link" href="#deduplicating-the-data" aria-hidden="true"></a> Deduplicating the data</h3>
<ul>
<li>MinHash を使用して各ダンプ内の重複を個別に除去</li>
<li>全ダンプを一括で重複排除するよりも個別に行う方が性能が向上</li>
<li>重複排除後、約 20 兆トークンのデータが得られた</li>
</ul>
<h3 id="additional-quality-filtering">
<a class="header-anchor-link" href="#additional-quality-filtering" aria-hidden="true"></a> Additional quality filtering</h3>
<ul>
<li>C4 データセットで使用されているフィルター（lorem ipsum, JavaScript, ポリシールールなど）を適用</li>
<li>独自の品質フィルターを追加 :
<ul>
<li>句読点で終わる行の割合が 0.12 以下のドキュメントを削除</li>
<li>重複行の文字の割合が 0.1 以上のドキュメントを削除</li>
<li>30 文字未満の行の割合が 0.67 以上のドキュメントを削除</li>
</ul>
</li>
</ul>
<h3 id="the-final-%F0%9F%8D%B7-fineweb-dataset">
<a class="header-anchor-link" href="#the-final-%F0%9F%8D%B7-fineweb-dataset" aria-hidden="true"></a> The final 🍷 FineWeb dataset</h3>
<ul>
<li>最終的な 🍷 FineWeb データセットは上記の手順を経て完成</li>
<li>15兆トークンからなり他のオープンデータセットよりも優れたパフォーマンスを示す</li>
</ul>
<h2 id="%F0%9F%93%9A-fineweb-edu">
<a class="header-anchor-link" href="#%F0%9F%93%9A-fineweb-edu" aria-hidden="true"></a> 📚 FineWeb-Edu</h2>
<ul>
<li>FineWeb から教育的に高品質な部分集合を抽出したデータセット</li>
<li>🍷 FineWeb や他のオープンウェブデータセットを上回る性能を示す</li>
</ul>
<h3 id="annotating-for-educational-quality-at-scale">
<a class="header-anchor-link" href="#annotating-for-educational-quality-at-scale" aria-hidden="true"></a> Annotating for educational quality at scale</h3>
<ul>
<li>Llama-3-70B-Instruct を使用して FineWeb から 50 万サンプルに教育的品質スコア (0-5) を付与</li>
<li>教育スコアの自動抽出には additive scale が最適であることを確認</li>
<li>高校・中学レベルの知識に焦点を当てることで技術的なページの優先度を下げた</li>
</ul>
<h3 id="training-a-classifier">
<a class="header-anchor-link" href="#training-a-classifier" aria-hidden="true"></a> Training a classifier</h3>
<ul>
<li>Llama3-70B のアノテーションを使用して小規模な分類器を学習</li>
<li>Snowflake-arctic-embed モデルにクラス分類ヘッドを追加</li>
<li>スコアを 0-5 の整数に丸めて閾値 3 でバイナリー分類問題に変換</li>
</ul>
<h3 id="filtering-and-results">
<a class="header-anchor-link" href="#filtering-and-results" aria-hidden="true"></a> Filtering and results</h3>
<ul>
<li>学習した分類器を FineWeb の 15 兆トークンに適用</li>
<li>閾値 3 を使用すると全体として最良の結果が得られた</li>
<li>閾値 3 でフィルタリングした結果 1.3 兆トークンの非常に高度な教育的コンテンツデータセット📚 FineWeb-Eduが完成</li>
<li>閾値 2 でフィルタリングした 5.4 兆トークンの高度な教育的コンテンツデータセットも公開</li>
</ul>
<h2 id="bonus-%3A-commoncrawl-over-time">
<a class="header-anchor-link" href="#bonus-%3A-commoncrawl-over-time" aria-hidden="true"></a> Bonus : CommonCrawl over time</h2>
<p>フィルタリングのステップを検証している間に特定のクロールデータが他のものよりも著しく優れた性能を示すことに気づいた</p>
<h3 id="benchmark-performance-by-crawl">
<a class="header-anchor-link" href="#benchmark-performance-by-crawl" aria-hidden="true"></a> Benchmark performance by crawl</h3>
<ul>
<li>各クロールデータについてベースフィルタリングと MinHash の重複排除後のデータから 270 億トークンをサンプリングし 1.8B モデルを 2 つ学習させた</li>
<li>合計 192 のモデルを学習させ 6 万時間以上の GPU 時間を要した</li>
<li>一部のダンプは他のものよりもはるかに低い性能を示すことが明らかになった</li>
</ul>
<h3 id="synthetic-data">
<a class="header-anchor-link" href="#synthetic-data" aria-hidden="true"></a> Synthetic data</h3>
<ul>
<li>最近のクロールデータの高い性能が LLM によって生成された合成データの増加に起因している可能性について検討した</li>
<li>合成データを検出する確実な方法がないため ChatGPT でよく使用されるフレーズの頻度を代理指標として測定した</li>
<li>2023 年以降のクロールデータでこれらのフレーズの頻度が急激に増加していることがわかった</li>
<li>ChatGPT の生成物などの合成データが最新のクロールの品質を大幅に低下させているとは言えないが少なくとも大きな悪影響は与えていないと考えられる</li>
<li>ただし合成データの割合は今後も増加すると予想されるため大規模な学習における影響については不明である</li>
</ul>
<h2 id="conclusion-and-looking-forward">
<a class="header-anchor-link" href="#conclusion-and-looking-forward" aria-hidden="true"></a> Conclusion and looking forward</h2>
<p>著者らはオープンサイエンスの取り組みを通じて高性能な大規模言語モデルの学習における「ブラックボックス」に光を当て続け、すべてのモデル開発者に最先端の LLM を作成する能力を提供したいと考えている。今後も FineWeb の改良を重ねウェブデータのより良いフィルタリング済みサブセットを完全にオープンかつ再現可能な方法で公開していく予定である</p>
<p>短期的には FineWeb から得られた知見を英語以外の言語に応用することを楽しみにしている。現在 LLM の世界では英語が支配的だが他の言語の高品質ウェブデータをできるだけアクセスしやすくすることは非常に大きな影響があると考えている</p>
<p>要約すると：大規模データセットの作成方法を研究する未来は明るくエキサイティングである 🤗</p>
<p><span class="embed-block zenn-embedded zenn-embedded-card"><iframe id="zenn-embedded__87a3b11cc7685" src="https://embed.zenn.studio/card#zenn-embedded__87a3b11cc7685" data-content="https%3A%2F%2Fhuggingface.co%2Fspaces%2FHuggingFaceFW%2Fblogpost-fineweb-v1%2Ftree%2Fmain" frameborder="0" scrolling="no" loading="lazy"></iframe></span><a href="https://huggingface.co/spaces/HuggingFaceFW/blogpost-fineweb-v1/tree/main" style="display:none" target="_blank" rel="nofollow noopener noreferrer">https://huggingface.co/spaces/HuggingFaceFW/blogpost-fineweb-v1/tree/main</a><br style="display:none">
<span class="embed-block zenn-embedded zenn-embedded-card"><iframe id="zenn-embedded__8d3c28579c415" src="https://embed.zenn.studio/card#zenn-embedded__8d3c28579c415" data-content="https%3A%2F%2Fhuggingface.co%2Fdatasets%2FHuggingFaceFW%2Ffineweb" frameborder="0" scrolling="no" loading="lazy"></iframe></span><a href="https://huggingface.co/datasets/HuggingFaceFW/fineweb" style="display:none" target="_blank" rel="nofollow noopener noreferrer">https://huggingface.co/datasets/HuggingFaceFW/fineweb</a><br style="display:none">
<span class="embed-block zenn-embedded zenn-embedded-card"><iframe id="zenn-embedded__274f845ba030f" src="https://embed.zenn.studio/card#zenn-embedded__274f845ba030f" data-content="https%3A%2F%2Fhuggingface.co%2Fdatasets%2FHuggingFaceFW%2Ffineweb-edu" frameborder="0" scrolling="no" loading="lazy"></iframe></span><a href="https://huggingface.co/datasets/HuggingFaceFW/fineweb-edu" style="display:none" target="_blank" rel="nofollow noopener noreferrer">https://huggingface.co/datasets/HuggingFaceFW/fineweb-edu</a><br style="display:none">
<span class="embed-block zenn-embedded zenn-embedded-card"><iframe id="zenn-embedded__9bf97e63150eb" src="https://embed.zenn.studio/card#zenn-embedded__9bf97e63150eb" data-content="https%3A%2F%2Fhuggingface.co%2Fdatasets%2FHuggingFaceFW%2Ffineweb-edu-score-2" frameborder="0" scrolling="no" loading="lazy"></iframe></span><a href="https://huggingface.co/datasets/HuggingFaceFW/fineweb-edu-score-2" style="display:none" target="_blank" rel="nofollow noopener noreferrer">https://huggingface.co/datasets/HuggingFaceFW/fineweb-edu-score-2</a></p>


FineWeb : decanting the web for the finest text data at scale

Annotating for educational quality at scale

大規模言語モデル

Discussion