<p>自前で LLaMa 学習したい...</p>
<p>RedPajama-Data いいね!</p>
<p><span class="embed-block zenn-embedded zenn-embedded-card"><iframe id="zenn-embedded__eb291beb7795c" src="https://embed.zenn.studio/card#zenn-embedded__eb291beb7795c" data-content="https%3A%2F%2Fhuggingface.co%2Fdatasets%2Ftogethercomputer%2FRedPajama-Data-1T" frameborder="0" scrolling="no" loading="lazy"></iframe></span><a href="https://huggingface.co/datasets/togethercomputer/RedPajama-Data-1T" style="display:none" target="_blank" rel="nofollow noopener noreferrer">https://huggingface.co/datasets/togethercomputer/RedPajama-Data-1T</a></p>
<p>で huggingface datasets 経由で落とせますが, 壊れたファイルがあって途中でエラーになります.</p>
<h2 id="%E8%A7%A3%E6%B1%BA">
<a class="header-anchor-link" href="#%E8%A7%A3%E6%B1%BA" aria-hidden="true"></a> 解決</h2>
<p><span class="embed-block zenn-embedded zenn-embedded-card"><iframe id="zenn-embedded__4aaa27439f8df" src="https://embed.zenn.studio/card#zenn-embedded__4aaa27439f8df" data-content="https%3A%2F%2Fhuggingface.co%2Fdatasets%2Ftogethercomputer%2FRedPajama-Data-1T%2Fdiscussions%2F18" frameborder="0" scrolling="no" loading="lazy"></iframe></span><a href="https://huggingface.co/datasets/togethercomputer/RedPajama-Data-1T/discussions/18" style="display:none" target="_blank" rel="nofollow noopener noreferrer">https://huggingface.co/datasets/togethercomputer/RedPajama-Data-1T/discussions/18</a></p>
<p>とりあえず壊れたファイル無視して処理継続するようにすればいけます...</p>
<p>元データのほうで直ってほしいところ...</p>


RedPajamaData-1T には壊れたファイルがある

解決

Discussion