<p>整形済みの wikipedia 日本語データほしい...</p>
<p>現状(2023/07)では wiki40b しかないようです.</p>
<p>ただ, tensorflow-dataset 経由でめんどくさすぎ...<br>
(正確には <code>gs://</code> 経由)</p>
<p>というか tensorflow ってまだあったの?... 使いたくない...</p>
<p>あと protobuf のバージョン低くしていると <code>wiki40b</code> 出てこんみたいで私の環境では <code>wiki40b</code> 選べずにエラーになりました... tensorflow-dataset ひどすぎです!</p>
<h2 id="huggingface-dataset-%E3%81%8B%E3%82%89%E5%8F%96%E5%BE%97">
<a class="header-anchor-link" href="#huggingface-dataset-%E3%81%8B%E3%82%89%E5%8F%96%E5%BE%97" aria-hidden="true"></a> huggingface dataset から取得</h2>
<p><code>range3/wiki40b-ja</code> で取得できました.<br>
ありがとうございます.</p>
<p><span class="embed-block zenn-embedded zenn-embedded-card"><iframe id="zenn-embedded__0ec45fcfc7c85" src="https://embed.zenn.studio/card#zenn-embedded__0ec45fcfc7c85" data-content="https%3A%2F%2Fhuggingface.co%2Fdatasets%2Frange3%2Fwiki40b-ja" frameborder="0" scrolling="no" loading="lazy"></iframe></span><a href="https://huggingface.co/datasets/range3/wiki40b-ja" style="display:none" target="_blank" rel="nofollow noopener noreferrer">https://huggingface.co/datasets/range3/wiki40b-ja</a></p>
<h2 id="todo">
<a class="header-anchor-link" href="#todo" aria-hidden="true"></a> TODO</h2>
<ul class="contains-task-list">
<li class="task-list-item enabled">
<input class="task-list-item-checkbox" type="checkbox"> 自前で wikipedia 日本語データセットをクリーニングして公開する!</li>
</ul>


wiki40b ja データセットをダウンロードするメモ

huggingface dataset から取得

TODO

Discussion