📑

wiki40b ja データセットをダウンロードするメモ

2023/07/25に公開

整形済みの wikipedia 日本語データほしい...

現状(2023/07)では wiki40b しかないようです.

ただ, tensorflow-dataset 経由でめんどくさすぎ...
(正確には gs:// 経由)

というか tensorflow ってまだあったの?... 使いたくない...

あと protobuf のバージョン低くしていると wiki40b 出てこんみたいで私の環境では wiki40b 選べずにエラーになりました... tensorflow-dataset ひどすぎです!

huggingface dataset から取得

range3/wiki40b-ja で取得できました.
ありがとうございます.

https://huggingface.co/datasets/range3/wiki40b-ja

TODO

  • 自前で wikipedia 日本語データセットをクリーニングして公開する!

Discussion