🤗
Hunning FaceのTransformerを使おうとして詰まった話
初めに
Hunning FaceのTransformerを用いて話言葉、書き言葉変換をしようと思ったけど、環境構築に非常に時間がかかったため記録
よくColaboratoryで実装している人は見かけるけど、計算機のLinuxを使って実行している記事がないため記載
Version
OS ubuntu20.0
python 3.8.5
huggingface-transformers 4.4.2
huggingface-datasets 1.2.1
sentencepiece 0.1.91
Transformers導入
今回はanaconda を用いて導入した。以下の公式ドキュメントのwith condaを見て導入
また、run_translation.pyを使いたいため、transformersの4.4.2を使用(4.4.2でないとtranslationがない)
Hugging faceにモジュールがない？！
AttributeError: module 'datasets.utils.file_utils' has no attribute 'add_start_docstrings'
私はHuggingFaceのdatasetの1.2.1を使っていたが、下記の記事より、このバージョンはエラーが出るっぽい。 そこで、アップデートをかける
conda install -c huggingface -c conda-forge datasets
で、実行すると動いた！！
まとめ
今回の件でしっかりと公式ドキュメントを読む癖をつけようと思った。
Discussion