ローカルでSentencepieceを使ってトークナイザーを作成し、BERTを事前学習させ、JGLUEで性能評価するまで

ゆうき

日本語のBERTを作ろうと思ったとき、文献が微妙に古かったり、Google Colaboratory環境上での解説だったりと、学部生やつよつよPC所持AI入門者にはやや辛い環境だと思います。そこで、4年生の1年間で得た知識を本にしました。これだけでスタートラインはだいぶ変わります。環境構築をなるべく細かく記載するので、ぜひ読んでください。