日本語のBERTを作ろうと思ったとき、文献が微妙に古かったり、Google Colaboratory環境上での解説だったりと、学部生やつよつよPC所持AI入門者にはやや辛い環境だと思います。そこで、4年生の1年間で得た知識を本にしました。これだけでスタートラインはだいぶ変わります。環境構築をなるべく細かく記載するので、ぜひ読んでください。

ローカルでSentencepieceを使ってトークナイザーを作成し、BERTを事前学習させ、JGLUEで性能評価するまで

はじめに

共通の前準備

BERTの事前学習

JGLUEの実行

おまけ-いろいろな分析準備-

おわりに

python

bert

transformers

日本語

jglue

ゆうき