BERT スクラップ

BERT / Transformer の基本スクラップ

Hugging Face 公式サイト
https://huggingface.co/

TransformerのColab Notebook
https://colab.research.google.com/github/kingoflolz/mesh-transformer-jax/blob/master/colab_demo.ipynb

Open AIの公式
https://openai.com/api/

BERTの input / output を理解しやすい
https://www.analyticsvidhya.com/blog/2021/05/all-you-need-to-know-about-bert/#:~:text=Model Overview&text=The BERTBase model uses,has around 110M trainable parameters.