はじめてのTransformers入門 - Hugging Face

Akira N

Transformerモデルはニューラルネットで、2017年にVaswaniraらが「Attention is All You Need」で提案したアーキテクチャです。もともとは機械翻訳で主流だったRNNの課題を解決するために登場しました。その後、その高い汎用性から、自然言語処理だけでなく、音声認識、画像処理、画像生成など幅広い分野でTransformersのアーキテクチャーは利用されています。まさに現代の機械学習における重要な基盤技術となっています。 Hugging Faceは、このTransformerを誰でもすぐに体験できるよう、便利なラッパークラスを用意しています。本書ではまず、このラッパークラスを使って簡単な感情分析を実演します。 そのうえで、「仕組みも知りたい」という方のために、後の章ではラッパー内部の処理を順を追って解説します。さらに、実務でよく利用されるfine-tuningについても紹介し、実際のタスクに応用できる力を身につけられるようにしています。段階的に学べるよう構成していますので、ご自身のペースや関心の深さに応じて読み進めてください。 アーキテクチャ自体の詳しい解説については、すでに分かりやすく整理された資料があります。もっと理解を深めたい方は以下もあわせてご覧ください。 The Illustrated Transformer: https://jalammar.github.io/illustrated-transformer/ Transformerの核心を徹底解説: https://www.nomuyu.com/multi-head-attention/