pytorch公式チュートリアルを勉強した際の記録

https://yutaroogawa.github.io/pytorch_tutorials_jp/

3.自然言語処理

[1] TransformerとTorchTextを用いたsequence-to-sequenceモデルの学習

• Transformer モデル

  • 最近の流行
  • 性能がとてもよい
  • 構造が複雑

• Attention 機構^[1]

  • 画像処理ではモデルに学習してほしい場所を伝える
    • 効率良く、精度良く学習可能
  • 自然言語処理でのAttention^[2]
    • 現在の発展の立役者
    • 単語に重要度の重みづけを行う
    • これまでの課題だった長文タスクに対応可能

• sequence-to-sequenceモデル^[3]

  • 単語列を入力して単語列を出力する

• 位置エンコーディング^[4]

  • 単語の位置がどこにあるのかベクトル化する操作

脚注

1. https://qiita.com/ps010/items/0bb2931b666fa602d0fc ↩︎

2. https://nlpillustration.tech/?p=185 ↩︎

3. https://tips-memo.com/translation-jayalmmar-attention ↩︎

4. https://cvml-expertguide.net/terms/dl/seq2seq-translation/transformer/positional-encoding/ ↩︎