Open2

Keras の Masking の挙動をまとめる

Transformer とか実装するときはマスキングについてちゃんと理解しておかないといろいろ危険だと思うけど、チュートリアルだけだとちょっと不足している気がするので、実験しながら挙動を確認する

  1. Embedding と Masking レイヤー
  2. TimeDistributed とマスク
  3. その他のレイヤーとマスク
  4. Keras.Tensor._keras_mask の伝搬
  5. Attention や Conv と因果的マスク
ログインするとコメントできます