🐈
Neural Architecture SearchとNeuroevolutionの個人的まとめ
Neural Architecture Search
利点
課題点
論文リスト
関連度・出てきた順にまとめている。
まだきちんと内容自体は読んでないため、時間を見つけて読む。
NEURAL ARCHITECTURE SEARCH WITH REINFORCEMENT LEARNING
強化学習でアーキテクチャ探索をしている。
RNN で文字列を生成してそれを子供ネットワークとしどれくらいよいか計算して
その精度を報酬として、生成方策を修正する。
- https://www.youtube.com/watch?v=sROrvtXnT7Q
- https://www.slideshare.net/yamatookamoto5/neural-architecture-search-with
- https://speakerdeck.com/satuma777/lun-wen-shao-jie-neural-architecture-search-with-reinforcement-learning?slide=41
- https://qiita.com/norihitoishida/items/41b517225c905606a363
- https://qiita.com/chobaken/items/f782556fa58d88e05584
Learning Transferable Architectures for Scalable Image Recognition
上の NEURAL ARCHITECTURE SEARCH WITH REINFORCEMENT LEARNING が重すぎたので
セルブロックごとに計算した。
ただし、CNN といった、ある程度の Domain 知識がひつようになっている。
- https://qiita.com/cvusk/items/536862d57107b9c190e2
- https://www.youtube.com/watch?v=tfCA8X4jGjk
- https://github.com/yoheikikuta/paper-reading/issues/10
Efficient Neural Architecture Search via Parameter Sharing
個人的にこれが結構好き。
大きいグラフ用意してそれのサブグラフを取り出して学習しているらしい。
そのため、重みを共有しており、高速化が著しくできている
（GPU１個、一日で終わるらしい）
- https://vimeo.com/312307145
- https://www.slideshare.net/TaichiItoh/efficient-neural-architecture-searchvia-parameter-sharing
- https://www.slideshare.net/tkatojp/efficient-neural-architecture-search-via-parameters-sharing-icml2018
- https://qiita.com/cvusk/items/536862d57107b9c190e2
DARTS: DIFFERENTIABLE ARCHITECTURE SEARCH
アーキテクチャのノード間に複数の接続を用意して
それぞれの接続が Pooling, Conv といった異なる Operation になっている。
これらを少数で重みつけをして、アーキテクチャごと微分できるようにして、どの Operation を選択するか取捨選択できるようになっている。
- https://www.slideshare.net/YutaKoreeda/darts-differentiable-architecture-search
- https://www.slideshare.net/c-bata/darts-differentiable-architecture-search-at-205326748
- https://qiita.com/cvusk/items/e7c9bb30c801996cd973
FBNet: Hardware-Aware Efficient ConvNet Designvia Differentiable Neural Architecture Search
なんかモバイル向けだとネットワークに入力してから出力するまでの時間も重要らしいので
それを生成に取り入れた。
もっと調べたほうが良さそう。
Discussion