Neural Architecture SearchとNeuroevolutionの個人的まとめ

2 min read読了の目安(約2100字

Neural Architecture Search

利点

課題点

論文リスト

関連度・出てきた順にまとめている。
まだきちんと内容自体は読んでないため、時間を見つけて読む。

NEURAL ARCHITECTURE SEARCH WITH REINFORCEMENT LEARNING

強化学習でアーキテクチャ探索をしている。
RNN で文字列を生成してそれを子供ネットワークとしどれくらいよいか計算して
その精度を報酬として、生成方策を修正する。

Learning Transferable Architectures for Scalable Image Recognition

上の NEURAL ARCHITECTURE SEARCH WITH REINFORCEMENT LEARNING が重すぎたので
セルブロックごとに計算した。

ただし、CNN といった、ある程度の Domain 知識がひつようになっている。

Efficient Neural Architecture Search via Parameter Sharing

個人的にこれが結構好き。

大きいグラフ用意してそれのサブグラフを取り出して学習しているらしい。
そのため、重みを共有しており、高速化が著しくできている
(GPU1個、一日で終わるらしい)

アーキテクチャのノード間に複数の接続を用意して
それぞれの接続が Pooling, Conv といった異なる Operation になっている。

これらを少数で重みつけをして、アーキテクチャごと微分できるようにして、どの Operation を選択するか取捨選択できるようになっている。

なんかモバイル向けだとネットワークに入力してから出力するまでの時間も重要らしいので
それを生成に取り入れた。

もっと調べたほうが良さそう。

And more...

Neuroevolution (Genetic Algorithm)