Speed Limits for Deep Learning
https://arxiv.org/abs/2307.14653
という論文でニューラルネットの学習過程における熱力学的速度限界の研究がされています。
先を越されてしまった感があるので紹介します。本文10ページくらいで解析式とテストデータでの興味深い結果が書かれています。
熱力学的速度限界とは非平衡な物理系において分布の変化の大きさL、エントロピー生成σに対して変化に要した時間τが
τ≥2ΛσL2
というような形で制限される法則です。
詳しくは
https://zenn.dev/xiangze/articles/68e6921f035003
ここでは機械学習の過程でパラメーターθtが時間tに対して
dθt=η∇θV(θ;D)dt+1ηβ−1dBt
(Dは学習データηは学習率)と変化するような状況を考え、
論文ではエントロピー生成(始点、終点分布間のKLダイバージェンスの中身)
R=<logp(θT)p(θ0)>+<logq(θ0∣θT)p(θT∣θ0)>
をカノニカル分布p(θt)に対する自由エネルギーZt
p(θt)=e−ηV(θt)/(logZt)
に対して
β−1R=β−1logZ∞−β−1logZ0+<L(θ0)>
(LはポテンシャルV+正則化項)をとしています。これは有限時間Tの遷移の場合にさらに
β−1RT=∫0T<∣∇θV∣2>−2β−1<ΔθV>+β−2<∣∇θlogp∣2>dt
と逆温度βに関して勾配とヘッシアンを係数として展開されるそうです。NTKの場合はβ−1=0(温度無限大)として書かれるのでより簡単に
β−1RT=<L(θ0)−L(θT)>
と書かれるそうです。
最適輸送との関係
「非平衡統計力学」などの本や論文ではコーシー・シュワルツの不等式などから熱力学的速度限界を導出していましたが、
最適輸送理論の考えを使ってエントロピー生成率と速度限界の関係を理解することもできます。
L2-Wasserstein距離(W2(pA,pB):=minπ∈Π(pA,pB)∫RdxRd∣x−y∣2π(x,y)dxdy)
を拡散係数Dを使ってBenamou-Brenier式
W2(p0,pT)=min∫0TDRtdt
と表すことでエントロピー生成Rの下限が
T≥TSL:=β−1RW2(p0,pT)
という形で表せるそうです。
Benamou-Brenier式に関しては以下の論文にも書いてあります。
https://journals.aps.org/prx/abstract/10.1103/PhysRevX.13.011013
https://link.springer.com/article/10.1007/s41884-023-00102-3
解析解
線形モデルとネットワークの幅が無限大の極限でガウスカーネルを用いて書かれるNTK(Neural Tangent Kernel)の場合に対して解析解を導いています。各導出の詳細はAppendixにあります。線形モデル
y^(x)=θTxL(θ;D={X,y})=21∣y−XTθ∣2
の場合遷移時間TSLがパラメーターα,λとMarchenko-Pastor分布ρを用いて
TSL(β−>∞)→2∫sdρ(s)1+αλ
と書かれるそうです。興味深いのはサンプル数n→∞の場合は
TSL→2λα
と一定の値になるのに入力次元d→∞,d>>nの場合は
TSL→0
となるということです。これはoverparametrazeの状態に相当し、最適解が初期値のすぐ近くにあるという状況を示していると主張しています。
NTKの場合は固有値λの分布によって書かれまた、学習前後のパラメーター間の距離lgeo=W2が
lgeo∝T(α−1+1−δ/α)/2
というスケーリング則を満たすことを導出しています。
解釈
学習率と挙動の関係について自明なこと以上が言えるのか論文の内容も含めて個人的にはまだわかっていません。
数値実験
CIFAR-10を5層、128channelのCNN(Myrtle-5)で学習する過程に対して非効率性の比率
T/TSL(T)と幾何学的非効率性比率lNTK(T)/lgeo(T) をepoch,date
sizeに対して取っているのですが、それが速度限界とどう関係するのかいまいち見て取れませんでした。
また重みパラメーターの各成分は学習過程で直線的に変動すると主張しています。
NTKの大きな固有値が最初にすばやく学習されるということも言えるらしいです。
展望
- 数値実験のところをもっとわかりやすく取りたい。
- 熱力学的不確定性も言えるのだろうか
- 言うほどDeepではない。CNNならではの特徴、ネットワークの深さに対する依存はあるのだろうか。
- タスクによる違い、現実的なタスク、特に異なるプロンプトに対応できる画像生成や基盤モデル
- 有限要素の場合の解析的補正は難しそう(kernel-adaptation methodsというのがあるらしい、機械学習か?)
参考
NTKと有限要素の場合の補正について
「勾配ランジュバン動力学 平均場ランジュバン動力学」最後の方で拡散モデルの説明と誤差解析の研究紹介があります
http://ibis.t.u-tokyo.ac.jp/suzuki/lecture/2023/TohokuUniv/ランジュバン.pdf
A computational fluid mechanics solution to the Monge-Kantorovich mass transfer problem
最適輸送の話です。
https://www.iap.fr/actualites/laune/2022/TransportOptimal/ark _67375_VQC-XB4DR0Z3-2.pdf
matlabのコード
https://www.numerical-tours.com/matlab/optimaltransp_2_benamou_brenier/
Discussion