Liquid Time-Constant Networksとは【解説】
Liquid Neural Networks (LNN) とは？
最近、「Liquid Foundation Models 2」の発表で再び注目を集めているニューラルネットワークに**Liquid Neural Networks (LNN)**があります。この記事では、そんな LNN を構成するニューロンが基づく Liquid Time-Constant Networks について基本的な部分を解説していきます。
LNN は、2020 年に Liquid AI 社が発表した、線虫の神経メカニズムにヒントを得た新しい種類の連続時間型ニューラルネットワークです。
その最大の特徴は、各ニューロンが動的な時定数を持つ点にあります。従来のニューラルネットワークのニューロンが固定的な反応をするのに対し、LNN のニューロンは、入力される情報に応じて「情報の重要度」を判断し、反応の速さや情報の記憶の仕方を柔軟に変化させることができます。
この「動的な時定数」という仕組みにより、LNN は従来のモデルに比べて以下のような大きな利点を持ちます。
- 高い表現力と効率性: 少ないニューロン数でありながら、より複雑で動的なタスクをこなすことが可能です。これにより、モデル全体のパラメータ数を大幅に削減できます。
- 省電力: モデルがコンパクトになるため、AI の大きな課題である膨大な電力消費を抑制することに繋がります。
- エッジ AI への応用: メモリ消費量が少なく、処理速度も速いため、スマートフォンや自動車、センサーなどのリソースが限られたエッジデバイスへの AI モデル搭載に非常に適しています。
特にエッジデバイスにおいて求められるメモリ消費量や処理速度は大きくパラメータ数に依存するため、表現力の高い LNN は Physical AI のモデルとして期待されます。
同パラメータ数を持つモデルとの MMLU-Pro スコアの比較[3]
連続時間型ニューラルネットワーク
1. 離散時間モデルから連続時間モデルへ
ニューラルネットワークの多くは、デジタルコンピュータの動作と同様に、離散的な時間ステップで状態を更新します。一方で、現実世界の物理現象のように時間を連続的なものとして扱い、ニューロンの状態を微分方程式で記述するアプローチが連続時間型ニューラルネットワークです。ここでは LNN について詳しく紹介する前に、その基本の考え方となる連続時間型ニューラルネットワークについて紹介したいと思います。
基本的な離散時間モデル：RNN
最も基本的な時系列モデルである再帰型ニューラルネットワーク（RNN）は、以下の式のように、ある時刻
-
RNN (Recurrent Neural Network) [Hopfield, 1982]
x(t+1) = f(x(t), I(t), t; \theta)
連続時間への拡張：CTRNN
この考え方を連続時間へと拡張したのが、連続時間回帰型ニューラルネットワーク（CTRNN）です。状態の更新を時間ステップごとではなく、時間の微分として定義します。
-
CTRNN (Continuous-Time RNN) [Funahashi et al., 1993]
\frac{dx(t)}{dt} = -\frac{x(t)}{\tau} + f(x(t), I(t), t; \theta)
2. 勾配問題とその対策手法
しかし、RNN や CTRNN のような基本的な再帰構造を持つモデルには、ネットワークが深くなる（時系列が長くなる）と勾配が消失、または爆発してしまうという共通の課題がありました。これは、誤差逆伝播の過程で勾配が繰り返し乗算されることで、その値が 0 に収束したり、発散したりする現象です。等比数列の公比が 1 より大きいときか小さい時を想像するとわかりやすいと思います。
解決策（離散時間）：ResNet
この勾配問題を解決する画期的な手法として、残差ネットワーク（ResNet）が登場しました。ResNet は**残差接続（スキップ接続）**という構造を導入し、ネットワークが出力そのものではなく、「入力からの変化分（残差）」を学習するように設計されています。
-
ResNet (Residual Network) [He et al., 2015]
x(t+1) = x(t) + f(x(t), I(t), t; \theta)
この式は、次の状態x(t+1) x(t) f(\cdot)
解決策（連続時間）：Neural ODE
近年、この ResNet のアイデアを連続時間モデルに応用した Neural Ordinary Differential Equation (Neural ODE) が提案されました。
ResNet の式を変形すると
-
Neural ODE [Chen et al., 2018]
\frac{dx(t)}{dt} = f(x(t), I(t), t; \theta)
この非常にシンプルな式は、ニューラルネットワークが状態の変化のルール（ダイナミクス）そのものを学習することを意味し、現代の多くの連続時間型モデルの基礎となっています。
3. 連続時間モデルの利点と課題
連続時間型ニューラルネットワークは、離散時間モデルと比較して以下のような特徴を持ちます。
- 高い表現力: 不規則な間隔で観測される時系列データなど、離散モデルでは扱いにくい複雑なダイナミクスを柔軟に表現できます。
- 特有の課題: コンピュータは本質的に離散的な計算しかできません。そのため、微分方程式を解くためには数値解法（オイラー法やルンゲ＝クッタ法など）を用いて離散化する必要があります。この計算手法の選択が、モデルの精度と計算速度のトレードオフを生み出す共通の課題となります。
Liquid Time-Constant Networks（LTCs）
以上の連続時間型ニューラルネットワークに発想を得て、生物の神経メカニズムと組み合わせたのが LTCs です。LNN を構成するニューロンの状態はこの LTCs の常微分方程式により記述されます。
(𝑡 : 時刻, 𝑥(𝑡) : 隠れ状態, 𝜏 : 静的な時定数, 𝐼(𝑡) : 外部入力, 𝜃 : パラメータ, 𝑓 : 活性化関数, A : スケーラリング定数）
この式の核心は、角括弧 [...] で囲まれた部分が**「実効的な時定数の逆数」**として働き、ニューロンの状態 x(t) や入力 I(t) に応じてその値が動的に変化する点です。これにより、例えばノイズや急な入力に対し、素早く出力を変化させることが可能になります。逆に安定的な入力に対しては時定数を小さくすることで緩やかに出力を変化させる安定したシステムを構築することができます。
この方程式は以下の線虫の神経メカニズムにおいて用いられる積分発火モデル（Leaky-integrator neural model）とコンダクタンス変化モデル（Conductance-based synapse model）の二つの式から導出される微分方程式です。
Neural and Synapse Dynamics [Hasani et al., 2021]
最後に
今回は LNN の解説記事として最も基本となるニューロン状態を記述する方程式の LTCs について簡単に紹介してみました。はじめての記事なので至らない点も多いかと思いますが、これからも順に LNN に関して紹介していく予定ですので興味があればぜひチェックしてください！
参考文献
[1] R. Hasani, M. Lechner, A. Amini, D. Rus, and R. Grosu, "Liquid time-constant networks," Proceedings of the AAAI Conference on Artificial Intelligence, vol. 35, no. 9, pp. 7657–7666, 2020.
[2] R. Hasani, M. Lechner, A. Amini, L. Liebenwein, A. Ray, M. Tschaikowski, G. Teschl, and D. Rus, "Closed-form continuous-time neural models," Nature Machine Intelligence, vol. 4, pp. 992–1003, 2021.
[3] Liquid AI, “Liquid Foundation Models : Our First Series of Generative AI Models”, https://www.liquid.ai/ja/blog/liquid-foundation-models-our-first-series-of-generative-ai-models, 2024
Discussion