論文読書：Multimodal learning of protein–protein interactions for accurate

https://pubs.acs.org/doi/10.1021/acsomega.5c06443

Contribution Summary

Jisong, Honglianらは、詳細な構造情報を用いたPPI予測がないため精度が限られているという課題のため、ESM-2の埋め込みとProMIMの特徴量、さらに側鎖を含んだ構造情報を用いたモデル作成を行い、SoTAを達成し、側鎖情報が少しながら重要であることがわかった

Author

Jisong Mo, Hongliang Duan

Motivation

PPI予測の従来は、実験と分子ドッキングシミュレーション・MD（分子動力学）シミュレーションに大別される。しかし、実験は高コスト低スループットであり、分子のドッキングは精度や信頼性、計算コストに問題があった。

機械学習によるPPI予測は、既存手法は配列情報や、残基間距離などの単純化し過ぎな構造表現に依存している。しかし、配列情報では限界があると考えられ、単純化した構造表現は側鎖の相互作用などの重要な詳細が見落とされているので、1Dタンパク質配列情報+側鎖を含む3D構造情報を統合してタンパク質複合体の包括的な表現を構築するマルチモーダルモデルを作成した。1Dタンパク質配列情報（ESM2とProMIMのembedding）と残基、骨格原子、側鎖原子を含む詳細な3D構造情報を、IPA: invariant point attentionモジュールによって処理した。

Method

どんなシステム・アルゴリズム・調査・実験を行ったか？なぜそれでよいと仮定したか？

• データベース
  • PDBbind
  • 合計2852サンプル
  • 構造座標情報とKd、K、またはIC50で表される親和性データが含まれている
  • キュレーション
    • ProAffinity-GNNで使用されているキュレーションデータ
    • DNA/RNA構造を含むものを除き、親和性はKdを使用
    • データ数1741
• ベンチマークデータ
  • PPI-Affintityで開発された90のデータセット
    • Kdでの親和性測定値をもつ82個で検証
  • SKEMPI 2のサブセットモデル
    • オリジナルには345のWild Typeタンパク質複合体構造と7085個の関連変異体に対するKd、熱力学的パラメーター、速度定数
    • 変異複合体の構造情報はFoldXツールキットで生成
    • 26個のWTと140個の変異体
• 入力
  • single repr
    • アミノ酸残基1つに対するembedding
      • ESM2の最終層
      • ProMIM（タンパク質複合体データセットによる事前学習）も利用
    • 二面角
      • 骨格と側鎖の情報から、3つの二面角と側鎖のねじれ角を計算
      • 正弦波エンコーディングで埋め込み
    • 残基の方向
      • 局所座標系Q=[b, n, bxn]を定義
        • b:=N, Cα, Cによって作られる角の負の二等分線、n:=この3つの平面に対する法線ベクトル
    • これら3つをconcatenateしてMLP
  • Pair repr.
    • 同一性を表す埋め込み（21 x 21）
    • 相対的な配列距離
    • ユークリッド距離
    • 局所座標系における方向
    • 回転を表すorientation
    • 対面の二面角
    • これら6つをconcatenateしてMLP
• Architecture
  • fusion module
    • ゲート付きlayer skipping
      • ReLU関数とsigmoidで要素ごとの重み付き和を計算する
  • invariant point attention
    • 単一表現とペア表現を融合する
    • 通常のAttentionだと立体軸の変化に弱いので、回転に強くする
    • 通常のattention（Query x Key) + 残基間の距離+残基間の回転誤差をスコアとしてValueと掛け算する。
    • これにより、single repr.を更新
  • prediction head
    • すべての残基のmax poolingで集約→0-15までの40のbinに対して分類タスクとして捉えて、確率で重み付けされた加重平均とする。
    • この出力にすることで、値の予測→カテゴリカル分布の予測に変わっている：不確実性もふくまれている

Insight

どんな結果が得られたのか？どんな条件だと上手くいって，どんな場合は上手くいかなかったのか？

• Pearson相関係数が0.629（これまでの最大は0.625）、MAE 1.36とSoTAである
  • 散布図をみてみると、多くの値について共通の予測を行っていて、過学習が考えられる。
• FEPなどシミュレーションベースは性能が低いらしい（0.145）

新しくわかった知見はなにか？他のアプリケーションやシステムでも使えそうな知見は何か？

• Abration studyでは、各モジュールをなくした状態で実験を行った。ProMIM, 側鎖情報、Fusionモジュールを減らしてもたしかにスコアは下がるが、ESM-2への強い依存度がわかる
  
• 各残基に対するAttentionのスコアheatmap
  • W, Cを含むペアのattentionは低かった。Cは結合に影響しないという知られた内容と一致している。
  • IはLよりも高く、結合に強く影響している可能性がある
  • とはいえ、そもそも精度があまり高くないので、これらの情報では構造予測に不十分であるともいえる。

Keyword: キーワード

この論文から得られた，検索に使えそうな新しいキーワードはなにか？

IPA: invariant point attention。これはAlphaFoldにも用いられている概念であり、座標軸に影響されずに、残基の距離をattentionに寄与できるものである。

Unknown: 残った課題

どんなことがまだ知られていないか，あるいは解決していないか？

結局ESM-2の情報が極めて重要である。ESM-2は構造予測を行うことができるため、ESM-2の埋め込み表現にも構造情報が含まれていると考えられる。今回は650MのESMを用いているが、パラメーターサイズは影響するのでしょうか。（事後学習用途ではあまり影響しないとも言われている？）。結局ESM-2の性能が向上すればするほどPPI予測も伸びていくように感じる。今回の結果は精度として実用性は乏しいため、側鎖構造は配列情報に含まれていると考えてもいいように思う。