Open5

(公開用)研究アイデア&ノート

tkoshttkosht

ピアノの指の動き、時系列グラフ構造での表現方法

  • 指をノードとして、あるまとまりの動きをエッジ?とする?
    • ピアノは、触覚と聴覚のマルチモーダルで、エンコーダ&デコーダを作っているイメージ
    • 指の動きは、触覚の内的イメージ(内部表現)
      • 実際には、その内的イメージ(内部表現/推定値)をデコードすると実際の指のアクションになるような
        • で、実際の触覚をエンコードして内部表現を作り、デコード前の内部表現と一致するかで学習する
tkoshttkosht

LangChain 使って、なにかおもしろいことできないかな・・