Open8

ピアノ採譜AIつくりたい

だだっこぱんだだだっこぱんだ

目標

  • ノートのサイズを適切にする
    • 明らかに人の手で引いているとは思えないものをなくす
    • 極端に長い、短いノートをなくす
  • ペダルのオンオフを推論する
だだっこぱんだだだっこぱんだ

実験1

データセットのラベルで、各ノートにpedalon, pedaloffの時間を与えて学習する。

結果

あんま上手くいかなかった

だだっこぱんだだだっこぱんだ

実験２

データセットにノートとは別でペダルのオンオフを示すラベルを作り、学習する。
Decoder内のモジュールは共有

結果

ペダルは3epochほど学習させていると、推論するようになった。
ノートは5epochまで回しても一切推論しなかった。

だだっこぱんだだだっこぱんだ

実験3

実験2と同じデータセットで、Decoder内のモジュールをペダル、ノートで分離

結果

ノートの形がすごくきれいになった。
ペダルは3epochほど学習すると推論されるように（いい線いってた）、しかし10epochほど学習したら今度は一切推論されなくなった。

だだっこぱんだだだっこぱんだ

実験4

ペダルとノートで完全にモデルを分離

結果

now loading...

割とよさそう、lossの値は微妙だけど推論結果は若干いい感じになってる
実験３と同じように、学習が進んでから推論できなくなっちゃうことがないことを祈る