どんどん増えるRoformerモデル

はじめに

どうも、うんわです。
BS-RoformerやMel-Band-Roformerの微調整が最近かなり活発になってきています。
この記事では更新されたUVR5や新しいモデルについて紹介します。

UVR5

UVR5を開発しているAnjok氏が復帰し、UVR5のBeta版が更新されました。
Windows用フルインストール
位相修正機能のアップデートパッチ
GeForce RTX 50シリーズ（Blackwell 2.0）用のアップデート
Mac（ARM64）用
Mac（x86_64）用

オーバーラップのバグが修正され、Music Source Separation Trainingリポジトリ準拠となりました。（オーバーラップが多いほど遅いが高品質）
dim_tではなく、chunk_sizeを直接使用するようになりました。
私のInst v1eモデルやBig beta5eモデルなど濁り感をできるだけ減らすようにトレーニングされたモデルのノイズを除去するPhase SwapperやPhase Rotateなどが追加されました。
その他にもバグ修正や機能の追加などが行われているようですが、追いきれなかったので割愛します。

評価手法

新たな評価手法がmvsepの品質チェッカーに追加されています。
BleedlessとFullnessスコアです。
Bleedlessはターゲットとするステムに他のステムの音がどれだけ漏れていないかを表すスコアです。
例えば、ボーカル向けモデルならボーカルに楽器の音やノイズがどれだけ混ざっていないかを示しています。
Fullnessはターゲットとするステムがどれだけ「豊かな」音かを表すスコアで、濁り感や籠もり感の少なさを表しています。本来出ているべき音がちゃんと出ているかを表しているとも言えます。
どちらもスコアが高いほど良いです。
Bas Curtiz氏がRoformerモデルのBleedless・Fullnessスコアをスプレッドシートにまとめています。

モデル

私がBS-Roformer LargeV1やMel-Band-Roformer Bigシリーズ、Instシリーズ、FTシリーズをリリースして以来、Roformer系モデルがかなり増えてきました。新しいモデルをいくつか紹介します。

becruily氏のvocalsモデルとInstrumentalモデルとKaraokeモデル

Gabox氏のvocalsモデルとInstrumentalモデル

aufr33氏・Viperx氏のKaraokeモデル

aufr33氏のDenoiseモデル、Dereverbモデル

また、私のモデルについても少し紹介します。

Big Beta6X （重み） （コンフィグ）
今まで私がアップロードしてきたMel-Band−Roformerモデルの中では最大のモデルです。
Multiデータセットによる評価でオープンなウェイトの中では現在最高のSDRを記録しています。
5eほどではないですがFullnessも考慮されています。加えて管楽器の漏れを大幅に軽減しました。

BS-Roformer Revive 2 （重み） （コンフィグ）
Mel−Band RoformerではなくBS-Roformer Viperx 1297の微調整モデルです。FT2 Bleedlessよりも更にボーカルのBleedlessスコアを高めました。ボーカルのBleedlessスコアは現状最高の40.07を記録しています。

Inst v1e+ （重み） （コンフィグ）
Inst v1eモデルを改良したインストゥルメンタル用モデルです。ノイズが大幅に軽減されています。
Fullnessスコアはノイズを加えると高くなってしまう欠点が報告されています。v1e+はv1eよりFullnessスコアは下がってしまっていますが，その他のメトリックではv1e+のほうが優れています。

Big Beta5e （重み） （コンフィグ）
位相最適化を犠牲にボーカルのFullnessスコアを最大限に高めたモデルです。Multiデータセットによる評価でFullnessスコア20.7709を記録しています。ただし、激しい曲で使用するとノイズ問題が発生します。

FT2 bleedless （重み） （コンフィグ）
ボーカルのBleedlessスコアを最大限に高めたモデルです。Bleedlessスコア39.3007を記録しており、現状最高です。