Open3
Metaの音楽生成AI（Audiocraft）を使ってみる
だーら（Flamers / Memotia）結論、できたもの
きっかけ
リポジトリ
モチベーション
- 今現在自分が作曲をしていて、メロディーラインが出来ている。そのメロディーラインをベースにアレンジをしてみてほしい
- 原曲のメロディーはどのくらい生かされた形になるのか？
だーら（Flamers / Memotia）Hugging Faceで試す
- リポジトリのREADMEに設置されているURLより
- テキストの入力も、ベースとなるオーディオのアップロードもGUIから出来るのでとても楽！
だーら（Flamers / Memotia）Colabで試す
実行コード
!python3 -m pip install -U git+https://github.com/facebookresearch/audiocraft#egg=audiocraft
# !python3 -m pip install -U audiocraft
import torchaudio
from audiocraft.models import MusicGen
from audiocraft.data.audio import audio_write
from audiocraft.utils.notebook import display_audio
model = MusicGen.get_pretrained('melody')
model.set_generation_params(duration=10)
melody_waveform, sr = torchaudio.load("./my_audio.wav")
melody_waveform = melody_waveform.unsqueeze(0).repeat(3, 1, 1)
output = model.generate_with_chroma(
descriptions=[
'Irish style, like Ed Sheeran',
'energetic EDM',
'Japanese Pop'
],
melody_wavs=melody_waveform,
melody_sample_rate=sr,
progress=True
)
display_audio(output, sample_rate=32000)
トラブルシューティング
- GPUに接続されていないエラー
RuntimeError: Found no NVIDIA driver on your system. Please check that you have an NVIDIA GPU and installed a driver from http://www.nvidia.com/Download/index.aspx
- ランタイムの設定を変更することで解決（メニューバーのランタイムの部分より）
