Open1
Huggingface の trl から KTO, BCO を動かす方法
以下のようなエラーに遭遇。
[rank0]: attn_output = torch.nn.functional.scaled_dot_product_attention(
[rank0]: ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
[rank0]: RuntimeError: cuDNN Frontend error: [cudnn_frontend] Error: No execution plans support the graph.
解決策は このサイト の通りにする。
まさに該当バージョンだったので、
$ pip freeze | grep torch
torch==2.5.0
torchaudio==2.5.0
torchvision==0.20.0
一旦 PyTorch をダウングレード
pip uninstall torch torchvision torchaudio
pip install torch==2.4.1 torchvision==0.19.1 torchaudio==2.4.1
動いた。