Open1

Huggingface の trl から KTO, BCO を動かす方法

アザラシアザラシ

以下のようなエラーに遭遇。

[rank0]:     attn_output = torch.nn.functional.scaled_dot_product_attention(
[rank0]:                   ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
[rank0]: RuntimeError: cuDNN Frontend error: [cudnn_frontend] Error: No execution plans support the graph.

解決策は このサイト の通りにする。
まさに該当バージョンだったので、

$ pip freeze | grep torch
torch==2.5.0
torchaudio==2.5.0
torchvision==0.20.0

一旦 PyTorch をダウングレード

pip uninstall torch torchvision torchaudio
pip install torch==2.4.1 torchvision==0.19.1 torchaudio==2.4.1

動いた。