【Kaggle】BirdCLEF2024 29位🥈 振り返り

今回は、KaggleのBirdCLEF2024コンペに参加し、29位でソロ銀メダルを取得することができたので、解法の振り返りを書いていこうと思います。

・Competition
https://www.kaggle.com/competitions/birdclef-2024

・コード
https://github.com/yuto-m12/Kaggle_BirdCLEF2024

0. コンペ概要

鳥は移動性が高く広域に分布するため、生物多様性の変化を確認することができ、気候変動や自然再生プロジェクトなどの良い指標となる。
今回のコンペの目的は、鳥の鳴き声の音声データから鳥の種類を判別することで、182種類の中からどの鳥が含まれているかを予測します。

• 訓練データ:
  xenocanto.orgという世界中の研究者や野鳥愛好家が野生動物の鳴き声を登録するサイトから、182種類の鳥の鳴き声が訓練データとして提供されます。
  コンペティションのホストは、240000サンプル以上のランダムな長さの鳴き声データを提供しており、また各種類の音声サンプル数は異なっていました(録音数の多い種類の鳥と少ない種類の鳥が存在)。

• 訓練メタデータ:
  各音声サンプルごとに、2次ラベル(主要ラベルの他に録音された鳥の種類を示す。無い事もある)や鳴き声の種類(鳴き声、歌、アラームなど)、緯度経度、著者、音声品質ランクなどのメタデータが提供されました。

• テストデータ:
  テストデータは長さ4分で統一された、1100個の音声ファイルで、鳥の鳴き声だけでなく森の中で聞こえる他の音や、周囲の雑音なども含めて録音されています。
  予測では、このデータを5秒間隔で分割し、それぞれに対して推論を行います。

• 非ラベル付きデータ:
  鳥の名前がラベル付けされている訓練データの他に、8444個の未ラベル付けデータも提供されていました。

• 評価方法:
  評価はマクロ平均AUC-ROCで行われます。真陽性を持たないクラスを除き、182列の予測値それぞれに対して評価が行われ、平均された値が最終的な評価値になります。

・ 提出ファイルのフォーマット

row_id, asbfly, ashdro1, ashpri1, ...
soundscape_1446779_5, 0.0054, 0.0054, 0.0054, ...
soundscape_1446779_10, 0.0054, 0.0054, 0.0054, ...
soundscape_1446779_15, 0.0054, 0.0054, 0.0054, ...

• 特徴:
  今回のコンペの特徴は以下のようになっています。
  ・データの問題点として、アンバランス(種類による不均衡)、鳥の鳴き声以外の音が入ることがある、鳥が鳴いていない間のデータなどに対処する必要がある
  ・CPUによる120分以内の推論しか認められていない
  特にGPUが使用できないという制限により、推論時間がかなり厳しいものになっていました。

• コンペの流れ
  与えられたデータは音声の一次元データでしたが、多くの公開ノートブックで、スペクトログラム(時間単位の周波数を可視化したもの)を生データから作り出し、画像モデルで学習が行われていました。
  ※スペクトログラムについては以前フーリエ変換と一緒に解説しています。
  ・フーリエ変換を理解する

1. 解法

1.1 概要

・自作モデルと公開モデルのアンサンブル(1:1)
・自モデルはtimmのefficientnet_b0を利用した画像モデル
・公開モデルはmixupを使用した画像モデルを利用
・6種類のaudio→image変換を試し、最も良かったmelspectrogramを利用
・全モデルに対してONNXとopenvinoによる推論の高速化を適用(約40%の推論時間削減)

1.2 追加データ

今回の大会では、不具合で用意されたデータが各種500まで打ち止めとなっていたため、参加者の方が追加してくれたxenocanto.orgからの追加データを用いて学習を行いました。
単純ですがデータの量はモデルの性能に直結します。

2. 自作モデル

ここからは、自作の画像モデルについて話していきます。

2.1 設定

model: "efficientnet_b0.ra_in1k"
batch_size: 32
max_epoch: 9
n_folds: 5
optimizer: optim.AdamW
scheduler: OneCycleLR
lr: 1.0e-03
weight_decay: 1.0e-02
img_size: 224
interpolation: cv2.INTER_AREA
enable_amp: Ture
CV: StratifiedKFold

今回の評価指標ではデータセットにないクラスの評価は無視されてしまうため、バリデーションは各foldのクラス分布が均等になるようにStratifiedKFoldを使用しました。

2.2 前処理

今回は元の音声データを以下6種類の画像に変換し、画像モデルで学習を行いました。
・スペクトログラム
・メルスペクトログラム
・スカログラム
・クロマグラム
・MFCC
・スペクトルコントラスト
それぞれの画像のイメージは以下で確認できます。
・【Pre-processing Method】Various ways to visualize audio data

試した中で、メルスペクトログラムが一番良い性能を示し、これを利用しました。
これは、メルスペクトログラムは周波数ごとに音声を可視化するため、同じ鳥の鳴き声は同じような部分が強調されているため分類に利用しやすかったためだと考えられます。
他の画像を使用したモデルとのアンサンブルも試しましたが、性能は向上しなかったため使用しませんでした。
・メルスペクトログラム

2.3 モデル

class BirdCLEF2024SpecModel(nn.Module):

    def __init__(
            self,
            model_name: str,
            pretrained: bool,
            in_channels: int,
            num_classes: int,
        ):
        super().__init__()
        self.model = timm.create_model(
            model_name=model_name, 
            pretrained=pretrained,
            num_classes=num_classes, 
            in_chans=in_channels
        )

    def forward(self, x):
        h = self.model(x)      

        return h

2.4 モデル出力

出力を安定させるために、各fold内で最もCVの高かったモデルを選択し、それぞれのモデルで予測、その結果を平均したものを最終出力としました。

test_pred = test_preds_arr.mean(axis=0)

2.5 異常データの削除

メタデータに記述されているが、実際には存在しないデータを削除しました。

not_exist_list = [
    'aspfly1/XC775312',
    'comior1/XC881009',
    'hoopoe/XC891005',
    'hoopoe/XC891004',
    'hoopoe/XC798809',
    'hoopoe/XC798808',
    'hoopoe/XC798807',
    'hoopoe/XC798806',
    'hoopoe/XC798805',
    'eaywag1/XC835367',
    'orihob2/XC762524',
]

2.6 推論の高速化

IntelのOpenVINOというオープンソースソフトを利用することで、量子化、枝刈り(pruning)、分散化、ハードウェア(CPU,GPU等)の最適化などによって推論を高速化することができます。
今回は出力のために5回モデルによる推論(+アンサンブルモデルの推論)を行う必要がありましたが、これを利用することで推論時間が約40%短くなり、制限である120分以内の推論を満たすことができました。

# converting models to openvino
def convert_pytorch_to_openvino(device):
    for fold_id in range(CFG.n_folds):
        # load model
        model_path = TRAINED_MODEL / f"best_model_fold{fold_id}.pth"
        model = BirdCLEF2024SpecModel(
            model_name=CFG.model_name, pretrained=False, num_classes=CFG.N_CLASSES, in_channels=1
        )
        model.load_state_dict(torch.load(model_path, map_location=device))
        model.eval()
        # export to onnx
        torch.onnx.export(model,
                      CFG.DUMMY_INPUT_TENSOR,
                      CFG.OUTPUT_DIR_ONNX / f"fp32_fold{fold_id}.onnx",
                      opset_version=15,
                      input_names=['input'],
                      output_names=['output']
        )

        # convert model to openvino
        ov_model = ov.convert_model(CFG.OUTPUT_DIR_ONNX / f"fp32_fold{fold_id}.onnx",
                                input=[('input', CFG.INPUT_SHAPE)],)
        # save model
        ov.save_model(ov_model, CFG.OUTPUT_DIR_OV / f"fp32_fold{fold_id}.xml", compress_to_fp16=False)
        
convert_pytorch_to_openvino(device=torch.device(CFG.device))

3. 何が機能しなかったか

・画像のmixup
・メルスペクトログラム以外の画像による学習

4. 環境

コンペ全体を通して、KaggleのGPU(P100)を使用していました。
性能:
・RAM 32GB
・VRAM 16GB
制限:
・週30時間まで
・同時に起動できるのは1つまで

5. まとめ

本解法ではメルスペクトログラムを利用した画像モデルと、OpenVINOによる推論の高速化を主に利用しました。
振り返りは以上になります。読んでいただきありがとうございました！

参考

[1] BirdCLEF 2024, Kaggle