【Kaggle】BirdCLEF2025 65位🥈 振り返り

1. はじめに

鳥コンペことBirdCLEF2025で銀メダルを獲得することができました．テーブルデータ以外のコンペには参加したことがなかったので分からないことだらけでしたが，ChatGPTと先人の知恵を借りて，なんとか目標としていた銀メダルを獲得することができました．以下に参加体験記を書きます．
https://www.kaggle.com/competitions/birdclef-2025/overview

2. コンペの概要

熱帯雨林に暮らす野生動物たちは、環境の変化にとても敏感です.彼らの「鳴き声」や「音」は、生態系の状態を知るための大切な手がかりになります.しかし、人間が広い森を歩いて調査するのはとても大変で、時間もお金もかかります.
そこで今回のKaggleコンペでは、「音声データを使って、どんな動物がいるかをAIで判別する」ことに挑戦します.対象は鳥だけでなく、カエル、哺乳類、昆虫など、さまざまな生き物です.
この技術がうまくいけば、森の回復状況を遠隔でモニタリングできるようになります.現地の人たちや研究者が、どこにどんな動物が戻ってきているのかを知ることができ、保全活動の効果を見える化できるのです.例年と異なる点は鳥だけではなく、哺乳類や昆虫などの鳴き声も追加されたことです．

3. 解法

本コンペでは、以下のパイプラインで音声データの前処理およびモデルの学習を行いました：
音声データ →　人口音声の除去 →5secのクリッピング(ランダム）→ メルスペクトログラム画像への変換 → モデル学習

学習用音声データの一部には、動物の名前を読み上げる人工音声が含まれていました.これによりモデルが可能性があるため、過去のKaggleノートブックを参考にしながら、人間の声成分を除去する前処理を行いました.

学習用の音声データの長さは様々で5秒未満のものもあれば，1分以上のものもありました．データのサイズを統一するため一部を切り取る必要がありました．切り取る方法は複数あります．
・最初を切り取る方法
・真ん中を切り取る方法
・ランダムに切り取る
・RMS(Root Mean Square）音のエネルギー量が大きい場所から優先的に切り取る方法．
最終的に私はランダムに切り取る方法を選びました．シードを変えて検証を行った結果，RMSでは若干の精度改善(+0.02)が見られましたが，人口音声を除去した後にこの処理が必要なのかという疑問と
PublicLBにオーバーフィッティングしすぎな予感がしたので，汎化性能を優先してランダムにサンプリングしました．

最終的には以下をバックボーンとするモデルのアンサンブルで提出しました．
・efficientnet_b0(simple CNN)
・eca_nfnet_l0（SED)

4. 上手くいったこと

・モデルスープ（Model Soup）
モデルスープとは、複数のモデルの重みを単純平均することで1つの新しいモデルを作る手法ですhttps://arxiv.org/abs/2203.05482
これはアンサンブルのように複数モデルを同時に推論するわけではないため、推論時間を増やさずにモデルの多様性を取り入れられるのが特徴です
この手法が今回のコンペで非常に効果を発揮しました
このコンペでは例年通りドメインシフトが大きく、適切なバリデーション設計が困難という課題がありましたそのため、特定のエポック・シードに依存したモデルにするのではなく、シード0〜4, エポック1〜20のモデルの重みを平均することで、過学習を避けつつ汎化性能の向上を狙いました
結果として、モデルスープによって異なるエポックで学習された多様な特徴を取り込むことができたと考えています
・SEDモデル
これはディスカッションや過去コンペから有効であるとわかっていましたが実装が難しそうだったので放置していました．．．頑張って理解して実装までやりました．（もちろん過去コンペは参考にしています）
・ONNXとopenvinoによる推論の高速化
推論時間が40%速くなるみたいです．しかし，backboneがNF_NETだとうまく変換できませんでした．
・Labelsmoothing

5. 上手くいかなかったこと

・バリデーション手法の確立
このコンペでは，各種におけるサンプル数の偏りが非常に大きく、バリデーション戦略の設計に大きく苦戦しました．

たとえば，最も多い種では990個のサンプルがある一方で，最も少ない種ではわずか2個しかありません．このような極端なクラス不均衡のため、通常のクロスバリデーション（Stratified K-Foldなど）での分割を行うことができませんでした．

この問題の解決にはかなりの時間を費やしましたが，残念ながら最終的な成果にはつながりませんでした

試したアプローチとその反省

• 少数クラスに対するデータ拡張
  ノイズの付加やピッチシフトなど、音声データに対して変換を加えることでデータの水増しを試みました
• 少数クラスのみに対するサンプリング回数の増加
  ただし、この方法では結局“似たような特徴を持つデータ”が繰り返し学習されてしまい、意味が薄かった可能性が高いです
• 少数クラスの追加データ投入
  各foldに全ての種が含まれるよう、少数クラスに限って追加データも投入しましたが、バリデーションスコアとLBスコアの乖離が見られました
  → 追加データの質が低かったことが主な原因かもしれません

2位のソリューションでも、バリデーションの難しさについては触れられていました特に、AUCの改善が1%未満のレベルになると、CVスコアとLBスコアの相関がほとんどなくなるという指摘は、自分の試行錯誤とも一致していました

“After some major improvements, we saw significant positive changes in both metrics, but when tweaking things within ~1% AUC, the correlation was nearly absent.”
— 2nd Place Discussion

• 擬似ラベリング
  　閾値の設定を変えて色々試しましたが，うまくいきませんでした．
• Time Flip
  　鳥の鳴き声は時間構造が重要で，時間を反転させてしまうと，特徴をうまく取りきれないようです．
• 推論時に前後の2.5秒も含めた10秒で推論

6. 上位入賞者の解法

• サンプリング方法

上位入賞者の多くに共通して見られたサンプリング戦略は、
切り取る秒数：5秒または10秒、
抽出方法：ランダムサンプリング、RMS（Root Mean Square）によるエネルギーベースの抽出
というものでした

私自身も長め（10秒,15秒）の区間を切り取るアプローチは試していたのですが、LBのスコアにはあまり変化が見られず、最終的には5秒間のランダムサンプリングに落ち着きました
本来、鳥の鳴き声は5秒以上続くことも多いらしいのですが、鳴いていない部分がノイズになる懸念や、処理速度とのバランスを考慮して、このアイデアはいったん見送る判断をしましたただ、改めて検証の価値はあると感じています

特に印象的だったのは、2位のソリューションで紹介されていた以下の方法です

「音声の最初または最後の7秒間から、ランダムに5秒を抽出する」

この手法は、「鳥が鳴いているときに録音ボタンを押し、鳴き終わったら止める」という人間の行動パターンに基づいたもので、人間の直感と実データの構造を結びつける優れた発想だと感じましたこうした視点や、それを形にする実装力は今後ぜひ身につけていきたいです

"We trained our models on 5s and randomly selected segments. Based on experience from last year, we initially tried three approaches to picking 5s segments: random 5s from the whole audio, random 5s from the first 7s, and random 5s from the first or last 7s. The reasoning for the last two approaches is that often the recorder starts the audio when the animal is vocalizing and stops it when the animal stops vocalizing. That would help the model avoid false positives. The 7s was just to add some diversity."
— 2nd Place Discussion

https://www.kaggle.com/competitions/birdclef-2025/discussion/583699

7. 感想

このコンペでの行動目標は以下の3つでした．
・GPUを動かし続ける
・上限までsubmitする
・Discussionを読み込む．
上2つはどこかのブログで拝見したものですが，量をこなし実装力を身につけるという点では大いに役立ちました．また，最後のDiscussionを読み込むことも非常に大切でした．
平日は帰宅後の約3時間、土日はほぼすべての時間をこのコンペに注いできたので、悔しさもひとしおです上位入賞者のソリューションを見て、「量をこなす」だけでは太刀打ちできない壁があることも痛感しました
それでも、この経験は自分にとって非常に大きな糧となりました来年は、必ず金メダルを獲りにいきます