はじめに
データアナリティクスラボ株式会社の宮澤です。
先日「KDD Cup 2024」というコンペティションに、宮澤・力岡・山口の3名のDSメンバーで参加をしました！
本記事を含め全5記事にわたって、コンペでの私たちの取り組みについてご紹介させていただきます。シリーズの1本目となる本記事では、コンペの概要と結果についてまとめたいと思います。
メンバー紹介
コンペの概要の前に、弊社のメンバーを簡単にご紹介させていただきます。
メンバー①：宮澤
入社2年10か月。前職は営業職で、完全未経験からデータサイエンティスト職へ転職。マーケティングに関する分析・モデル構築を業務として、社内では生成AIの研究活動を行っている。GENIACの某プロジェクトにも参加し、チームMVPを受賞。
メンバー②：力岡
入社2年半。高専を卒業後、機械メーカーに入社し、完全未経験からデータサイエンティスト職に転職。金融に関する分析や生成AI関連の開発に従事し、社内でも生成AIの研究活動を行っている。
メンバー③：山口
入社半年。前職は看護師で、完全未経験からデータサイエンティスト職へ転職。金融機関で保険に関する分析、生成AIアプリ開発関連の業務に従事している。
KDD Cupとは
KDD Cupとは、データマイニングの世界最高峰の国際学術会議であるKDDで開催されている、データ分析の大会です。KDDはデータマイニング・知識発見・大規模データ分析における革新的な研究に焦点が当てられ、論文採択率が比較的低い、難易度の高いものとなっています。
KDD CupはKDDの年次会議に合わせて開催される分析コンペティションであり、産業界および学界を対象としています。
2024年のテーマ
KDD Cup 2024のテーマは「Multi-Task Online Shopping Challenge for LLMs」でした。
（https://www.aicrowd.com/challenges/amazon-kdd-cup-2024-multi-task-online-shopping-challenge-for-llms より引用）
画像の通り、2024年はAmazon社がスポンサーとなっており、ショッピングに関するデータを扱う内容でした。また、タイトルから分かる通り、ホットな技術である「LLM」を活用したコンペとなっていました。
タスク紹介
本コンペでは、大きく4つのタスク（Trackと呼ばれています）と、全タスクの汎用能力を図るためのタスクの計5つが用意されていました。
Track 1：Shopping Concept Understanding
ショッピング固有のドメインに関する理解度を測るもの。
Track 2：Shopping Knowledge Reasoning
ショッピングに関連する「数値推論」「知識推論」「暗黙的知識を伴う推論」の性能を測るもの。
Track 3：User Behavior Alignment
ショッピングにおけるユーザー行動の理解度を測るもの。
Track 4：Multi-lingual Abilities
ショッピングに関する多言語での概念理解等の性能を測るもの。
Track 5：All-Around
上記1~4のタスクを汎用的に解く性能を測るもの。
（https://www.aicrowd.com/challenges/amazon-kdd-cup-2024-multi-task-online-shopping-challenge-for-llms より引用）
取り組んだタスク
前提として、私たちは業務時間外で有志で取り組んでおり、使える時間がさほど多くないことがわかっていたため、今回は初めから「Track 2：Shopping Knowledge Reasoning」のみに絞って取り組んでいました。
問題例
解くタスクとしては、以下のように複数の選択肢から適切な1つを回答するというものでした。
※他にも多肢選択問題が混ざっていましたが少量だったため割愛します。
Which of the following product categories best complement the product type electric toothbrush?
0. toothpaste
1. headphones
2. smartphone
3. book
Answer: 0
The product 'Quaker Oatmeal, Maple & Brown Sugar, 1.5 Ounce (Pack of 10)' appears on an e-commerce website. What is the total weight of the oatmeal?
0. 12 ounce
1. 15 ounce
2. 20 ounce
3. 10 ounce
Answer: 1
Given the product "Samsung Galaxy S21", as a result, PersonX feels
0. frustrated
1. disappointed
2. bored
3. excited
Answer: 3
使用できるモデル
オープンになっているモデルであれば基本的に使用可能でした。ただし、GPU環境や処理時間に制限があったため、現実的に可能なのは（量子化をしない場合は）パラメータ数が7B~20B級のLLMであると思われました。私たちは、7Bファインチューニング等の追加学習を行い、スコア向上を狙いました。
※技術詳細については別記事でご紹介します。
コンペの結果
本コンペはRound 1（予選）とRound 2（本選）に分かれていました。
上述の通り、私たちはTrack 2に参加しました。
Round 1の結果
予選については、約130チーム中8位で通過しました。
Round 2の結果（最終結果）
本選を終えた最終的な順位は18位でした。
振り返り
チームとしての目標は「7位以内入賞」としていたため、悔しい結果となりました。
しかし、上位をみると有名な企業がランクインしていたため、非常にレベルの高いコンペであったことがわかりました。自分たちの業界経験年数、限られた作業時間、限られた計算リソース（最大でA100 * 1枚）の中でできることはやったという気持ちもありますが、まだ工夫できる余地は残っていました。
今年の反省を生かして、来年またチャレンジしたいと思います！
技術的な振り返りおよび上位解法の確認については、このあとの記事で書いていきます。
おわりに
本記事では、弊社メンバーで参加したKDD Cup 2024の概要と結果について紹介いたしました。
DALではこのように、経験が浅くも技術力向上のためにコンペにチャレンジしている社員がいます。今回は悔しい結果となりましたが、1年後に成長した姿でまた参加できるように、引き続き頑張りたいと思います！
お読みいただきありがとうございました。
KDD Cup参戦記としては以下を投稿予定です。よろしければ続編も是非お読みください。
関連記事
- KDDCup参戦記① 概要と結果編 ◀ イマココ
- KDDCup参戦記② データ準備編
- KDDCup参戦記③ RAG／ファインチューニング編
- KDDCup参戦記④ モデルマージ編
- KDDCup参戦記⑤ 上位解法の紹介編
Discussion