Context Collection Competition
こんにちは。Jetbrains公式代理店NATTOSYSTEMの私です。
今回はJetBrainsとMistral AIが主催する「Context Collection Competition」は、AIによるコード補完の精度向上を目指す国際的なコンペティションをご紹介いたします。
このイベントでは、リポジトリ全体から有益な情報を収集する「コンテキスト収集戦略」の開発が求められます。
うん、コンペティションとコンテストのちがいってなんだ
🧠 ニュアンスの違い
コンペティションは「真剣勝負」「実力で勝ち抜く」ような、より形式ばった競争の印象があります。
例: オリンピックの競技種目
コンテストは「審査・評価される」印象が強く、創造性・表現力などを評価することが多いです。
例: 漫画コンテスト、ミスコン
🤖 なぜ「コンペティション」を使うの？
今回のような「Context Collection Competition」は、
学術的・技術的な要素があり、
評価方法もスコアで定量的、
モデル間の精度比較など、客観的な指標で勝負される
という特徴から、「コンペティション」の方がふさわしい表現となります。とのこと。ChatGPTより。
🧠 コンテキスト収集の重要性
AIを活用したIDE（統合開発環境）では、コード補完の品質は周囲のコード（コンテキスト）をどれだけ正確に理解できるかに大きく依存します。
JetBrains Researchの実験によれば、コンテキストの質がコード補完の精度に大きな影響を与えることが示されています。
🎯 コンペティションの概要
-
目的:
指定された補完ポイントに対して、リポジトリ全体から有用な情報を収集するコンテキスト収集戦略を開発し、コード補完モデルの精度を最大化すること。 -
評価方法:
JetBrainsのMellum、Mistral AIのCodestral、Alibaba CloudのQwen2.5-Coderという3つの強力なコードモデルを使用し、chrFスコアの平均で評価されます。 -
対象言語（トラック）:
- Python: 広く使用されており、多くのAIベースの開発支援でサポートされている。
- Kotlin: JetBrains製品との親和性が高く、よりモダンな静的型付け言語。
🏆 賞金と特典
各トラックの上位3チームには以下の賞金が授与されます：
- 🥇 1位: $3,000
- 🥈 2位: $2,000
- 🥉 3位: $1,000
さらに、各上位チームの代表者には：
- ASE 2025ワークショップへの無料参加登録
- JetBrains All Products Pack（1年間ライセンス / 約$289相当）
- La Plateformeで利用可能な$2,000分のクレジット
📅 スケジュール
- 6月2日: コンペティション開始
- 6月9日: パブリックフェーズ開始
- 7月25日: パブリックフェーズ終了、プライベートフェーズ開始、ソリューションペーパー提出受付開始
- 8月18日: プライベートフェーズ終了、最終結果発表
- 8月26日: ソリューションペーパー提出締切
- 11月: ワークショップでのソリューション発表
🏗 コンペティションの構成
このコンペティションは、以下の3つのフェーズで構成されています。
🔧 プラクティスフェーズ（2025年5月30日〜7月25日）
- 提出形式に慣れるための期間
- 解答を提出すると即時フィードバックが得られる
- 提出回数に制限なし
🌐 パブリックフェーズ（2025年6月9日〜7月25日）
- コンペティションのメインフェーズ
- パブリックリーダーボード（公開スコアボード）が表示される
- 1日の提出回数に制限あり
🔒 プライベートフェーズ（2025年7月25日〜8月18日）
- 最終的なスコア評価を行う決勝フェーズ
- Docker形式での提出が必要
- 最も厳しい提出制限（例：1日1回など）
✅ 参加資格のポイント
| 条件 | 内容 |
|---|---|
| 💻 技術要件 | Python/Kotlinと基本的なコード処理に関する知識（スターターキットあり） |
| 🌍 居住地 | 国際オープン：日本からの参加もOK |
| 👥 参加形態 | 個人でもチームでも可（チームは1～3名程度が推奨） |
| 💬 言語 | 英語がベース（提出物や資料も基本英語） |
| 🎓 学歴や年齢制限 | 特に明記なし（ただし、成果物の提出やワークショップ発表があるため、大学生以上が望ましいかも） |
✅ 世界中の開発者・研究者が対象
✅ 学生・個人・企業メンバーも参加可能
✅ 英語でのやりとりがメイン
🛠 スターターキットと参加方法
JetBrains Researchは、コンペ参加者向けにスターターキットをGitHubで公開しています。
- スターターキット: GitHubリポジトリ
コンペティションへのエントリーはEval.AIから可能です：
- 参加登録: Eval.AIページ
✨ まとめ
「Context Collection Competition」は、AIによるコード補完の未来を形作るための貴重なチャンスです。
PythonやKotlinのプロジェクトに携わっている方、AIに関心がある開発者は、ぜひ参加してみてください！
詳細は以下の公式ブログからご覧いただけます：
📢 フィードバックをお待ちしています
Jetbrains製品に関するご意見・ご感想をぜひお寄せください。
📝 この記事はJetBrains公式ブログ記事を元に、一部AIによって要約・編集されたものです。
Discussion