Kaggle Expert になった記録と方法
はじめに
こんにちは、はじめまして。eastxeと申します。
このたび Santa2024 で銅メダルを獲得し、Kaggle Expert になったので、ここまでの振り返りを書いておきます。
世の中には GrandMaster や Master に到達した際のブログ記事が多くありますが、Expert 到達時点で書かれたものは人数に反して少なく、これから Kaggle を始めようと思っている方や、 Expert を目指す方の参考になれば幸いです！
自己紹介
- 大学・大学院共に情報学科出身（研究室は画像処理系）
- 某IT企業でデータサイエンス職に従事
Kaggleを始めたきっかけ
最初に Kaggle に登録したのは 2018 年頃でしたが、何もわからないまま辞めてしまい、その後、社会人になってから何回か復帰してみたものの、結局長続きませんでした。
昨年のある日、研究室時代の同期がたまたま近くに住んでいるとわかり、食事に行った際にKaggleやらん？という話になったのがきっかけで本格的に Kaggle を再開することにしました。正直なところ一緒に取り組む友人がいたおかげで Expoert になるまで Kaggle を続けることができたと思っています。
Expertになるまでにやったこと
特別な勉強法があったわけではなく、「継続できたから Expert になれた」というのが正直な感想です。
まず、大前提としてExpertになるにはKaggleで銅メダル以上を2回取る必要があります。一般に『Kaggleで銅メダルを取るには Public Notebookをちょっといじればいける』という説がありますが、実際これはある意味で真理を言っていると思います。
ちなみに、『Public Notebookをちょっといじる』ことでメダル獲得には以下のことが "ある程度" できる必要がありそうです。
- どのような問題か、予測対象が何かを理解する
- 公開されているコードがやってることを理解する
- 実験・考察を繰り返しつつ改善のサイクルを回し、提出枠をきちんと使う
これらは実は初心者にとっては『ダイエットは食事制限して運動すればいいよ』というくらい難易度は高いです。一方で、ボディービルダーからすれば食事制限・運動は息をするようにできるはずです。Kaggleもこれと同じで、初心者はとにかくモチベを失わず基礎的なことを継続できればいずれはExpertにはなれます。
自分は再開してから半年くらいでExpertになりましたが、コンペ終盤にならないと本気で取り組めないのは治っておらず言うほどこれらを実践できていないです（大体終了３週間前からコンペに取り掛かり「もう少し時間があれば...」と毎回言ってます）。
もし同じように続かない人がいれば、自分と同じように一緒に取り組む仲間を探すのがおすすめです。誰かとやるおかげで継続力向上につながるのは間違いないです。
↑結局真理はこれかもしれない
あとコンペ選びはとりあえず参加して継続するか決めています。ちゃんと取り組んだものはどれも学ぶものが多かったので初心者は特に拘らずに参加するのが良さそう。
もしデータサイエンスで使う手法を基礎から学びたいのであれば、この本がおすすめです。これ以上の知識はDiscussionやPublic Codeを見ながら勉強すればいいかと。
印象的なコンペ
半年で参加した印象的なコンペを箇条書きで書いてみます
RSNA 2024 Lumbar Spine Degenerative Classification 🥉
- 医療画像から重症度を予測するコンペ
- 初めてメダルを獲得したコンペ
- YOLOのモデルをアンサンブルしまくってた思い出
NeurIPS - Ariel Data Challenge 2024
- 惑星のTransitの深さ等を予測するコンペ（だった気がする）
- 〆切の２週間くらい前にようやく本格的な参加を決め実装を始めたものの、最後のモデル選択をミスってメダルを逃す
- まあもうちょっと早くからやっとけという話ではある
Santa2024 🥉
- 単語を並び替えてPerplexityを改善するコンペで、今まで参加したコンペで一番面白かった
- 自分で局所解になった時にshakeする仕組みを実装して上手くいかなかったが、上位解放ではやってたので取り組み方が甘かったと反省
- あとちょっと順位を上げれば銀メダルだったのは残念
Exertになった感想
実際に自分はデータサイエンス職ではありますが、問題を理解して継続的に取り組むことは業務でも必須のプロセスだと思います。逆に言えばこれは見た目以上に難しいことだなと思っており、Kaggleでそれなりに戦える人材は市場価値が結構あるんじゃないかなあと。
後は一緒にやる仲間がとにかく大事です！
やっぱ最後はAIより人間や（AI時代における真理）
今後の目標
かなり高いハードルですが、Masterになるまでは続けたいなあと思います。
もしどこかのコンペで会った時はよろしくお願いします:bow:
Discussion