AI素人がkaggle masterになるまでの長かった2年間

はじめに

202307のHubMAPで金メダルを獲得しKaggle Masterになったので今までの過程を忘れないように残そうと思います。
私は特段賢いわけでもないので結構な時間がかかってしまいました。。。
雑多に書きなぐるのでチラ裏だと思ってもらえれば。。

目次

• 略歴
• モチベーションコントロール
• 参加コンペ
• 振り返り
• 最後に

略歴

• 学生時代：古典的な画像処理で超解像をやる研究をやってました。DNNはノータッチ。
• 2年間：2017年にとあるイメージセンサの会社に入社し、組み込みソフトウェア開発エンジニアとしてOSのポーティングなどを行っていました。
• 3年目：AI興味ある？と言われ2つ返事で横の課に移動。R&Dからもらった学習コードにデータを投げ込んでモデルを作って、アプリ開発を行う仕事を行う
• 5年目：貰ったコードを道具のように使っていただけで、AI全然分からないことに気が付き焦る。コンペを始める。
• 5年目の4Q：社内異動。組み込み向けAI開発できる部署に。
• 7年目：kaggle masterになる。

自分なりのモチベーションコントロール

• Speaker Deckにアウトプットを載せる。
• 社内で勉強会を立ち上げとりあえず人を集めて着手する。人との会話がモチベーション。
• コンペをやれば自分の市場価値が上がるはず。。。と思いこむ。

参加コンペ

努力の方向を賢くするのが苦手なので、ひたすら経験値を得る作戦で参加。
約24か月で18コンペに参加！暇かな？

それぞれの実績はコチラにまとめてます。
https://speakerdeck.com/sugupoko

2021

• Signate:パナソニック株式会社 間取り図解析アルゴリズム作成@202107
  • 挫折
  • とりあえずコンペに初参加。1回提出してみたけど挫折。見返してみると全然学習できてなかった。。。
• probspace:宗教画テーマの分類@202109
  • 銀（ソロ）
  • 分類器のコードを理解できるようになった。今でもここのチュートリアルは使ってます。

2022

• Signate:スバルアイサイト@202201
  • 銅（ソロ）
  • yolov5の使い方を学ぶ。距離マップの扱い方は距離センサやってたから慣れてたけどそれ以外が甘かった。
• Kaggle:Petfinder@202201
  • 挫折
  • SVRを知る。
• Kaggle:ヒトデコンペ@202202
  • 挫折
  • yolov5, yoloxを知る
• Kaggle:Happy Whale@202204
  • 挫折
  • 距離学習を学ぶ。
• Signate:くずし字コンペ@202206
  • 銀（ソロ）
  • Yoloを使いこなす
• Signate:タナチョー@202207
  • 銀（実質ソロプレイ）
  • Happy Whaleの時に作ったコードで参戦。signateの実行形式に移植がクソだるかった。。。
• Solafune:マルチ解像度車両検出@202210
  • 10位（ソロ）
  • 2日だけ着手。ヒトデの時の知見を生かす。小さい被写体検出は解像度が大切。
• Kaggle:DFL@202210
  • 挫折
  • 2.5D CNNを理解。学習長いし難すぎた・・・
• Nishika:ボケてコンペ@202211
  • 銅（ペア）
  • 自然言語＋画像をちょっと理解
• Nishika:ヘイトスピーチの検出@202212
  • 銅（ペア）
  • BERTの使い方を理解。自然言語の学習くらいならできるようになる。

2023

• Nishika:睡眠コンペ@202301
  • 銀（ソロ）
  • DFLで作ったコードを流用して参加。スペクトログラムとかをなんとなく学ぶ。
• Kaggle:NFL Player contact detection @202302
  • 銀（実質ソロ）
  • ここでやっとKaggleでメダル。チームマージしたがソロプレイ。
• Solafune: 超解像コンペ@202304
  • 10位（＄100もらえた）
  • 社内勉強会のコンペ初参加の人達に教えつつ、監督として自分も参加。超解像面白い。
• Kaggle: 手話コンペ①@202305
  • 銀⇒剥奪（トリオ）
  • チームマージ予定の人とナレッジシェアしてた。スミマセン。Transfomerの実装の細かい所まで8割くらい理解。基盤づくりと実験で、貢献度40%くらい。割と分担できてた
• Kaggle:火山コンペ@202306
  • 銀（トリオ）
  • 手話と同じメンバで参加。確立を基に閾値を決定するという処理を上位から学ぶ。こちらも基盤づくりとディスカッションのトレース・改善で、貢献度70%くらい
• Kaggle:HubMAP@202307
  • 金（トリオ）
  • 引き続き同じメンバで参加。過去コンペから学習フローやコンペの裏の狙いなどの分析をトータルで実施。貢献度90%くらい

振り返り

学習法としては超非効率なのは自分でも理解しつつ、地道に参加をし続けることでKaggle Masterまで辿りつけた。
一番成長したと思う部分は、「あきらめない心」かな。。。

継続して参加し続けてるので、
「実装して効果が出なかったとしても、次のコンペにどうせ使えるから実装してみよう」
というマインドになれたのがメダルに繋がったのかなと思ってる。

最後に

縁があって、グループ会社横断でkaggleチャレンジをしよう！という企画も立ち上げさせてもらったりで結構楽しい日々。
勉強会で集まってくれる人、一緒にやってくれる人にはいつも感謝です。

色んなデータを見れて、いろんなソースコードに触り続けることができるKaggleは非常に楽しい！
みんなコンペやろう！