2024年 振り返り

はじめに

2024年も終わりということで、少し振り返りをしてみました。
Xを見ているとすごい実績がたくさん流れてくるので、この記事を作っている間は割とメンタルが削られましたが、2021年10月に未経験からデータサイエンスの業界に入って3年目の取り組みということで、業界初心者のモチベに繋がるものになれば嬉しいです。

2024年の振り返り

こんなことをやりました

一部本業の成果も混ざってますが、ほとんどは課外活動です。

月	やったこと
1月	【コンペ】Kaggle LLM - Detect AI Generated Textに参加。結果は270位 / 4,358チームで銅メダル🥉。
2月	Google Cloud Associate Cloud Engineer を受験して合格。
3月	【技術ブログ】LLMのファインチューニングを他手法との違いから理解するを公開。
4月	GENIAC松尾研LLM開発プロジェクト(Phase 1)に開発メンバーとしてジョイン。
5月	【コンペ】KDD Cup 2024(Track 2)に参加して取り組みを開始。 GENIAC松尾研LLM開発プロジェクトに取り組む。
6月	GENIAC松尾研LLM開発(Phase 1)の結果発表にてチームMVPを受賞🎖️。
7月	【コンペ】KDD Cup 2024が終了。結果はTrack 2で18位 / 138チーム。 【技術ブログ】KDDCup参戦記シリーズを公開。 LLM Merging Competitionに参加して取り組みを開始。
8月	【技術ブログ】論文紹介：Discovering Preference Optimization Algorithms with and for Large Language Modelsを公開。 【コンペ】atmaCup #17に参加。結果は11位 / 393チーム。
9月	【技術ブログ】atmaCup #17 参加記録を公開。 【技術ブログ】トークナイザー構築のナレッジとチームの取り組み紹介を公開。 松尾研LLM講座2024の受講開始。
10月	【技術ブログ】gradient accumulation stepsのバグを理解するを公開。 本業にて進化的モデルマージを用いた日本語金融LLMモデルの構築を公開。 【技術ブログ】第33回 人工知能学会 金融情報学研究会（SIG-FIN）に参加してきました！を公開。
11月	【コンペ】LLM Merging Competitionが終了。最終順位は10位。（母数はよくわからなかった。） 【コンペ】atmaCup #18に参加。結果は17位 / 382チーム。
12月	【ウェビナー】「LLM Supervised Fine-tuningの理論と実践」を実施。講義資料を公開。 【コンペ】Kaggle Eedi - Mining Misconceptions in Mathematicsに参加。結果は168位 / 1,449チーム。 【技術ブログ】Kaggle Eedi 参加記録を公開。 松尾研LLM講座2024の講義パートが終了。最終課題コンペで予選18位 / 1,331人で決勝進出。 【技術ブログ】LLMのモデルマージ手法を公開。

よかったこと

• 何もやっていないという期間はなく、何かしら頑張って取り組んでいた。
• LLM開発プロジェクトや未経験分野のコンペへの参加など、新しいことにチャレンジできた。
• LLMの分野においては自分の技術に多少の自信をつけることができた。
• 年末に出したモデルマージの記事が思ったより反響があった。

反省点

• コンペで上位に入るための努力と工夫が足りなかった。（逆に言えば学びは多かったが。）
• 技術調査をしている時間が長く、実装や検証のための時間をあまり作れていなかった。
• 本業を除いて、LLM以外の分野の取り組みがほとんどなかった。
• めちゃくちゃ本を読まずに積んだ。

2025年にやりたいこと

こんなことにチャレンジしたい。

• コンペに注力する。複数回メダル獲得・入賞したい。（Kaggleなら銀メダル以上、その他は各コンペの入賞圏内。）
• 画像処理技術のキャッチアップ（2024年は言語モデルに力を入れたので。）
• Google Cloud Professional Data Engineer の受験と合格（2024年にAssociateを取ったので。）
• 何かしらのAI Agentプロダクトを作る（非商用。自分のアシスタント的なもの。）
• オフラインのイベントにたくさん参加して外部との交流を充実させる。（たくさんコンタクトとっていただけると嬉しいです。）
• 積読を消化する。

おわりに

こうしてみると実績がよわよわでお恥ずかしい限りですが、、
引き続き色々チャレンジしてつよつよになれるように頑張りたいと思います。