はじめに
データアナリティクスラボ株式会社の宮澤です！
今回は、弊社内で行っている社内勉強会の取り組みについて紹介したいと思います。
社内勉強会の概要
弊社には「ラボチーム」という有志のデータサイエンティスト社員で組織された研究チームがあります。本チームが主導となり毎週１回の社内勉強会を開催しています。１回あたりの時間は約60分で、約40分を発表時間とし、残りを質疑応答としています。当初はラボチームの中でも「生成AIチーム」のみが行っていたため、生成AIのテーマがほとんどでしたが、最近は他（の専門分野を担当している）チームのメンバーや、ラボチーム以外の社員からも登壇しており、幅広いテーマで勉強会を開催しています。
※ラボチームの詳細については後日別記事にて紹介させていただきます！
2024年上期はこんなテーマがありました！
ゼロから学ぶTransformerの基礎
初学者向けにTransofomerの基礎について解説しました。理論と実装の2部構成とすることで理解を深められるような勉強会となりました。
「LLMの現在」輪読会
「LLMの現在」という資料を用いて読み合わせ形式で勉強会を行いました。LLMに関する主要な技術を中心に解説しました。
NLP2024 論文紹介
発表者がNLP2024（言語処理学会第30回年次大会）の論文で気になるものを1~2本ほど読み、その内容を紹介する勉強会を行いました。勉強会を数回に分け、4名で計8本の論文を紹介しました。
ローカルLLM入門
オープンソースのLLMを動かすまでとファインチューニングの実装方法を、実際のコードを見せながら解説する勉強会を行いました。HugginFaceとは？という実装に必要な基礎から解説しました。
知って触って理解しよう！OpenAIアップデート 202405
2024年5月14日に開催されたOpenAI Spring Updateでの発表内容について紹介する勉強会を行いました。実際にアップデートされた機能を触ってみた感想など含めてディスカッションをしました。
RAG開発における手順
ラボチームで作成した全70ページ以上のスライド + 実装コードをもとに勉強会を行いました。RAGの基礎や精度向上技術と、ローカルおよびMicrosoft Azureを使った実装方法について解説しました。
最近の生成AI注目トピックの紹介
ラボチームのメンバーが最近気になった生成AI周りのトピックを紹介する勉強会を行いました。LLMの計算効率化の技術、DeepSpeedライブラリ、Med-Gemini、Fine-tuningによる知識獲得といったトピックがありました。
Instruction Tuningの実装について
LLMのインストラクションチューニングという技法についての説明と、自分たちで作成したサンプルコードをもとに実装のポイントや注意点などについて解説しました。
LLMモデルマージの技術調査と実装
進化的モデルマージの論文をもとに、技術概要と実装方法の解説、また実際にマージして構築したモデルの挙動についても紹介を行いました。（勉強会の資料はそのままこちらの記事で公開しています。）
『セミナー講師の伝える技術』の実践
『セミナー講師の伝える技術』（かんき出版）という書籍を読み学んだことを、実際に社内研修の講師として実践した取り組みと感想について説明しました。
SSII(画像センシングシンポジウム)2024 資料紹介
SSII2024(第30回画像センシングシンポジウム)の発表資料で気になるものを1~2個ほど読み、その内容を紹介する勉強会を行いました。
データ可視化講座
データサイエンティストとして必要なスキルセットである「可視化の技術」について、工夫や注意のポイントを解説しました。
DiscoPoPの紹介
sakana AIから発表されたLLMによる選好最適化関数の駆動的探索（参考）についての技術紹介を行いました。（勉強会の資料はそのままこちらの記事で公開しています。）
Graph RAGの紹介
RAGのなかでも注目度が高まっていた、グラフ構造を活用したRAGである「Graph RAG」についての概要を紹介を行いました。
「大規模言語モデル(LLM)の技術と最新動向」輪読会
「大規模言語モデル(LLM)の技術と最新動向」という資料を用いて読み合わせ形式で勉強会を行いました。LLMの知識表現に関する研究論文なども交えながら説明しました。
RAGの技術まとめ
RAGのSurvey論文からRAG関連技術を俯瞰するという技術ブログを用いてRAGに関する技術を包括的に解説しました。
vLLMの紹介
LLMの推論高速化ライブラリである「vllｍ」の技術概要について解説しました。（勉強会の資料はそのままこちらの記事で公開しています。）
KDDCupの振り返りと取り組み紹介
KDD Cup 2024というコンペに参加して取り組んだことや学んだことについて紹介しました。（詳細はこちらのZenn記事で計5本立てでまとめています。）
生成AIの実務活用についてのディスカッション
「業務や日常で生成AIをどのように活用していますか？」「生成AIを利用する際に注意していることは？」「初学者が業務で生成AIを利用することについてどう考えますか？」といった、生成AI活用における意見を述べ合う会を開きました。
RAGトピック紹介
①HyDEを用いたRAG実装について ②テキスト関連度算出アルゴリズム（BM25など）の2本立てとして、RAGに関連する技術解説を行いました。
最適化入門
データ分析や機械学習でよく耳にする「最適化」について、どのような種類があるのかの概要の説明と、実際に業務で行った最適化事例について紹介しました。
ローカルLLMを用いたChatBot構築手順の紹介
7B級のオープンソースLLMを用いてテキスト上で対話できるまでの実装手順について、段階的に解説しました。
atmaCup #17 振り返り
「atmaCup #17」というコンペに参加して取り組んだことや学んだことについて紹介しました。（詳細はこちらのZenn記事でまとめています。）
トークナイザー解説
トークナイザー構築のナレッジとチームの取り組み紹介という記事をもとに、著者自身が内容を解説する勉強会を行いました。
弱教師あり学習とDevNetの紹介
新卒社員が業務で利用した「弱教師あり学習」について解説しました。また、それに関連して異常検知モデルの一つである「DevNet」について紹介しました。
Pytorchによる画像分類(AlexNet)とVision Transformerの概要
PyTorchを用いた画像分類モデルの簡単な実装方法を紹介し、現在の画像処理の基盤技術となっているVision Transformerについての技術概要の解説も行いました。
おわりに
弊社ではこのように、ラボチームが主導となって毎週の技術勉強会を行っています。様々なクライアント様と業務をさせていただいているため、特定の分野だけではなくデータサイエンスやAIに関わる幅広い分野の知見を持っているのが弊社の特徴です。本格的に勉強会を始めたのは2024年上期からなので、下期はさらに多くのテーマと回数で勉強会を実施し、社員の技術力向上を目指していければと思います。
弊社にご興味を持っていただけた方は、下記の採用サイトからお問い合わせください！
Discussion