はじめに
助太刀では、2024 年 2 月に以下の生成 AI の活用した社内情報検索システムに関するプレスリリースを発信しました。
今回は、その社内情報検索システムに関する LLM(大規模言語モデル)、RAG(Retrieval-Augmented Generation) を用いた検索システムの構築について紹介したいと思います。
上記プレスリリースにも記載がありますが、主に社内業務効率化を目的とし開発・導入しました。
RAG とは
RAG（Retrieval-augmented Generation） とは、質問やプロンプトに対して出力する答えを作る過程で、あらかじめ用意された外部データベース内の既存情報を参照（Retrieval）することで、関連性の高い内容を取り出し、それに基づいて答えを構築（Generation）する技術手法を指します。
また LLM が答えを導く際に、たとえば独自データへの検索、Web 検索など、根拠となる情報を基にして回答を得るプロセスをグラウンディング（Grounding） と言います。
構成
インフラ構成は、主に AWS（Amazon Web Services）を使用して構築。また、フロントエンドに関しては、Vercel を用いてホスティングしました。
弊社の社員アカウント管理には Google Workspace を採用してます。今回開発した社内情報検索システムへのログイン機構に関して、AWS Cognito のユーザープールに Google 認証を統合し、利用してます。
外部データソース
外部データソースには、AWS の Amazon Kendra を採用しました。Amazon Kendra は、機械学習を活用して、企業内のデータを検索し、検索結果を提供するサービスです。
弊社では、社内ドキュメントの保存に基本的に Google Drive を利用しています。このため、Amazon Kendra でインデックスを作成する際には、初めに Google Drive コネクタを活用して、Google Drive 内のドキュメントのインデックス化を試みました。
しかしながら、この方法では動作が不安定であったため、代案として検索対象の社内ドキュメントを Amazon S3 に格納し、S3 コネクタを使用して Amazon Kendra にインデックスを作成することにしました。
LLM
AWS の Amazon Bedrock を採用し、LLM のモデルは Anthropic 社の Claude を利用してます。
Bedrock が提供しているモデルの中では、Claude が最も高い精度を持つモデルであると判断し、Claude を採用しました。
運用してみて
導入後に、いくつかの重要な利用指標のメトリクスを収集し、分析しています。分析の結果、社内の約 2/3 の社員がこのシステムを利用していることが明らかになりました。また、月平均で約 70 件の検索クエリが発行されており、これらの指標から、社内情報検索システムが業務において一定の活用を見せていることが伺えます。
利用者の質問内容
利用者の質問内容を分析した結果、弊社助太刀の社員たちは日常の業務で直面する様々な疑問や問題に対して迅速かつ効果的な支援を受けています。
以下に、社内情報検索システムを利用した例をいくつか紹介します。
Slack 招待プロセスの簡素化
関連質問: 「Slack に外部の方を招待する方法を教えて」
新しいプロジェクトメンバーを Slack に招待する必要がある際に、『Slack に外部の方を招待する方法を教えて』と問い合わせ、システムがすぐに詳細なステップと直接的なリンクを提供しました。これにより、手間をかけずに迅速に招待処理を完了でき、プロジェクトの進行がスムーズになったと考えられます。
内装業者への効果的な提案作成支援
関連質問: 「内装業者のお客さんの更新提案、何に気をつければいいだろう」
内装業者への効果的な提案を準備中に『内装業者のお客さんの更新提案、何に気をつければいいだろう』と問い合わせたところ、システムが関連する規則や最良の実践方法を即座に提供しました。この情報により、提案の質が向上し、業者との関係がさらに強化されたと考えられます。
人事関連の迅速な情報アクセス
関連質問: 「入籍したらどのような手続きが必要ですか？」
結婚に伴う人事関連の手続きについて『入籍したらどのような手続きが必要ですか？』と問い合わせた際、システムから必要なフォームと詳細な申請プロセスが直ちに提供されました。この情報により、手続きをスムーズに進行させることができ、従業員の時間が大幅に節約されました。また、人事部門の負担も軽減されたと考えられます。
喫煙ルールや休日出勤のポリシー確認
関連質問: 「喫煙のルールについて教えてください」「休日出勤をするときの申請方法を教えて」
喫煙ルールについての確認が必要だった際に『喫煙のルールについて教えてください』と問い合わせ、システムが直接的かつ具体的なガイダンスを提供しました。また、休日出勤の申請方法に関しても『休日出勤をするときの申請方法を教えて』と問い合わせることで、ポリシーに即した正確な情報が得られ、従業員はルールを迅速に把握することができたと考えられます。
以上の例から、社内情報検索システムが、社員が日常業務で直面する様々な疑問や問題に対して迅速かつ効果的な支援を提供していることが明らかになりました。
今後の展望
導入後の成果を定量的な手法によって評価し、社内業務の効率向上にどの程度貢献しているかを検証することは、極めて重要であると考えています。
今後、質問結果に対するフィードバック機構を導入する予定です。これにより、利用者自身が質問結果に対してフィードバックを提供することが可能になり、最終的には検索結果の精度をさらに向上させることが期待できます。
また同時に、Amazon Kendra の利用コストが高いため、それを上回る価値を提供できるかどうかを検証し、今後の運用方針を検討していきたいと考えています。
助太刀について
「建設現場を魅力ある職場に。」というビジョン・ミッションを基に、事業者間マッチングサービス「助太刀」、正社員採用「助太刀社員」を開発、運営しています。
助太刀では一緒に開発してくれるメンバを募集してます！
少しでもご興味を持っていただけたら下記よりお気軽にご連絡ください！
Discussion