2025年6月12日〜19日にかけて開催された AI Challenge Day for Retail に参加したので、イベントの内容や弊社としての取り組みについて紹介したいと思います！
AI Challenge Day for Retail とは？
角川アスキー総合研究所様と Microsoft 様が主催する生成 AI の活用コンテストです。今回は「for Retail」ということで、小売業界に特化したテーマでの開催となりました。今回で第4回目の開催となります。
今回は弊社含めて12社が参加し、各社で生成 AI を活用した小売業界の課題解決に取り組みました。弊社としては初参加だったので勝手がわからない状態でしたがチームで協力しながら取り組みました！
チャレンジ内容
これまでも生成 AI に関するテーマが設定されていましたが、今回は…
でした！
具体的には以下の2つがキーワードです。
-
新規検索体験の必要性
商品検索体験は長年変わっていない。生成 AI やエージェントの力で変革できないか？- カートに入れられる確率を上げる施策の導入
- 音声アシスタント、マルチモーダル、リアルタイム性
- 多様なチャンネル、メッセージングアプリ、SNS、Web 連携
- conversational e-commerce シームレスな購入体験
- カートに入れられる確率を上げる施策の導入
-
ハイパー・パーソナライゼーション
店頭で得られる情報をオンラインでも可能に (オプトイン前提)- 顧客のコンテキストを高度に把握、顧客セグメントごとのマーケティングオートメーションを高精度で実行
- データ主導のインサイト
- 顧客滞在時間向上、聞き出す能力
- 自律的改善、コンテキストに応じた UI の生成
- Human-in-the-loop の組み込み
EC サイトでの顧客体験は欲しい商品を検索してカートに入れて決済、というのが一般的ですが、これを生成 AI やエージェントの力で変革しようというのが今回のチャレンジ内容です。特に商品名が分からないと検索できなかったり実際の使い心地が分からなかったり、店員さんに相談できないというような課題があり、これらを解決するための新しい体験を提案することが求められました。
設問は大きく2つあり、以下がその内容です。
-
EC サイト訪問者向けの次世代検索アシスタント
顧客の検索体験を向上させる次世代えのアシスタントを開発します。
対話のシナリオはあらかじめ決まっており、想定されている正解 (ground truth) にどれだけ近づけられるかを競います。
1つのシナリオの中に課題1〜4があり、それぞれで RAG を活用して回答を生成します。 -
仮想顧客エージェント対話
運営側で開発した仮想顧客エージェントと今回開発するエージェントとを対話させて、購入に至るまでの過程や金額を競います。
1についてはいわゆる RAG を使った回答精度の評価に近く、検索精度が大きくスコアに影響します。
2については実際の店舗での店員と客の会話をエージェント同士で行わせるというもので、顧客エージェントにはペルソナが設定されており非常にクセの強いペルソナを持つエージェントがいました笑
個人的には人間が買い物せずエージェントが買い物を代行、かつ店員もエージェントが対応するというような世界がすぐ近くまで来ているなと感じました。
評価方法
評価は以下の観点で、設定されたペルソナ (合計7ペルソナ) に対して行われます。
設問1についてはローカルで実行できる評価スクリプトがあり、定義された形式の JSON ファイルを入力として、スコアを出力する形で評価されます。回答と正解の類似性や回答の流暢性、回答と質問の関連性などの5項目が5点満点で評価されその平均点がスコアとなります。
設問2については運営側で用意された仮想顧客エージェントと対話を行い、各メッセージのレスポンスタイムやその内容、購入金額、クロスセル/アップセル、ユーザ満足度など合計16項目が10点満点で評価されます。こちらも同様に16項目の平均値がスコアとなります。
満点としては、7 ペルソナ × (4課題 × 5点 + 1課題 × 10点) = 210 点となります。
設問1についてはスクリプト内の処理が分かるので、どのような評価方法を取っているかは分かりますが、設問2については評価サイトに JSON ファイルをアップロードして評価を行うため、どのような評価方法を取っているかは分からない状態でした。
評価が完了すると最終的なスコアがランキングに反映されます。また、評価の詳細がダウンロードできるようになるので、その内容を見て改善点を探ることができます。
弊社の取り組み
チーム編成
社内で推進している AI*Agent Base のプロジェクトで一緒に開発していたメンバーに私が声をかけて参加しました。新卒入社5年未満のメンバーがほとんどで私だけ30代というチーム、かつ AI エージェントの開発などはまだやったことがないというチーム構成でしたが、イベントタイトルにもあるように Challenge してみようということで参加を決めました！
アーキテクチャ
今回のアーキテクチャは以下の通りです。Challenge ということもあり今までに使ったことのない技術を使ってみようということで、データへのアクセスについては、MCP サーバを構築してそこを経由して用意されているマスタデータや RAG の検索を行うようにしています。
エージェントの開発については今回は Langchain を利用しました。ドキュメントや技術記事などが豊富にあるので時間のない中でも素早く開発できたと思います (Microsoft 関連のイベントなので Semantic Kernel などを使う方が良かったかもしれません笑)。
工夫した点
工夫した点は以下の通りです。
- CLIP モデルは OpenAI が開発した画像の説明をゼロショットで行う、いわゆる ImageToText モデルで、画像の内容を説明するテキストを生成し Embedding することで類似画像の検索に利用しました。
- 今回使うドキュメントはいくつかの種類があり、それぞれで事前に処理を施し RAG を構築しました。ドキュメント内の画像については今回のユースケースだとあまり有用でないと判断し処理は行っていません。
- ベクトル DB は用途によって分けて、それぞれで検索を実行するようにしました。今回は顧客エージェントが商品画像で尋ねてくるケースがあったためそこで処理のフローを分けるような形です。
- Condense Query/Standalone Query という手法を使い、RAG で取得すべきデータを検索するクエリを生成しています。
スコアと順位
最終的なスコアは 172.154 点でした！
推移としては以下のような形です。やはり改善サイクルができあがると点数が伸びますね。
- 設問1-4の評価ができるようになり改善を回せるようになって110点前後
- 設問5の評価もできるようになって140点前後
- 設問5の改善を回せるようになって170点前後
順位としては、、、
12チーム中第3位になることができました！！🎊🎊🎊
また、インテリジェントエージェント賞もいただくことができました！🎉🎉🎉
期間が短い中頑張ってくれたメンバー、並びに運営の皆様方に感謝です！
改善するなら
技術的な観点だと以下のようなところが改善のポイントかなと思います。
- 実運用を見据えたアーキテクチャに改善
- セキュリティ面やデータガバナンスなど
- エージェントのさらなる改善
- オーケストレーションの改善
- 顧客エージェントとの会話の効率化
- ペルソナによるパーソナライズ
- 利用するデータのクレンジング
- 商品在庫がマイナス値になっていたそう (他チームの発表で初めて知りました…)
また、他チームではユーザーストーリーなどしっかり検討されていましたが、弊社ではそこまで手が回らず目の前のスコアを上げることに必死になってしまいました。どのようなサービスで価値を提供できるのかは、これからの生成 AI を社会実装する上で非常に重要なポイントになるので、もう少し検討したかったところです。
最後に
今回のチャレンジでは期間が短く付け焼き刃感のある構成になってしまいましたが、メンバーの協力もあり初参加しては上々の結果だったのではないかと思います！
課題の内容もなかなかにチャレンジングでしたが、これからの生成 AI 活用に向けて未来に起こり得る開発を先んじて体験できたのは非常に有意義だったと思います。私はもちろん、参加した他メンバーも「楽しかった！」「勉強になった」などとてもポジティブなフィードバックだったので参加させていただき非常に感謝しています。
次回開催があればぜひまた参加させていただきたいですし、今度は1位を取れるように精一杯取り組みたいと思います！
アスキー様の記事↓↓↓
当日の配信アーカイブ↓↓↓
Discussion