😁

土日挑戦(LikeFedexDay) FAQ,KM論文サーベイの様な記事書いた！

2025/07/13に公開

 始めにこの土日にFAQシステムに関連した論文を読みたくなった。

昔のが多い感じだが8枚ほど論文見つかったのでサーベイ見たいなものを書いてみる。

古いの読むと、今の新しそうな形に見えるのが、同じ考えは前からある的な再認識ある。

FedexDayみたいなノリで土日挑戦とする！（少し深夜食い込みそう）

あくまで２日間での自分の理解と知識で冗長もやだし、断定的に書く。優しい指摘はめちゃ嬉しい！

 論文1 (全文読んだ)Beyond-RAG: Question Identification and Answer Generation in Real-Time Conversations

 1. どんなもの？コンタクトセンター向けSaaSみたいなMinerva CQとArizona州大の論文

FAQとRAGを融合(自分もこれは考えてた）

平均対応時間を短くした(Average Handling Times)

 2. 先行研究（ほか）と比べてどこがすごいの？FAQとRAGを融合!
サービスにとりいれていて、全体完成度高い（AI提案選択すると、関連提案する、FAQ追加ボタン）

 VectorDBの代わりに全コンテキストを複数LLMに投げて、検索している
(こう理解した）

こんなんもったいない文化の人には絶対思いつかない感じがする。グーグルの初期からの戦略を思い浮かべる

VectorDBだと遅いし、いつ質問を埋め込みしたらわからない。Sonnetは高いなので、Haikuを複数使用
FAQを過去履歴から自動作成

LangGraphでつくった5つのエージェントを活用!

• データソース: 顧客のやり取り履歴

• ワークフロー

1Agentが 質問のリストを作成

2Agentが レビューし、挨拶、個人情報などを消す

埋め込みしてk-meansクラスタリングが適用され、類似の質問をグループ化

3Agentが 各クラスターで類似の質問を1つの代表的な質問に統合、その頻度を記録します。

4Agentが 必要ならクラスタまたいで統合。

5Agentが 最終的なレビューじっし、冗長性削減や、追加統合等じっし
2024年８月にdeployされているみたい

そのときの最終的な、検索時の動き

ユーザーとやりとり、以下が定期的に走る、Operatorがボタンで検索起動もできる

FaQで３つ、RAGで３つ提案回答がでる

どれかクリックすると関連なものが再び検索される

いいものはFAQに登録できる

できたFAQとかは編集できる

 3. 技術や手法の"キモ"はどこにある？FAQとRAGを融合!

VectorDBの代わりに全コンテキストを複数LLMに投げて、検索している

 4. どうやって有効だと検証した？評価点は以下

*この論文がdeployのあとすぐ出たみたいで結果かいてない

FAQ、RAGを選ばれた回数

作成されたFAQの評価

RAGが使われなかった回数

 5. 議論はあるか？作ったFAQの方が、RAGより信頼度、質は高くなると思われる。こっちの運用コストは低い

そこでもれたのはRAGで量をカバーできそう。いい融合！

これはこの論文見る前から自分でも考えていた！　でも総合的な完成度はさすがコストセンターSaaSやっているだけある

 論文2 (全文読んだ)問い合わせログの集約におけるクラスタリングを用いた重要回答抽出

 1. どんなもの？問い合わせログから重要回答を抽出!

 2. 先行研究（ほか）と比べてどこがすごいの？質問と回答が1:nになるようなケースに対応
手法

ログの質問を対象にクラスタリング

クラスタ重心に最近傍が代表質問となる

得られたクラスで回答文を対象に再度クラスタリング

各クラスタの重心に最近傍が代表回答文　つまり1:nになる。
埋め込みにはUniversal Sentence dEncorder

クラスタリングは ward法(しか論文は書いてない）＞　ボトムアップ、クラスタの分散の増加が小さくなるように結合していくみたい

 3. 技術や手法の"キモ"はどこにある？クラスタリングを２回している

 4. どうやって有効だと検証した？可読性と重要情報包含率で評価

1 既存の１回クラスタリング

2 LexRank (googleのpageRankからヒントを得た、似たような文章とかをリンクに見立て重要度はけっているみたい、多分重要度が高い言葉、文章を優先してつかう方法と推測）

と比較、一番いい！

 5. 議論はあるか？クラスタで抽出されたものが、多くでるからといって、それは答えられませんみたいな感じで多くでて最近傍になるかが気になる。記載されていないからそんなことないのだろうか？

 論文3 (全文読んだ)Investigating the Generative Approach for Question Answering in　E-Commerce

 1. どんなもの？ユーザーレビューから商品に関する質問の回答を自動作成

 2. 先行研究（ほか）と比べてどこがすごいの？既存はyes/noで回答や抽出しての回答だった。自然言語の文章の生成を試し実験
使ったモデル

1 Opinion-aware Answer Generation(OAAG)

Encoder-Decorderモデルで、LSTM,Attention機構あり

2 Crosspassage Hierarchical Memory Network (CHIME)

Transformer Encoder-Decorderモデル

context memory , answer memory モジュールあり

 3. 技術や手法の"キモ"はどこにある？しいてあげればROUGEやBM25だけつかっているあたりが、今となってはだめ?

 4. どうやって有効だと検証した？関連するレビューをどう取得するか変えて実験

BM25（文書内の割合がすくないキーワードの重視）で選ぶと性能上がっている

ROUGEが高くても人間みると質悪い

 5. 議論はあるか？人間が工夫こらすより、このあと単にスケールあげるだけで、汎用的にやってくれる時代がくることしったあとにみると切ない？

 論文4 (半分以上は全部読んだ、残りは斜め読み)Unsupervised FAQ Retrieval with Question Generation and BERT

 1. どんなもの？ユーザー質問からFAQから抽出する

その際のモデルを教師なしで学習

 2. 先行研究（ほか）と比べてどこがすごいの？Gpt2に学習データ作らせてる。こんな時代からやってたんだー

主な抽出手法

1 BM25で、パッセージベースのもの

2 question to answerで類似度だすBERTモデルを学習（教師あり）

　正解ペアだけでなく、非正解ペアもつくtriplets作っている、いわゆる対比学習だと思う

非正解ペアは類似度ひくく学習

3 Question to Qustion (GPT2で質問を別な言い方させて学習セット作っている)

 3. 技術や手法の"キモ"はどこにある？GPT2で質問を別な言い方させて学習セット作っている

 4. どうやって有効だと検証した？強い教師あり学習含めて、比較 p@5, MAP , MRRで　結構強い

 5. 議論はあるか？言い換え位ならGPT2でもできたんやろな

 終わりにLLMの性能がバク上がりして、いろいろできるようになっても、ある考えは活きるし、このころやってた研究が意味をほとんどいみなさないのもあるんだろうな。未来を予測すること大切と思える。

 あとがき記事よかったら、いいね♡　押してね！