論文メモ RAGとSelf-ReflectionによるLLM臨床推論の改善

LLMの医療分野応用におけるRAGの適用について調べていたので読んだ。

Jeong, Minbyul, et al. "Improving Medical Reasoning through Retrieval and Self-Reflection with Retrieval-Augmented Large Language Models." arXiv preprint arXiv:2401.15269 (2024).
https://arxiv.org/abs/2401.15269

LLM×医療勉強会で発表してきたのでスライドになっています。

概要

• 生物医学領域の質問応答に特化したRAGのフレームワークであるSelf-BioRAGを提案
• Self-RAG を生物医学領域に特化
• 質問に回答をするのに外部知識が必要かの判断および、retrieval modelの検索結果が質問に関連しているか、検索結果を利用した出力が質問の回答として有用かどうかを推論時に判断しつつ回答を生成 (Self-RAG)
  • 生成モデルの訓練に生物医学特化instruction setを利用
  • 外部知識としてPubMedなどの文章から生成したコーパスを使用
• 結果:3つの医療質問応答ベンチマークデータセットで評価
  • 7B以下のパラメータサイズでオープンな基盤モデルよりも平均7.2ポイントのAccuracy増加

感想

例えばcommon diseaseがメインとなる診療所で利用するのと難病患者の集まる病院では必要な知識が変わるのではないか。common diseaseを診るときにレアな症例報告の知識が役に立つことは少ないだろうし、ユースケースにあわせて知識ベースを変えるというアプローチはありそう。
教科書と診療ガイドラインに比べると論文が元となるコーパスは量が多いので、最小限の教科書+診療ガイドラインでサービスを開始するというのは全然ありだと思った。