🌐
【松尾研LLM講義まとめ】ドメイン特化LLM・金融特化LLMの最新動向と活用可能性

Kanan Kiguchi
2024/12/06に公開
 はじめに株式会社松尾研究所 経営戦略本部でインターンをしている木口 佳南(@KananK_AI)です。本記事は、松尾研究所 Advent Calendar 2024の記事です。

今回は、2024年11月の東京大学松尾・岩澤研究室が開講するLLM講座の公開資料Application of LLMをもとに、ドメイン特化LLM、金融特化LLMについて解説します。詳細な講義内容は、資料からご確認ください。なお、本記事に使用されている画像は全て講義資料より引用した画像を使用しています。

 サマリーLLMの本質
ドメイン特化LLMとは何か、汎用LLMとの違い
ドメイン特化の各手法
金融特化LLMの進展状況とその評価方法
金融領域におけるLLMの社会実装の状況

 LLMの本質とは本題に入る前に、まずLLM（大規模言語モデル）の本質について確認します。従来のAIは、定型のインプットをもとにプログラムを通して定型のアウトプットを得るものでした。一方、LLMは膨大なデータから文脈を学習し、非定型と定型両方の間を高速かつ大規模に行き来する「情報変換器」として機能します。これは人間と似た動きですが、適切な文脈を与えることで、人間以上の精度を発揮可能することも可能です。つまり、LLMは従来の手法では難しかった課題を解決し、新しい価値を創出する力を持っています。


 ドメイン特化LLMLLMの本質を踏まえ、ドメイン特化LLMについて考えてみます。

 ドメイン特化の背景(なぜドメイン特化が必要か)現在、企業がLLMを導入する際には汎用LLM（OpenAIのChatGPTなどに代表される、幅広い用途に対応したモデル）が主流となっています。なぜなら、汎用LLMは多様なデータでトレーニングされており、さまざまなタスクに柔軟に対応できるためです。

しかし、汎用LLMにはいくつかの課題があります。まず、モデルの挙動や応答を細かく制御することが難しい点です。あらかじめ汎用的なデータでトレーニングされているため、特定の文脈や業界固有のニーズに対しては理解が浅かったり、精度が十分でない場合があります。また、クラウド上で運用されることが多いため、データを外部に送信する必要があり、情報漏えいやセキュリティ面での懸念が伴います。
こうした課題を克服するために、ドメイン特化LLMが注目されています。

ドメイン特化することで、各分野特有の要求や複雑さに対応でき、より正確で安全かつ信頼性の高い回答が可能になります。また、モデルの効率性が向上し、計算コストも削減され、自社サーバー内にLLMをホストすれば、セキュリティに関する様々な懸念も解消できるのです。さらに、ドメインの情報や知識、背景を学習することで情報変換の精度も向上し、実ビジネスへの適応力が飛躍的に高まるという点でも、ドメイン特化は魅力的です。

また、リスクの観点からもドメイン特化LLMの必要性が高まっています。金融庁が規定している「モデル・リスク管理に関する原則」（MRM原則）では、特定のモデルカテゴリーに限定せず広範なモデルを対象としており、モデルがリスクをもたらし得る限り、そのリスクを管理する必要があるとしています。そのため、この原則はLLMにも適用がなされると解される可能性があります。

その場合、モデル開発・承認や継続的なモニタリング・検証、ベンダーモデル及び外部リソースの活用などを管理する必要があります。金融機関にとって、サードパーティ製のLLMはリスクのコントロールや管理が難しく、利用に慎重にならざるを得ません。そのため、ドメイン特化LLMの重要性が高まっています。


 ドメイン特化の各手法では、実際にドメイン特化の手法を確認していきます。手法にはさまざまなアプローチがあり、それぞれにメリット・デメリットが存在するため、目指す成果やリソースに応じた選択が必要です。ここでは、ある領域に特化して学習したものをドメイン特化モデルとし、その特徴を整理します。

 1. プロンプトエンジニアリングモデルの構造を変更せず、LLMの応答を導くために入力プロンプトを体系的に設計・最適化する手法です。ドメインの専門家としての役割を与えたり、ドメインの知識をプロンプトに埋め込むことで、ドメイン特化が可能となります。
利点：モデルの重みを変更しないため、低コストで性能改善が期待できる
適用例：金融分野の質問において、専門用語を理解させる

 2. RAG（Retrieval-Augmented Generation）LLMによるテキスト生成に、外部情報の検索機能を組み合わせることで、回答精度を向上させる技術です。
利点：最新情報やLLMが学習していない外部の情報を出力に反映でき、かつ検索結果の根拠が明らかになるため、回答の信頼性を高めることができる
適用例：リアルタイムデータが必要な市場分析
その他：知識の獲得において、RAGの方が広義のファインチューン（継続事前学習、Supervised Fine-Tuning）よりも優れていると主張する論文もある

 3. Supervised Fine-Tuning・Instruction TuningSupervised Fine-Tuningは、学習済みモデルを特定領域の追加データで微調整し、特定タスクや領域に適応させる手法です。Instruction Tuningは、指示文に基づき応答の質を向上させることができる手法で、知識の学習よりも出力形式の学習に向いているとされています。
利点：モデルの精度や一貫性を高め、特定タスクへの対応力を強化できる
適用例：
生徒の質問に応じた学習アドバイスを生成するシステム
カスタマーサポートで、FAQに基づいて応答精度を向上させるモデルの構築

その他：

Supervised Fine-Tuningで新しい知識を追加すると、既存の知識に基づかないハルシネーションのリスクが増すと指摘する研究もある
Instruction Tuningなどの目的を絞った教師あり学習では、ドメインの知識を十分に入れることは難しいと主張する仮説(表層アライメント仮説)もある


 4. 継続事前学習事前学習済みの言語モデルに対して、新しい言語やドメインのデータを学習させ、専門知識や精度を向上させる方法です。
利点：フルスクラッチの事前学習と比較して低コストで実施できる
その他：
過学習や既存知識の損失リスクがある

近いタスク領域のデータをサンプリングして加えて学習することで、モデルの性能を向上させることができると言及する論文もある


 5. フルスクラッチ事前学習特定分野に完全特化した独自モデルをゼロから構築する方法です。
利点：完全なカスタマイズが可能
その他：膨大なリソースが必要で、コストが高い
実際には、主に3~5の手法がドメイン特化モデルに使われていますが、目的に応じた手法の選択が重要です。


 金融特化LLMの進展と活用可能性では、ここからはドメイン特化LLMの中でも、金融特化LLMに焦点を当ててその可能性を探ります。

 金融特化LLMの進展まずは、金融特化LLMが必要な背景から確認します。先程言及したLLMを領域特化させるメリットに加えて、金融ドメインに固有の理由もあります。
業界特有の略語や専門用語、Web上にない知識・知見が存在する
一般的な文脈と金融文脈での解釈やニュアンスの違いがある
金融用語には、複数トークンからなるフレーズが存在する
誤解釈が大きな損失につながる（投資判断など）
使用シーンによっては、タイムリーかつ正確な情報が重要である
実際、金融特化LLMであるBloombergGPTでは、金融ドメインに固有の知識の獲得、領域に特有なタスクの実行能力の向上という二つの効果があることが確認されています。また、英語圏と比べるとまだ研究・開発の黎明期ではありますが、国内でも金融特化LLMの開発が進んでいる状況です。
今後の金融特化LLMの進化としては、以下のような動きが見られると考えられます。
マルチモーダル化による高精度な金融チャート分析
解釈可能性を向上させるモデルの開発
金融市場への実適用に向けた研究の促進
このように、金融特化のLLM自体の開発も進む一方で、実応用という面でも研究活動が急速に進展して行くと考えられます。


 金融特化LLMの評価について金融特化LLMを評価するにあたり、ベンチマークは重要です。ここでは、大きく2つのベンチマークを紹介します。

 FinBenFinBenは金融領域の能力を計24個のタスクと36個のデータセットで検証するベンチマークで、現時点で金融領域のLLMの適応を計測するには最適なベンチマークです。



LLMの応答能力だけでなく、出力内容の正確性や有用性の検証、リスク管理、株価予測、情報抽出などといった金融固有の高度なタスクの評価も可能となっています。

 Japanese language Model Financial evaluation HarnessJapanese language Model Financial evaluation Harnessは、金融文書や資格試験に関するデータセットを扱う日本語特化のベンチマークです。



日本語金融LLMでは、現状GPT-4シリーズのスコアが高いため、モデルパラメータ数が増えると性能も高まる可能性が示唆されています。また、日本語では依然としてクローズドLLMが優位です。日本語の金融ベンチマークやデータセットのさらなる整備は今後も課題となりそうです。

 金融領域におけるLLMの実活用最後に、金融業界における生成AIの最新動向を確認します。金融業界は情報セキュリティに敏感ですが、実は業務効率化及び個客価値向上に向けた観点から、幅広く活用の検討が進んでいます。



例えば、JPモルガン・チェイス銀行は社内LLM基盤となる「LLM Suite」をリリースし、資産管理部門の生産性向上を目的に、ライティングアシスタンスやアイデア生成、文書要約など金融特化のLLMとして活用を推進しています。また、三井住友銀行(SMBC)はELYZAと共同でオペレーターをサポートするRAG検索システムを構築し、オペレーターの回答速度を最大60%削減できる見込みです。

このように、金融業界でもLLMの実活用が積極的に進んでいます。

 おわりに本記事では、松尾研LLM講座の講義「Application of LLM」に基づき、ドメイン特化LLMと金融特化LLMの最新動向とその社会的意義を解説しました。AI技術は日々進化しており、これからもさまざまな分野で革新的な活用が期待されます。本記事が、AI活用を考える皆様にとって一助となれば幸いです。

ご覧いただき、ありがとうございました。