本記事は SimpleForm Advent Calendar 2024 の 4 日目の記事です。
シンプルフォーム株式会社 CTO の小間です。
近年、生成 AI を活用した業務改善が多くの分野で注目されていますが、金融機関や行政機関といったセキュリティ要件が厳格な組織では、データ活用に関する課題が特に顕著です。本記事では、高セキュリティ組織における生成 AI の利用に関する課題と、それを解決するためのオープンモデルの活用について私が考えている事を記します。
データのクラウド保存への忌避感
金融機関や行政機関など、高いセキュリティ水準が求められる組織では、データの取り扱いが極めて厳格です。これらの組織では、多くの場合、データをクラウド上に保存することが忌避されます。理由としては以下が挙げられます。
-
クラウドサービスプロバイダに保存されたデータが、セキュリティ侵害やアクセス権の設定ミスによってデータが漏洩するリスクがある
-
GDPR や国内の個人情報保護法など、特定のデータを国外に持ち出すことを禁止する規制を遵守する必要性がある
-
データを組織内に閉じ込めることによって統制範囲を組織内に限定したいという内部統制の重要性
例えば、多くの大手金融機関では、顧客の取引履歴や資産データがクラウドに保存されるリスクを極力排除するために、自社運用のオンプレミス環境を維持しています。同様に、地方自治体では住民基本台帳や税情報などのデータがクラウドに保存されることを懸念し、厳格なデータ運用ポリシーを適用しています。
これらの理由により、クラウドベースのサービスをそのまま利用することは現実的ではないケースが少なくありません。特に、クラウドベースの LLM（大規模言語モデル）はオンラインで使用することを前提としている為、このような環境では採用が難しい場合があります。
オープンモデルの急速な進化と可能性
現在の主流である LLM は、OpenAI や Google、Anthropic などの企業が提供する API 経由のサービスが一般的です。そもそも、なぜ API 経由で提供されているのでしょうか。
LLM の性能は、モデルのパラメータ数、訓練データ量、計算リソースの増加に伴い向上するという「スケーリング則」に従うと言われています。この概念は、OpenAI が 2020 年に発表した論文「Scaling Laws for Neural Language Models」で詳しく論じられています。
このスケーリング則に基づき開発された初期の LLM は、数十億から数千億のパラメータを持つ巨大なモデルで、一般のコンピュータでは動作させることが困難なものです。これが、これらのモデルが専用のクラウド環境で動作し、API 経由で提供されている主要な理由です。開発企業は、大規模なデータセンターを運営し、膨大な計算リソースを管理することで、安定して高性能なサービスを提供しています。
一方で、 データのプライバシーやセキュリティの観点から、API ではなくオフラインで利用できるモデルにも注目が集まっています。その筆頭が LLaMA でしょう。
LLaMA（Large Language Model Meta AI）は、Meta 社が 2023 年 2 月に発表した大規模言語モデルです。
Meta 社はパラメータ数の増加よりも、トレーニングデータの量を増やすことでモデルの性能向上を図りました。具体的には、コモンクロールで収集したウェブページ、GitHub のオープンソースリポジトリ、ウィキペディア、書籍や科学論文など、1.4兆個のトークンからなるデータセットで学習を行いました。
LLaMA のリリース後、スタンフォード大学の研究チームは、LLaMA-7B モデルをファインチューニングして「Alpaca」というモデルを開発しました。このモデルは、OpenAI の GPT-3.5 シリーズに匹敵する性能を持つと報告されています。
LLaMA の登場により、世界中の開発者や研究者がこのモデルを基盤として、さまざまなチューニングや応用を行うことが可能になりました。特に、LoRA（Low-Rank Adaptation）などの安価で効率的なファインチューニング手法が重要な役割を担っています。LoRAは、モデル全体ではなく一部のパラメータのみを調整することで、リソース消費を抑えつつモデルの適応を行う手法です。これにより、限られた計算資源でも大規模モデルのファインチューニングが可能となり、開発者は特定のタスクやドメインにモデルを適応させることができるようになりました。
さらに、LoRAを活用することで、モデルの一部のみを学習するため、学習コストの削減やタスクの切り替えが容易になるといった利点があります。これにより、開発者は迅速にモデルをカスタマイズし、さまざまなアプリケーションに適用することが可能になっています。
実は、私の古巣の NTT グループでは、かなり初期から軽量モデルと Fine-Tuning によるカスタマイズに注力しています。パラメータ数は軽量版で 70 億、超軽量版で 6 億と、LLM 界隈では異常な少なさです。
軽量版が 1GPU、超軽量版が CPU で高速推論が可能になっており、学習やチューニングにかかるコストも大幅に削減されているとのことです。
RAG の重要性
LLM が近年の技術革新の中で注目を浴びる中、その実用性を大きく拡張する手法として RAG (Retrieval-Augmented Generation) という手法が注目を浴びています。特に、クローズドな環境に存在する業務データへアクセスすることで業務固有の問題が解ける確率があがり、中規模モデルであっても超大規模モデルに匹敵する性能を得られる可能性がある点に大きな価値があります。
多くの企業や組織では、業務データが内部に閉じた形で保管されています。このようなデータは高い機密性を有しつつも、業務プロセスや意思決定において極めて重要な役割を果たします。汎用的な生成 AI モデルは、インターネット上の公開データを学習したものであり、こうしたクローズドな環境にあるデータを直接活用することはできません。
RAG はこの課題を解決する強力な手段です。簡単に説明すると、以下のプロセスによってクローズドデータを生成プロセスに組み込みます。
- 事前にデータをインデックス化しておく
- 生成プロセス開始前に内部データベースや文書管理システムから関連性の高い情報を検索
- 必要なデータをリアルタイムで取り出して生成 AI に渡す
- 検索された情報を活用し、生成モデルがタスクに適した応答を生成
これにより、従来の汎用モデルでは解けなかった高度な業務タスクも、適切かつ高精度に解決できるようになります。超大規模言語モデルは、その膨大なパラメータ数により多くのタスクで驚異的な性能を発揮します。しかし、その構築・運用には膨大な計算資源とコストが必要であり、すべての企業がこれを採用できるわけではありません。一方で、LLaMA のような中規模のモデルに RAG を組み合わせることで、超大規模モデルに匹敵する性能を得られる可能性が広がります。
たとえば、従業員の社内 FAQ やプロジェクト履歴を検索しながら回答する RAG 活用型のチャットボットは、中規模モデルでも十分に機能します。
当社シンプルフォームも、主に金融機関、行政機関様を中心に法人の審査業務の諸問題を解決するプロダクトを提供しているということもあり、中規模のモデルに RAG を組み合わせて、どうしても外に出せない法人審査に関する機微情報を活用できないか、考えています。
想定事例1: 金融機関のリスク管理
金融機関ではリスク管理や不正検知のために膨大な取引データや過去のレポートを参照する必要があります。RAG の利用シーンとしては以下のようなシナリオが考えられます。
- 必要な取引データや関連する過去の事例を検索
- モデルがリアルタイムに適切なリスク評価やアクションプランを提示
- 結果として、リスク管理の精度向上や不正検知のスピードアップが実現
想定事例2: 銀行業務における法的観点でのアドバイス
銀行業務では、複雑な法規制を遵守しながら日々の取引や意思決定を行う必要があります。意思決定における法的リスクを低減するための RAG の利用シナリオとしては
- 大量の法令データベースや過去の判例情報から、該当する法的な規定を検索
- 内部ポリシーやガイドラインと照らし合わせ、業務内容が適合しているかのチェックをサポート
このように、独自データを活用した生成 AI プロジェクトでは、まず RAG の利用シナリオを広げて考えていくのが重要だと考えています。
オフラインで動作するモデルの事例
上述の LLaMA に加え、オフラインで動作する生成 AI ベースのモデルはまだあります。特に、 LLaMA は自然言語処理に特化しているモデルですが、業務タスクは自然言語処理だけでなく、当然、音声や画像も扱います。法人審査においても、音声データ（通話記録や議事録音声）や文書画像データ（社内稟議書等）などが関連することも少なくなく、かつ、外には中々出せない機微情報が含まれている可能性が高いので、オフラインでの音声認識や文書画像認識の出番かもしれないと考えています。
音声認識
Whisper
Whisper は 2022 年 9 月 21 日に OpenAI によってリリースされた音声認識モデルです。このリリースでは、モデルとコードがオープンソースとして公開され、多言語対応やノイズ環境下での高精度な音声認識機能が注目を集めました。モデルをローカル環境にインストールして使用することもできます。
Whisper Large V2（large-v2）
- リリース時期：2022 年 12 月
Whisper Large V3（large-v3）
- リリース時期：2023 年 11 月 6 日
- 特徴：large-v2 よりも訓練データ量が増加し、エラー率が1割～2割程度削減されています。
Whisper Large V3 Turbo（large-v3 turbo）
- リリース時期：2024 年 10 月
- 特徴：デコーダー層を 32 から 4 に削減することで、モデルサイズを小さくし処理速度を向上させています。性能は、従来の Whisper Large V3 と比較して、約 216 倍のリアルタイム速度を実現しており、日本語の音声認識精度は、large-v2 よりもわずかに向上しています。
文書画像認識
Qwen2-VL
Qwen2-VL は、Alibaba Cloud が開発した最新の Vision-Language モデルであり、画像や動画の理解能力に優れています。 特に、複雑なレイアウトや多言語のテキストを含む文書画像の認識において高い性能を発揮します。
- リリース時期: 2024年9月
- モデルサイズ: 2B（20億）、7B（70億）、72B（720億）
Qwen2-VLはオフライン環境でも実行可能であり、機密性の高いデータを扱う業務においても安全に利用できます。その高い汎用性と性能から、法人審査や法務業務など、さまざまな分野での活用が期待されています。
最後に
シンプルフォームでは、生成 AI を金融や行政における審査に活用するべく、OpenAI をはじめする API 型の超大規模モデルや、LLaMA や Whisper, Qwen2-VL などのローカルで動くオフライン型の大規模モデルなど、幅広く検証、開発をしていきます。
アドベントカレンダーの別の記事では、実際にこれらのモデルを使ってみた事例なども紹介できればと考えています。
リアルタイム法人調査システム「SimpleCheck」を開発・運営するシンプルフォーム株式会社の開発チームのメンバーが、日々の開発で得た知見や試してみた技術などについて発信していきます。 Publication 運用への移行前の記事は zenn.dev/simpleform からご覧ください。
Discussion