社内用のChatGPTを用意した話 その2

社内用ChatGPTの進化：LibreChatで実現する多様なAI活用

こんにちは、みてねコールドクターでエンジニアマネージャーをしている遠藤です。

AI技術の急速な進歩に伴い、私たちの社内AI活用戦略も進化しています。
今回は、先日の記事（社内用のChatGPTを用意した話） に続いて、LibreChatの導入を中心に、最新の取り組みをご紹介します。

はじめに

AIの世界は日進月歩で変化しています。例えば、GPT-3.5からGPT-4、GPT-4oへの進化により、AIの理解力と生成能力が飛躍的に向上しました。このような急速な進歩の中、企業が競争力を維持するためには、最新のAI技術を効果的に活用することが不可欠です。

背景：なぜ変更が必要だったのか

前回導入したBetterChatGPTから、さらに一歩進んだソリューションを探すことになりました。その理由は以下の通りです：

1. ChatGPTのチームプランが登場
   • 例：個々に契約不要 & チーム用のGPTsなどが利用可能に
2. OpenAI以外の有力なAIモデルが出現
   • 例：AnthropicのClaude、Google のGemini等が登場
3. 使いやすいオープンソースソフトウェア（OSS）の増加

これらの変化を受けて、以下の対応を行いました：

• ChatGPTのチームプランを導入
• 他のOSSを活用し、複数のAIモデルを使用可能に

LibreChatの導入

新たに導入したLibreChatには、以下の特徴があります：

• ユーザー認証機能
  • 説明：セキュリティを確保しつつ、社内メンバーが容易にアクセス可能
• 複数のAIモデルに対応し、簡単に追加可能
  • 例：GPT-4、Claude、Geminiなど、様々なモデルを一つのインターフェースで利用可能
• 活発な機能開発
  • 説明：オープンソースコミュニティによる継続的な改善と新機能の追加
• ChatGPTに似たユーザーインターフェース
  • メリット：ユーザーの学習コストを最小限に抑える

導入プロセス

LibreChatの導入は、以下の手順で行いました：

1. EC2に専用インスタンスを準備
   • 説明：Amazonのクラウドサービスでサーバーを立ち上げ
2. 設定ファイル（librechat.yamlと.env）の編集
   • 例：API鍵、使用するモデルの指定など
3. docker-compose.override.ymlにCloudflare Tunnelの設定を追加
   • 説明：セキュアなアクセス経路の確保
4. Docker Composeで起動
   • メリット：簡単にサービスを起動・管理可能

セキュリティ面では、Cloudflare TunnelとTailscaleを使用し、ポートを開放せずにアクセスできるようにしました。さらに、Cloudflare Accessで追加の認証層を設けています。

Claude AIモデルの活用

AnthropicのClaude AIモデルは、Amazon Bedrock経由で利用しています。直接利用できなかったため、KoyebプラットフォームにLiteLLM（LLM用のプロキシサービス）を設置して対応しました。

LiteLLMの利点：

• 複数のAIプロバイダーに対する統一されたインターフェース
• APIキーの集中管理が可能
• 使用量の監視と制御が容易

まとめと今後の展望

LibreChatの導入により、複数のAIモデルを柔軟に使用できる環境が整いました。AIの世界は急速に進化しており、各モデルの特徴を活かすことが重要です。

今後も新しいモデルや機能が登場すると予想されます。その都度、最適な選択を検討し、社内のAI活用をさらに推進していきたいと考えています。