Dify を社内環境にデプロイして半年間運用してみた

はじめに

AI アプリケーション開発プラットフォームである Dify を社内環境にデプロイして半年間運用してきた経験をシェアします。
実際に使ってみて感じた良い点や課題点、そして活用事例についてまとめました。

Dify とは

https://dify.ai/jp
Dify は、LLM アプリケーションを簡単に構築・デプロイできるオープンソースのプラットフォームです。ChatGPT のような AI チャットボットやアシスタントを、コーディング不要で作成できる点が特徴です。

コントレアでは、セキュアな AI 運用のために、ローカル LLM や自社環境の LLM を活用できる Dify を採用しました。

半年が経過し、社内からも感謝の声をいただき、導入して良かったと実感しています。

デプロイの容易さ

Dify の最大の魅力の一つは、デプロイが非常に簡単な点です。
私たちは GCP の VM インスタンス上で運用していますが、以下のコマンドだけで動かすことができました。

$ git pull [e-mail]:langgenius/dify.git
$ docker compose up -d

これだけで、すぐに社内向け AI アプリケーションプラットフォームが立ち上がります。

保守の手軽さ

運用開始から半年経ちましたが、保守作業も非常に楽でした

• GitHub のドキュメントに保守方法が詳細に記載されている
• バージョンが変わっても基本的な操作方法は同じ
• ユーザーインターフェースが頻繁にアップデートされ、ChatGPT に慣れているユーザーにも使いやすい形に進化している
• アップデート作業は約 20 分程度で完了し、月に 1 回程度実施しています

直面した課題

もちろん、運用していく中でいくつかの課題も見つかりました：

1. ストレージとメモリの消費量増加：
   Docker イメージをそのままデプロイしているため、運用を続けるにつれてストレージ容量とメモリ使用量が増加していきます。これに伴い、クラウドの利用料金も上昇していきました。

2. 外部 AI サービス連携の複雑さ：
   Google Cloud の Vertex AI などを使用する場合、設定がやや煩雑です。また、一部対応していないモデルもあります。

3. プライバシー関連の課題：
   アプリ作成者の権限を持つユーザーは、すべてのアプリのログを閲覧できてしまいます。社内ツールとして利用する場合、入力情報を社内でも適切に保護したいという要望がありました。この問題に対処するため、一部ソースコードを改変する必要がありました。

活用事例

こうした課題はあるものの、社内での活用は進んでいます。特に注目すべき点として、インターン生が簡単に営業議事録作成ツールを開発できたことが挙げられます。プログラミングの専門知識がなくても、直感的な操作で AI ツールを作成できる点は大きな強みです。

まとめ

Dify は非常に便利なプラットフォームで、AI アプリケーションを手軽に作成・運用したい組織には最適です。デプロイと保守の簡便さは特筆すべき点ですが、長期運用を考える場合はストレージ管理やセキュリティ面での工夫が必要になるでしょう。

みなさんも社内 AI ツールの導入を検討されている場合は、Dify を選択肢の一つとして考えてみてはいかがでしょうか。