本記事は<a href="https://qiita.com/advent-calendar/2024/dify" target="_blank" rel="nofollow noopener noreferrer">Qiita Dify Advent Calendar 2024</a>の6日目の記事です。
<h1 id="about" data-line="2" class="code-line">
<a class="header-anchor-link" href="#about" aria-hidden="true"></a> About</h1>
<a href="https://www.glpgs.com/" target="_blank" rel="nofollow noopener noreferrer">自分の所属している会社</a>では、2024年9月からAWS上にDifyを構築して運用しています。
運用を始めた狙いとしては、
AIネイティブな組織へ 
↓ 
つまり、AIにたくさん働いてもらおう 
↓ 
そのために、現場起点でノウハウがAIアプリとして量産できる体制が必要 
↓ 
そのために、AIアプリの市民開発ムーブを社内に作ろう
というものです。
開始からおおよそ3ヶ月経過し、次のような変化をもたらすことが出来ました。
<ul data-line="20" class="code-line">
<li data-line="20" class="code-line">Difyアプリ開発者人数: 1人 -&gt; 5人 (エンジニアではない開発者)</li>
<li data-line="21" class="code-line">開発されたDifyアプリ数: 1個 -&gt; 約10個 (うち5個は運用中、残りは検証中)</li>
</ul>
<h1 id="%E9%81%8B%E7%94%A8%E9%96%8B%E5%A7%8B%E7%9B%B4%E5%BE%8C%E3%81%AE%E8%AA%B2%E9%A1%8C%E6%84%9F" data-line="23" class="code-line">
<a class="header-anchor-link" href="#%E9%81%8B%E7%94%A8%E9%96%8B%E5%A7%8B%E7%9B%B4%E5%BE%8C%E3%81%AE%E8%AA%B2%E9%A1%8C%E6%84%9F" aria-hidden="true"></a> 運用開始直後の課題感</h1>
AIアプリ(AIエージェント)の構築フレームワークに関しては、抽象化されすぎて使う人を選ぶものも多く、カオスな乱立状況ではありますが、Difyは使いやすさと拡張性が絶妙なバランスで設計された良いツールだと思います。
一方で、Dify単体では越えられない壁もあるなー、と感じていました。
その課題の1つが、入出力に関する課題です。
便利なDifyアプリが出来上がったとしても、
<ul data-line="33" class="code-line">
<li data-line="33" class="code-line">Difyの画面を開かないと使えない (普段遣いのSlackからサクッと呼べたらなぁ...)</li>
<li data-line="34" class="code-line">AIへのデータ入力が面倒 (データを取るためにまた別のシステム開いて...)</li>
</ul>
あたりがラストワンマイルのネックになり、なかなか活用が進まずでした。
開発人口を増やすという面では社内勉強会の開催など実施していましたが、技術的にこれらの入出力に関する課題を解決しない限り、市民開発ムーブは訪れない気がして、エンジニアとして技術的な策を打つことにしました。
<h1 id="%E7%AD%96%E3%81%AE%E5%86%85%E5%AE%B9" data-line="40" class="code-line">
<a class="header-anchor-link" href="#%E7%AD%96%E3%81%AE%E5%86%85%E5%AE%B9" aria-hidden="true"></a> 策の内容</h1>
外部との入出力にまつわる課題を解決すべく、<code>Bridge</code>とというサービスを構築することにしました。
概念的には下記のようなもので、Difyと外部システムとの間を滑らかに接続することで、AI(Dify)アプリの呼び出しを簡単にし、入力作業を効率化することを意図した仕組みになります。
<img src="https://storage.googleapis.com/zenn-user-upload/71a5df55a16f-20241206.png" loading="lazy" class="md-img">
ユーザー的には、普段使いのSlackから気軽にAI(Dify)アプリを呼び出せて、AIへのデータ入力も非常に楽ちん、というベネフィットが得られるものです。
現在、大きく3つの機能があります。
<h2 id="1.-slack%2Fdify-%E9%96%93%E3%81%AE%E3%83%A1%E3%83%83%E3%82%BB%E3%83%BC%E3%82%B8%E8%BB%A2%E9%80%81" data-line="52" class="code-line">
<a class="header-anchor-link" href="#1.-slack%2Fdify-%E9%96%93%E3%81%AE%E3%83%A1%E3%83%83%E3%82%BB%E3%83%BC%E3%82%B8%E8%BB%A2%E9%80%81" aria-hidden="true"></a> 1. Slack/Dify 間のメッセージ転送</h2>
1つ目は、Slack/Dify間のメッセージ転送機能です。SlackからすぐにAI(Dify)アプリを呼び出すことができます。
仕組みとしてはシンプルで、Slack Botにメンションを投げると、Slack Botと関連付けられたDifyアプリ(Chatbot)にAPI経由でメッセージが転送され、Difyアプリからの応答が最終的にSlackのスレッドに返信として届く仕組みです。
<img src="https://storage.googleapis.com/zenn-user-upload/e9bf5842afe2-20241206.png" loading="lazy" class="md-img">
↑は、SlackのメッセージをDify経由でgpt-4oに入力した結果です。微妙にコンテキストにキャラ設定を追加しているので、文体がアレなのはご愛嬌...
LLMがMarkdown形式で出力するケースが多く、必要に応じてmrkdwn(Slackの形式)に自動変換するなど、実は細かいところでチューニングはしています。
Slack BotとDifyアプリの対応関係はデータベース(DynamoDB)で管理されており、Difyアプリ開発者自身で管理画面から対応関係を登録することが可能になっています。
ファイル転送にも対応しています。今のところ画像とPDF(主にClaudeに読ませる)のみですが、最近Difyのファイル関連の機能が強化されつつあるので、今後拡張する予定です。
<img src="https://storage.googleapis.com/zenn-user-upload/540c1a84f745-20241206.png" loading="lazy" class="md-img">
開始ノードに必須の入力項目を持つアプリへの対応も可能です。
<img src="https://storage.googleapis.com/zenn-user-upload/c58b70ed4ed3-20241206.png" loading="lazy" class="md-img">
例えば、上のように2つの入力必須項目持つアプリをSlackから呼び出すと、、、
下のようにSlackスレッドにBlock Kitで入力項目を返し、ユーザーに必須項目の入力を強制させることが出来ます。
<img src="https://storage.googleapis.com/zenn-user-upload/6bc052d69373-20241206.png" loading="lazy" class="md-img">
これは、メッセージ転送前にDifyのアプリパラメータ取得API <code>GET /v1/parameters</code> をコールし、入力項目(UserInputForm)の定義を確認することで実現しています。
<h2 id="2.-%E3%82%B9%E3%83%AC%E3%83%83%E3%83%89%E3%81%A8%E4%BC%9A%E8%A9%B1%E3%82%92%E5%AF%BE%E5%BF%9C%E4%BB%98%E3%81%91%E3%81%A6%E3%82%B3%E3%83%B3%E3%83%86%E3%82%AD%E3%82%B9%E3%83%88%E3%82%92%E5%90%8C%E6%9C%9F" data-line="82" class="code-line">
<a class="header-anchor-link" href="#2.-%E3%82%B9%E3%83%AC%E3%83%83%E3%83%89%E3%81%A8%E4%BC%9A%E8%A9%B1%E3%82%92%E5%AF%BE%E5%BF%9C%E4%BB%98%E3%81%91%E3%81%A6%E3%82%B3%E3%83%B3%E3%83%86%E3%82%AD%E3%82%B9%E3%83%88%E3%82%92%E5%90%8C%E6%9C%9F" aria-hidden="true"></a> 2. スレッドと会話を対応付けてコンテキストを同期</h2>
表題では分かりづらいので実行例を示します。Botに話しかける前の会話履歴を考慮した回答をしている例です。
<img src="https://storage.googleapis.com/zenn-user-upload/2f4f333ceaa0-20241206.png" loading="lazy" class="md-img">
メッセージ転送機能は、Botへのメンションが発生した場合のみ、当該メッセージを転送するものですが、メンション前にスレッド上で発生していた会話履歴や、メンションとメンションの間に繰り広げられた会話履歴を考慮した回答が出来ないと不便だと感じ、その対策として追加した機能になります。
この機能は非常に強力で、たとえば人間同士で会話している長いスレッド上に、途中にBotを割り込ませることで論点を整理したりまとめさせたりすることが可能になります。
実現にために、Slack側のスレッド識別子(<code>channel_id + thread_ts</code>)とDify側の会話識別子(<code>ConversationID</code>)の対応関係を中継サービスのDB上で管理しています。 
(実装としてはAWSのDynamoDBを利用しました)
その上で、メッセージ転送時に次の制御を行っています。
<ul data-line="97" class="code-line">
<li data-line="97" class="code-line">保存されたConversationIDをDifyアプリ実行APIに入力</li>
<li data-line="98" class="code-line">最終転送時のmessage_tsと今回のmessage_tsの差分を考慮し、抜けている未転送のメッセージを抽出し、Difyアプリ実行APIに追加入力</li>
</ul>
要するに、同じSlackスレッドへのメッセージは同じDify会話スペースに転送し、さらにはメンション外の未転送のメッセージ履歴も適宜入力に加えていく、みたいなことをしています。
<h2 id="3.-tool(openapi%2Fswagger)%E7%B5%8C%E7%94%B1%E3%81%A7%E5%A4%96%E9%83%A8%E9%80%A3%E6%90%BA" data-line="102" class="code-line">
<a class="header-anchor-link" href="#3.-tool(openapi%2Fswagger)%E7%B5%8C%E7%94%B1%E3%81%A7%E5%A4%96%E9%83%A8%E9%80%A3%E6%90%BA" aria-hidden="true"></a> 3. Tool(OpenAPI/Swagger)経由で外部連携</h2>
3つ目は、外部システムとのAPI連携です。一例ですが、SalesforceのレポートのURLを渡すだけで、AI(Difyアプリ)はレポートの内容を踏まえた処理を行うことができます。
<img src="https://storage.googleapis.com/zenn-user-upload/912df51c8dba-20241206.png" loading="lazy" class="md-img">
SlackからすぐにAI(Difyアプリ)を呼び出すことが出来るようにはなりましたが、結局AIへの指示に多くの入力データを含める必要があり、入力データを取得するために個別にシステムを開いて、、、といった作業を繰り返すことになり、非常に非効率です。
その解決のため、社内システムへのAPIアクセス環境をBridgeの一部として整備しています。
APIはOpenAPI準拠仕様でSwaggerドキュメント(JSON)化されており、Difyでドキュメンt(JSON)を読み込ませることでツールとして使えるようになっています。
これは愚直に整備していくしかないですね。。
<h1 id="%E3%81%BE%E3%81%A8%E3%82%81" data-line="117" class="code-line">
<a class="header-anchor-link" href="#%E3%81%BE%E3%81%A8%E3%82%81" aria-hidden="true"></a> まとめ</h1>
SlackとDifyの連携を強化していった結果、わざわざDifyを開かなくてもすぐにアクセスできるAIアプリ、という形で社内ユーザーの利用ハードルも下がり、使われやすくなりました。
結果として、開発者のモチベーションも向上→開発人口増→アプリ増、という最初の流れを作ることが出来ました。
<h1 id="%E3%81%9D%E3%81%97%E3%81%A6mcp%E3%81%AE%E7%99%BB%E5%A0%B4" data-line="123" class="code-line">
<a class="header-anchor-link" href="#%E3%81%9D%E3%81%97%E3%81%A6mcp%E3%81%AE%E7%99%BB%E5%A0%B4" aria-hidden="true"></a> そしてMCPの登場</h1>
ところで、Bridgeの今後の方向性を考えていた先週、AnthropicさんがMCP(Model Context Protocol)なるものを発表しました。
Bridgeの仕組みを抽象化していくと、きっとMCP的な規格に落ち着くのだと思います。
ということで、MCPもしくは今後乱立するであろう類似規格に寄り添いながらの開発が必要になりそうなので、色々と考察をしています。それについてはまた別のアドベントカレンダーにて記事化出来れば...

社内のDify市民開発人口を増やすために取り組んだこと(技術編)

1. Slack/Dify 間のメッセージ転送

2. スレッドと会話を対応付けてコンテキストを同期

3. Tool(OpenAPI/Swagger)経由で外部連携

Discussion