<aside class="msg message"><span class="msg-symbol">!</span><div class="msg-content">
<p data-line="1" class="code-line">この記事は、<a href="https://cybozu.github.io/summer-blog-fes-2025/" target="_blank" rel="nofollow noopener noreferrer">CYBOZU SUMMER BLOG FES '25</a> の記事です。</p>
</div></aside>
<p data-line="4" class="code-line">こんにちは、サイボウズ生産性向上チーム + AI やっていきチームの <a href="https://x.com/naotama" target="_blank" rel="nofollow noopener noreferrer">@naotama</a><sup class="footnote-ref"><a href="#fn-53c4-1" id="fnref-53c4-1">[1]</a></sup> です。<br>
今回は、サイボウズ生産性向上チームで 3 日間にわたって実施された「AI 開発生産性爆アゲ業務ソン」で AI Gateway を実装した取り組みを紹介したいと思います。</p>
<h1 id="%E8%83%8C%E6%99%AF" data-line="7" class="code-line">
<a class="header-anchor-link" href="#%E8%83%8C%E6%99%AF" aria-hidden="true"></a> 背景</h1>
<p data-line="9" class="code-line">サイボウズには AI やっていきという AI 推進チームがあり、組織横断で AI に関連するさまざまな活動をしています。チーム活動のひとつに「社内の AI 基盤構築」があります。課題として「作りたい基盤はあるが実装できていない」があり、それを解決するため、<a href="https://www.docswell.com/s/cybozu-tech/5R2X3N-engineering-productivity-team-recruitment-information#p3" target="_blank" rel="nofollow noopener noreferrer">開発生産性を高めてサイボウズを加速する</a> をミッションに掲げて活動している <a href="https://zenn.dev/p/cybozu_ept" target="_blank">生産性向上チーム</a> に開発が依頼されました。</p>
<p data-line="11" class="code-line">スピード感を持って基盤構築をするために「AI 開発生産性爆アゲ業務ソン」と銘打って 2025/07/22–24 の 3 日間、次の 2 チームで活動しました。</p>
<ul data-line="13" class="code-line">
<li data-line="13" class="code-line">リモートコーディングエージェント基盤開発<br>
Claude Code Action を AWS 基盤込みでシュッと使える基盤を開発する</li>
<li data-line="15" class="code-line">AI Gateway 基盤開発<br>
開発者が LLM モデルを各種プロバイダーとの契約なしにシュッと使える基盤を開発する</li>
</ul>
<h1 id="%E3%83%A2%E3%83%81%E3%83%99%E3%83%BC%E3%82%B7%E3%83%A7%E3%83%B3" data-line="18" class="code-line">
<a class="header-anchor-link" href="#%E3%83%A2%E3%83%81%E3%83%99%E3%83%BC%E3%82%B7%E3%83%A7%E3%83%B3" aria-hidden="true"></a> モチベーション</h1>
<p data-line="20" class="code-line">開発者・チームが LLM を利用した開発をする際に「AWS と契約して Bedrock を利用する」までの各種手続きをスキップし、使いたいタイミングで各種プロバイダーの LLM モデルを利用可能な状態を提供する！<br>
そのために OpenAI API 仕様準拠の AI Gateway を用意する。</p>
<h1 id="ai-gateway" data-line="23" class="code-line">
<a class="header-anchor-link" href="#ai-gateway" aria-hidden="true"></a> AI Gateway</h1>
<h2 id="%E8%A6%81%E4%BB%B6" data-line="25" class="code-line">
<a class="header-anchor-link" href="#%E8%A6%81%E4%BB%B6" aria-hidden="true"></a> 要件</h2>
<ol data-line="27" class="code-line">
<li data-line="27" class="code-line">
<p data-line="27" class="code-line">OpenAI API 準拠の API を提供する<br>
各種 LLM ライブラリでほぼサポートされているため、利用者の負担が小さい。</p>
</li>
<li data-line="30" class="code-line">
<p data-line="30" class="code-line">社内で開発者向けに提供する<br>
社内ネットワークに閉じて API を提供する。</p>
</li>
<li data-line="33" class="code-line">
<p data-line="33" class="code-line">開発者が利用したいタイミングで利用開始できる（人の手を介さない）環境を提供する<br>
kintone アプリでレコード登録するだけで <code>API Key</code> が自動払い出し！運用者に負担をかけない。</p>
</li>
<li data-line="36" class="code-line">
<p data-line="36" class="code-line">メトリクスを提供し、運用者が利用状況を把握できるようにする<br>
アクセス状況や LLM モデルの利用状況を可視化する。</p>
</li>
</ol>
<h2 id="gateway-%E6%A9%9F%E8%83%BD" data-line="39" class="code-line">
<a class="header-anchor-link" href="#gateway-%E6%A9%9F%E8%83%BD" aria-hidden="true"></a> Gateway 機能</h2>
<p data-line="41" class="code-line">AI Gateway を実装した経験から、<a href="https://www.litellm.ai/" target="_blank" rel="nofollow noopener noreferrer">LiteLLM</a> の <a href="https://docs.litellm.ai/docs/simple_proxy" target="_blank" rel="nofollow noopener noreferrer">LiteLLM Proxy Server (LLM Gateway)</a> を利用前提とし、業務ソン前半に Docker を利用した LiteLLM Proxy Server をローカルに構築して要件を満たせるか確認しました。</p>
<ul data-line="43" class="code-line">
<li data-line="43" class="code-line">OpenAI API 準拠の API を提供できる</li>
<li data-line="44" class="code-line">開発者に <code>API Key</code> を払い出すための API を備えている</li>
</ul>
<p data-line="46" class="code-line">確認の結果、外部から <code>API Key</code> をコントロールできる API が充実している LiteLLM は素晴らしい！となりました。LiteLLM の SSO 機能を使えば開発者自身で <code>API Key</code> を発行できますが、今回は OSS 版を利用するため LiteLLM 側にユーザを持たせることは避け、外部からコントロールできることが大切でした。</p>
<h2 id="%E3%83%A1%E3%83%88%E3%83%AA%E3%82%AF%E3%82%B9%E6%A9%9F%E8%83%BD" data-line="48" class="code-line">
<a class="header-anchor-link" href="#%E3%83%A1%E3%83%88%E3%83%AA%E3%82%AF%E3%82%B9%E6%A9%9F%E8%83%BD" aria-hidden="true"></a> メトリクス機能</h2>
<p data-line="50" class="code-line">当初は <a href="https://langfuse.com/" target="_blank" rel="nofollow noopener noreferrer">Langfuse</a> と LiteLLM を連携させる想定でしたが、LiteLLM が提供するメトリクスだけで今回の要件を満たせそうだったため、Langfuse 連携は見送りました。</p>
<p data-line="52" class="code-line">入出力ログを見ながらのプロンプト管理や LLM-as-a-Judge を行いたいなど、追加要望があれば Langfuse 連携を検討します。</p>
<p data-line="54" class="code-line">API Key 単位やチーム単位でのメトリクスが提供されており要件を満たせていました。<br>
<img src="https://storage.googleapis.com/zenn-user-upload/efaf54a9d0e2-20250727.png" class="md-img" loading="lazy"></p>
<h2 id="%E3%82%A4%E3%83%B3%E3%83%95%E3%83%A9-(aws)" data-line="57" class="code-line">
<a class="header-anchor-link" href="#%E3%82%A4%E3%83%B3%E3%83%95%E3%83%A9-(aws)" aria-hidden="true"></a> インフラ (AWS)</h2>
<p data-line="59" class="code-line">AWS には社内ネットワークに接続された VPC を用意し、ALB + ECS (Fargate) + Aurora Serverless for PostgreSQL で LiteLLM をサービスしています。</p>
<p data-line="61" class="code-line"><img src="https://storage.googleapis.com/zenn-user-upload/0955cbebca83-20250727.jpg" class="md-img" loading="lazy"></p>
<p data-line="63" class="code-line">コンテナ実行環境に ECS を採用しています。ECS on EC2 ではなく Fargate にしたのは私の趣味です。3 日間で構築して稼働まで持っていくスピード感を重視し、好き＆経験豊富な ECS Fargate を採用しました。EKS？できるだけ避けたい派なので察していただけると幸いです。</p>
<p data-line="65" class="code-line">インフラは Terraform で構築し、ECS Service / Task は <a href="https://github.com/kayac/ecspresso" target="_blank" rel="nofollow noopener noreferrer">ecspresso</a> で管理しています。最近は「インフラ構築が終わったら <code>terraform destroy</code> で壊せること → <code>terraform apply</code> で再構築できること」を確認するようにしています。</p>
<h3 id="terraform-%2B-ecspresso" data-line="67" class="code-line">
<a class="header-anchor-link" href="#terraform-%2B-ecspresso" aria-hidden="true"></a> Terraform + ecspresso</h3>
<p data-line="69" class="code-line"><img src="https://storage.googleapis.com/zenn-user-upload/99e84781a186-20250727.png" class="md-img" loading="lazy"></p>
<p data-line="71" class="code-line">Terraform は Production, Staging など環境ごとにディレクトリを分けています。</p>
<div class="code-block-container"><pre class="language-shell"><code class="language-shell code-line" data-line="73">$ <span class="token builtin class-name">cd</span> ./terraform/environments/production
$ aws sso login
$ terraform <span class="token operator">&lt;</span>command<span class="token operator">&gt;</span>
</code></pre></div><p data-line="79" class="code-line">ecspresso も Production, Staging など環境ごとにコントロールできる構成です。</p>
<div class="code-block-container"><pre class="language-shell"><code class="language-shell code-line" data-line="81">$ <span class="token builtin class-name">cd</span> ./terraform/deploy-ecs/production
$ aws sso login
$ ecspresso <span class="token operator">&lt;</span>command<span class="token operator">&gt;</span>
</code></pre></div><p data-line="87" class="code-line">ECS Task で扱う環境変数を環境ごとに変更するため、<code>ecs-task-def.jsonnet</code> を置き、ecspresso の <a href="https://github.com/kayac/ecspresso/blob/v2/README.md#jsonnet-functions" target="_blank" rel="nofollow noopener noreferrer">Jsonnet functions</a> を利用しています。</p>
<h2 id="api-key-%E6%89%95%E3%81%84%E5%87%BA%E3%81%97%E3%81%AE%E4%BB%95%E7%B5%84%E3%81%BF" data-line="89" class="code-line">
<a class="header-anchor-link" href="#api-key-%E6%89%95%E3%81%84%E5%87%BA%E3%81%97%E3%81%AE%E4%BB%95%E7%B5%84%E3%81%BF" aria-hidden="true"></a> <code>API Key</code> 払い出しの仕組み</h2>
<p data-line="91" class="code-line">サイボウズ社内の kintone を利用し、次の手順で <code>API Key</code> を発行できる仕組みを構築しました。ユーザーが行うのはレコード登録のみです（最高！）</p>
<ol data-line="93" class="code-line">
<li data-line="93" class="code-line">ユーザーが kintone アプリに <code>キー名</code> と <code>チーム</code> をレコード登録する</li>
<li data-line="94" class="code-line">10 分程度待つ</li>
<li data-line="95" class="code-line">
<code>API Key</code> が発行される</li>
</ol>
<p data-line="97" class="code-line"><img src="https://storage.googleapis.com/zenn-user-upload/81e465430f70-20250727.png" class="md-img" loading="lazy"></p>
<p data-line="99" class="code-line">kintone アプリ上では、登録されたチームに所属するメンバーのみ <code>API Key</code> を参照できます。</p>
<p data-line="101" class="code-line"><img src="https://storage.googleapis.com/zenn-user-upload/2829a343510e-20250727.png" class="md-img" loading="lazy"></p>
<p data-line="103" class="code-line">kintone アプリの情報から LiteLLM の <a href="https://litellm-api.up.railway.app/#/key%20management" target="_blank" rel="nofollow noopener noreferrer">Key Management API</a> を呼び出して <code>API Key</code> を発行する処理は Go 言語で実装し、<a href="https://docs.github.com/ja/actions/reference/workflows-and-actions/events-that-trigger-workflows#schedule" target="_blank" rel="nofollow noopener noreferrer">GitHub Actions の schedule イベント</a> で定期実行しています。</p>
<h1 id="%E3%81%82%E3%81%A8%E3%81%8C%E3%81%8D" data-line="105" class="code-line">
<a class="header-anchor-link" href="#%E3%81%82%E3%81%A8%E3%81%8C%E3%81%8D" aria-hidden="true"></a> あとがき</h1>
<p data-line="107" class="code-line">AI Gateway 基盤構築は <a href="https://zenn.dev/defaultcf" target="_blank">defaultcf</a> と一緒に実施しました。お互いに一瞬業務ソンから抜けるタイミングもありましたが、「開発者自身が <code>API Key</code> を発行できる AI Gateway を構築する」というゴールを達成できました。</p>
<p data-line="109" class="code-line">今後の展開としては次のようなものを想定しています。</p>
<ul data-line="110" class="code-line">
<li data-line="110" class="code-line">LLM プロバイダー / モデルを随時新しいものに入れ替える</li>
<li data-line="111" class="code-line">
<code>API Key</code> ごとのトークン利用量を kintone アプリ上で可視化する</li>
<li data-line="112" class="code-line">
<code>API Key</code> ごとでトークン利用量の制限する</li>
<li data-line="113" class="code-line">ガードレールを導入する</li>
<li data-line="114" class="code-line">Prompt 管理、LLM as a Judge 等の開発支援機能要望に応じて LiteLLM に Langfuse を接続する</li>
</ul>
<p data-line="116" class="code-line">結論、業務ソンはいいぞ！</p>
<section class="footnotes">
<span class="footnotes-title">脚注</span>
<ol class="footnotes-list">
<li id="fn-53c4-1" class="footnote-item">
<p>今回の記事は生産性向上チームとしての人格です <a href="#fnref-53c4-1" class="footnote-backref">↩︎</a></p>
</li>
</ol>
</section>


AI Gateway を AI 開発生産性爆アゲ業務ソンで実装した話

Discussion