🎉

生成AIの“原価”に勝つ：SLM×蒸留×エージェント×社内政治の実装ガイド（現地メモ統合版）

に公開
AI
プロンプト
zennfes2025ai
zennfes2025free
zennfes2025infra
tech

幕張メッセのAIイベント現地メモを起点に、 「なぜ“プロンプト配布”では定着しないのか」 を技術と組織の両面から解剖。SLM/蒸留、RAG、エージェント、MCP連携、ノーインターネット運用、プロンプトジェネレーター、FDE（顧客埋め込み型）体制、JAL流“文化設計”まで、原価と政治を同時に攻略する実装レシピをまとめました。

元記事 / 参照リンク（代表）

  • OpenAI/GPUコスト問題、SLM/蒸留（Qwen2.5-7B, Phi-3 など）
  • Dify（ノーコードLLM基盤）、Cursor / v0（生成AI開発支援）
  • MCP / AutoMCP（ツール連携プロトコル）
  • RAG運用、ノーインターネット/閉域LMPの実装例
    ※本稿は現地観察メモの一般化と、各公式ドキュメント・公開情報の再整理に基づく技術的提案です。

1. 現地で拾えた要点（ファクト寄りメモの統合）

  • 「プロンプトは個人技」から：Dify等のノーコード基盤、プロンプトジェネレーター内蔵、ワークフロー/エージェント化で“使わなくても使える”方向へ。
  • コスト現実：OpenAIクラスでも計算原価の重さは解消されず。フォロワー企業がフル大規模LLM自前で回収するのは非現実。
  • 勝ち筋：SLM特化＋蒸留＋RAG＋キャッシュで頻出・定型を低原価化。難問は外部SOTAをスポット利用。
  • JALの学び：合宿/ハンズオン/社内報/活用ランキング/キャラ導入＝文化を“仕掛け”で作る。
  • 社内政治：管理職の姿勢で普及が決まる。「使う」より「使わせる」を評価に入れる。若手をAIリーダーに据える。
  • シャドーAI：禁止一辺倒でなく、匿名申告→審査→テンプレ化で資産化。
  • セキュア運用：ノーインターネット/閉域・オンプレでの小型モデル運用が現実解。
  • SVG/感情理解：ネガ感情など難課題の精度が上がり、係り受け＋マルチエージェントで実務応用の扉が開く。
  • FDE（Forward Deployed Engineer）：顧客/部門に埋め込み、要件定義→実装→定着まで回す“実装職”。
  • NFT×AIエージェント（観光/小売）：デジタルスタンプ/NFTクーポンで非PIIの行動データを収集→AI分析→施策最適化。

「AIは人を置き換えない。硬直を置き換える。」（会場の議論からの要約）

2. 日本向けの実装戦略（技術×組織×原価）

2.1 技術アーキ（用途別に“混ぜる”）

  • 頻出・定型（原価最小化）

    • SLM（〜8B）＋RAG＋キャッシュ：議事要約、FAQ、手順ナビ、帳票要約。
    • 蒸留先：Qwen2.5-7B／Phi-3クラスを起点に自社ドメイン蒸留。
    • ノーインターネット/閉域：機密ドメインは社内GPU/CPU＋量子化で回す。

  • 高難度・低頻度（品質最優先）

    • 外部SOTA API（o系/Claude系など）スポット利用＋プロンプト/出力監査ログ保存。

  • ワークフロー/エージェント

    • Dify等でテンプレ→フロー→エージェントへ成熟。
    • MCP/AutoMCPでSAP/社内DB/チケット/メール等と堅実に連携。

  • プロンプトジェネレーター

    • 入力品質を自動平準化（ロール・語尾・手順・安全策・引用範囲を自動付与）。

2.2 組織アーキ（JAL型“文化設計”の移植）

  • トップダウン×ボトムアップの“サンドイッチ推進”
  • 合宿＋ハンズオン＋社内報＋ランキング＝空気を作る仕掛け
  • 管理職KPIは「自分が使う」より**「使わせる」**（浸透率・節約時間・満足度）
  • 若手AIリーダーによるリバース・メンタリングを制度化

2.3 セキュリティ&シャドーAI（“走る装備”に）

  • データ分類：A(機密)外部送信NG/閉域RAG、Bは匿名化の上で外部可、Cは自由試行。
  • 運用ルール：外部送信ガード、PIIマスキング、監査ログ常時保存。
  • シャドーAI資産化：匿名申告→審査→ホワイトテンプレ拡充。

3. 実装プレイブック（現場で使う台本）

3.1 30–60–90日プラン

  • 0–30日（基盤）

    • 社内AIポータルMVP（SSO/権限/監査/RAG）
    • 5ユースケース着手：FAQ、議事要約、手順検索、帳票要約、メール草案
    • KPIの定義：WAU/浸透率、節約時間[h]、CSAT、誤回答率、APIコスト/1000実行

  • 31–60日（拡張）

    • プロンプトジェネレーター導入で品質平準化
    • ダッシュボード公開（ランキング運用）
    • 部門ごとハンズオン/合宿を1回

  • 61–90日（エージェント化）

    • 2–3案件をエージェント化（一次対応、社内調査、手順ナビ）
    • ドメイン蒸留SLM PoC（単価1/10目標）
    • 成果を社外発信（採用/協業のパイプ作り）

3.2 会議で刺さる短文（そのまま使える）

  • 「AIは人を置き換えない。硬直を置き換える。」
  • 「セキュリティは止まる理由ではなく、走る装備。」
  • 「管理職のKPIは“使う”より“使わせる”。」

3.3 稟議テンプレ（要点）

  • 目的：2週間で処理時間-10% / CSAT+0.3 / 監査アラート0
  • 体制：担当部＋AIリーダー2名、監査ログ保存
  • 予算：API上限＋キャッシュ前提、撤退基準明記（品質/原価/満足度）

4. 技術メモ（ピンポイント深掘り）

4.1 SLM/蒸留の落とし穴と設計指針

  • 落とし穴：蒸留で**“平均的賢さ”に寄せがち→自社頻出エラー**が残る
  • 指針：誤り事例コーパス→対抗プロンプト→逆蒸留（負例反映）→評価バッテリーで回す
  • 原価：8B量子化×CPU/小GPUで夜間バッチ蒸留＋日中推論が現実解

4.2 SVG（感情理解）×エージェントの実装例

  • 構成：

    1. 構文解析エージェント（係り受け）→
    2. 感情タグ付けエージェント（肯定/否定/強度/皮肉）→
    3. 根拠抽出エージェント（引用行）

  • 使いどころ：コールログ評価、クレーム一次仕分け、広告/口コミのネガ検知

  • 注意：ネガ感情の偽陽性対策に対話履歴RAGと**メタ情報（話者/時間）**が必須

4.3 ノーインターネット運用（閉域）

  • 構成：社内RAG＋SLM推論サーバ（監査/暗号化保存/再現性確保）
  • 更新：週次リビルドでベクトルDBとテンプレ同期
  • MCP連携：SAP/CRM/チケシス/社内検索を最小権限でツール化

4.4 Cursor と v0 の使い分け（現場感）

  • v0：デザインモードの微調整が神。UI要件が多い新規画面/LPで強い。
  • Cursor：既存コードの読解・差分提案が速い。レガシー移行/リファクタ/保守に向く。
  • 併用：画面はv0、業務ロジックとテストはCursor、最終組立はCIで静的検査＋LLMチェック。

5. 産業横断ユースケース（すぐ出せるネタ）

  • コールセンター：一次応答エージェント／後処理自動化／ナレッジ推薦／“感情×根拠”フィードバック

  • 空港/運航/整備：点検記録の構造化／異常時チェックリスト／手順ナビ／事故レポ標準化

  • バックオフィス：規程要約比較／契約レビュー補助／稟議草案／議事要約／FAQ自動化

  • 食品/製造：工程異常要約／衛生手順チェック／原材料情報整備／需要予測レポ生成

  • 観光/小売（NFT×AI）：デジタルスタンプ/NFTクーポン→行動時系列→AIエージェントでABテスト

    • 利点：非PII運用が可能、企業倒産リスク非依存でデータ継続、**遠隔ファン（アウェイツーリズム）**施策に強い

6. 用語メモ

  • SLM（Small Language Model）：数十億パラメータ級。蒸留＋RAGで低原価・低レイテンシを狙う。
  • FDE（Forward Deployed Engineer）：顧客/部門に入り、要件→実装→定着までを成果責任でやり切る実装職。

7. 著者の所感／示唆（エンジニア/起業家の行動）

  • 結論：「大規模一択」では原価負け。SLM×蒸留×RAG×エージェントで用途別に最適化する“混ぜ方”が競争力。

  • 行動（3点）

    1. 5ユースケースを8B以下＋RAG＋キャッシュでA/B（コスト/品質を数字で）。
    2. FDE的チームで2週スプリント、成果を社内報/ランキングで可視化。
    3. “走る装備”ガバナンス（分類・送信ガード・監査ログ・再現性保存）を先に仕込む。

英語原文の引用は最小限に留め、現地観察メモと公開技術情報をもとに実装に効く形へ再構成しました。
読者の皆さんは本文の台本・テンプレを、そのまま部門会議で使ってください。

Discussion