Generative AI Summit Tokyo '24 Fall 参加メモ

Google CloudのGenerative AI Summit Tokyo '24 Fallに参加してきたので、聴講メモと所感を書き残しておきます。

聴きながら書いた箇条書きそのままなので見辛いですが、誰かの役に立てば幸いです。誤り等見つけたらコメントで教えていただけるとうれしいです。

[基調講演] Googleの生成AIがビジネスを次のステージへ。〜活用事例とLLM開発の今〜

• 「試す」から「使う」へトレンドが変化
• チャットアプリを作っても試す人はごく一部
• AIエージェントとして実用化
• Gemini 1.5 Pro / 1.5 Flash
  • 最新モデル002がVertex AIでGA
  • 200万トークン
  • 36倍
  • （多分安全性評価で）1位
• Gemini Liveが日本語に対応
  • スマホから音声でGeminiAIと会話
• Gemini for Google Workspaceのサイドパネルが日本語に対応（アルファ）
• Gemini Code Assist Enterprise
  • GIthub, GitLabなどのコードをコンテキストとして、既存のコードを踏まえた深い理解を元にコード生成が可能。
  • 日本語にも対応
• Vertex AI
  • AIエージェントの開発プラットフォーム
  • モデル選択
    • Model Gardenから適切なモデルを選択可能
    • Calude、Llama、Mistral、Imagen3
      • Imagen3は著作権補償付きで利用可能
      • PUMA Indiaではクリック率10%向上に貢献
• 60％以上の組織がハルシネーションのために活用が進まない
  • In-context learning
    • ロングコンテキストによる「解釈違い」の軽減
    • RAGと比較してパフォーマンスが向上
  • 生成AIに「知識」を答えさせない
    • High Fidelity Mode
• デロイト
  • 生成AIは経営matterになってきた
    • GenAIの主眼は業務自動化からイノベーションや成長機会の発見に
  • トップが自らリードしないければ変化に繋がらない
    • パフォーマンスは使っていない側に引きずられる
  • CEOのミッション「Autonomous Enterprise」
    • ビジョンを描く（多くの企業がやっている）
    • ビジョンを浸透させる（ここからが難しい）
    • 変革に向けて投資
  • 変革フェーズ
    • プロンプトエンジニアリング
      • RAG/ベクトルDB
        • 統合
          • LLM Fine-tuning / 統合データ基盤
        • 変革
          • AIエージェント
• TBS
  • 映像素材の検索
    • 人海戦術（何百人単位）でメタデータを入力
      • ニュースに映ってる人
      • スポーツの結果
      • 権利情報
    • 2週間遅れでようやくメタデータが入力できる
    • TBSに限らない世界的な課題
  • Gemini 1.5 Proで長尺の動画を扱えるようになった
  • 3分の動画でトライ
    • 人間 40min vs 生成AI 4min
    • AIはテロップを読んだり、ナレーションに引っ張られやすかった
    • 工夫1
      • AIに渡す映像からテロップとナレーションを外す
      • その後、テロップ入り、ナレーション入りを使う
    • 工夫2
      • ハルシネーション対策
        • ニュースからトライ
        • ミスが許されないからしっかりチェックする体制があった
    • メタデータは7日以内に再利用されやすいので、2週間かかるメタデータの生成が早くなれば大きな効果が得られる
• カインズ
  • Vertex AI Searchの意味検索で商品検索体験が進化
  • 類似性・代替性のある商品が多いが、関連度を考慮せず発注して過剰発注となっていた
  • 商品情報をリッチ化して、商品同士の類似度を把握
• パネル「トップランナーに聞く・・・」
  • PFN PLaMo
    • β版トライアルAPIを提供中
    • PLaMo Primeを今秋にGoogleマーケットプレイスで提供予定
    • PLaMo Lite エッジ向け
  • Sakana AI
    • 研究がメインミッション
    • Exploitation vs Exploration
      • 多くの企業は実績のあるやり方（モデルの大規模化、等）にフォーカス
      • Sakana AIは違うやり方を模索
  • 生成AIのテクノロジートレンドと各社のアプローチ
    • PFNは大きなモデルに投資
      • 1Tモデルを開発
      • 小さなモデルLiteも作っている
      • 小さいモデルに置き換えるために大きなモデルが必要
      • Sakana AIからみて、2つの方向性を両立させた考え抜かれた戦略
    • Sakanaは異なるアプローチ
      • 進化的モデルマージ
        • 複数のモデルを使うより、マージする方がよい
        • 英語の情報力は大きい、それに現地文化を理解するようなモデルをマージさせることで、より良いパフォーマンスを目指す
      • PFNからみて、モデルマージのテクニックは重要で興味深い。他にも未知なやり方があるんじゃないかと思っている。
  • GenAIの社会実装
    • PFNはPLaMoをリリースしていて、すでに活用目処のついた領域での活用を進めつつ、さらに競争力の強化を進めたい。
    • Sakana AIは研究ラボなので研究が最優先。例えば、自己適用と進化的モデルマージを組み合わせてより多様なモデルを開発し、より特化・適応したモデルを提供。
    • 提供コストはムーアの法則を超える速度で下がっている。
    • モデル開発はワンタイムではないので、モデル開発時に長期的にモニタリングし維持する仕組みを考えることを推奨。

アサヒグループが主導するAI革命・生活者起点のイノベーション by アサヒグループジャパン

• 「やってTRY」プロジェクト
  • 2023年5月社外発表
  • 社内イントラにTRY結果の投稿
• 生活者のインサイト獲得
  • ファクトリー（伴奏型開発者チーム、従業員＋外部ベンダ）でアプリを短期間で開発
• 「探す」世界から「探さない」世界を実現
  • キーワードが悪くても対話を通じて答えに辿り着ける世界へ
• 本社機能における手作業業務の生産性に資する
  • 生産性＝処理時間ｘ品質（正解率、良くて80％）
  • それでも処理時間が10秒未満ならやる価値がある
• 目的に応じて複数のサービスを活用し試行実践
  • CMにおいて「20歳未満は・・・」の記載があるか、等
• これからやりたいこと
  • AIで「認知バイアス」を排除した商品クリエィティブ・評価（特許出願中）
    • 脳波を使う？
    • 広告代理店への依存度を低減
    • アサヒらしくないものができる（バイアスの排除）
  • 味覚IoTデバイスが生成した味を直接味わう
  • 味覚神経に直接味を届ける（ブレインデバイス）
• 変えていくべき価値観
  • 新商品や新しいマネタイズの創出→新規事業の想像へのこだわり
  • 構想に終始→とにかくアジャイルに実践・立ち上げ

Vertex AI Searchによる社員12万人向け検索システム導入事例 by NEC

• NECの業務環境
  • 従業員:12万
  • クライアントPC: 23万台
  • スマホ: 8.5万台
  • 総データ量: 6PB
• 3つの軸
  • コーポレート・トランスフォーメーション（社内のDX）
    • クライアントゼロ（自分達が最初のクライアントとしてGenAIを活用）
  • コアDX（お客様のDX)
    • フラグシップDX（社会のDX）
• NGS
  • 社内向けのチャットサービス
  • NEC開発の生成AIモデルcotomi以外も選択して利用可能
  • RAGも使用可能
  • 自社アプリとも連携可能
  • Googleのサービスとも連携を計画中
• 全社員に社内でAIの活用状況を可視化して公開
  • 登録者数は10月頭で5万人
  • 累計チャット数732.3万？
  • 全従業員が日常的に利用しているとは言い難い状況
  • 自部門だけでなく他部門の状況も把握できて競争意識が生まれている
• 社内検索サービス
  • 従業員向けポータル「OneNEC.com」の検索
    • SaaSベース (Drupal?)
  • ドキュメント数: 約12万件
  • 検索システムの変遷
    1. Elasticsearch
       • CMS (Aquia) の検索機能として利用
       • 品質面で大きな不満はなかったが、性能面では不満が
    2. Kendra
       • 性能は改善
       • 採用時点では、日本語未対応、セマンティック検索の精度向上が今ひとつ
    3. Vertex AI Search
       • 検索結果だけでなく要約が提供される
         • 要約はオプションだが多くの従業員がONで使用しており、業務効率向上に寄与している
       • 日本語の軽微なミスや同義語もケア
         • 「NEC」と「日本電気」
         • 「感染」と「観戦」
• Vertex AIで大規模データ検索を運用する際のポイント
  • 一回に作成・更新できるIndexの上限は10万件
  • Indexの追加はできるが削除はできない
  • ワークアラウンド
    • 削除処理をする場合one shotで10万件以下を作成し、残りは更新処理で追加
    • この間コンテンツが見えない期間がある
    • DailyとWeeklyに分けてユーザ影響を最小化
• 今後はRAGとしてのVertex AI活用を推進

Gemini を活用したマルチモーダル サイト内検索の構築事例 by デジタル庁

• GCAS (Government Cloud Assistant Service, ガバクラ活用支援サービス)
  • 主要コンポーネント
    • GCAS SSO
      • アカウントを取得するとGCASを通じて各CSPにSSOできる
    • GCASガイド
      • ガバクラの利用ガイド（2022年12月にリリース）
      • Decap CMSで文章データを管理
        • Next.jsのSSG機能で静的コンテンツを生成
      • リファレンスアーキテクチャやIaCサンプルコードも提供
      • 業務ブロックと日機能要件ブロックを組み合わせて代表的なシステムパターンを作る
      • ブロックはクラウド最適なアーキテクチャで構成
      • Terraformらしい（大丈夫か？）
  • GCASガイドの検索改善プロジェクト
    • Google支援のもと2名（登壇者）で開発
    • 現行のFuse.jsを用いたオンメモリの全文検索から生成AIベースの検索に移行
      • 移行前の課題
        • 表記揺れに対応できない
        • AND検索に非対応
        • メモリの消費が激しい
      • Vertex AI Searchに移行
        • Gemini 1.5 Proを利用
        • Geminiを使ってアーキテクチャ図などを理解して検索に利用
          • GeminiでGCS上の画像ファイルから説明文を生成して、GCS城のマークダウンテキスト中に挿入し、Vertex AI Seachの検索インデックスを作成
          • 図中では消えた内容も補完できた
          • 画像を確認しないと回答が難しい質問で検証
            • 画像のリソースアイコンを確認しないとわからない質問
            • 期待した結果が得られた
        • Vertex AI SearchのREST API
          • Search API: Vertex AI Searchの標準的なAPI
          • Answer API: 要約の得意なAPI
        • 検索サイトの変更
          • 検索ページのAPI接続部分をSSR化してCloudRunで処理
          • サーバサイドで検索を行いクライアントでアクセスキーを持たなくて良いように変更
        • Decap CMSのコンテンツを編集されるとGitHub Actionsでデプロイ
        • Discovery Engineの権限を付与したサービスアカウントを利用
        • google-auth-libraryを利用すれば数十行のコードでAnswer APIの呼び出しを実装できる
    • 精度の向上
      • なんとなく良さそうで開発を止めず、検索精度を定量化して検証
      • RAGASの5つの評価指標を使って検証を実施
      • Answer APIの方がfaithfulness（忠実度）が高いことを確認

リユース業界における生成 AI の革新と実践活用 by BuySell Technologies

• リユースプラットフォーム「Cosmos」
  • 買取、査定、在庫管理、出品管理、販売、等
  • 多くの企業は業務ごとにバラバラのシステムを使っているが一気通貫で行えるシステムを内製
• バイセルにおけるAI投資の全体像
  • 解決したい課題が明確（レコメンド等）→DL by BuySell Research（AI研究経験者）
  • 幅広い課題を解決したい→GenAI by Webエンジニア
• 自社GPUサーバ（NVIDIA H100）やGoogle Cloudを利用した研究を推奨
• 事例1: AI査定
  • ブランドの特定、商品状態の判別、真贋判定
  • ブランドバッグや酒が対象
  • ラベルデータはBigQueryで管理
  • 平均査定時間が93秒から22秒へ
  • ブランドバッグは9割以上がAIで特定可能に
• 事例2: 切手の仕分け
  • 手作業で集計してスプレッドシートに入力していた作業をOCRとAIで実現
  • デジタル面の改善
    • OCRする箇所をブロック分け
    • PDFから高解像度JPEGへ
  • アナログ面からの改善
    • 紙面のサイズをA4からA3へ
    • ボールペンを太いものに変更
    • 視線移動など確認時間の短縮を考慮したUI
    • 座標指定しやすいフォーマットへの変更
  • 認識精度99.52%を達成
• 事例3: 社内生成AIプラットフォーム「BuySell Buddy」によるナレッジ共有
  • 共有GoogleドライブやConfluence、BigQueryのデータを学習して、SlackやCosmos、社内ツール（Google Spreadsheet via GAS）から利用
  • 店舗マニュアルにおいては100%が導入を支持
• 生成AI活用のポイント
  • いきなり全てをAIで解決しようとしない
  • 精度を高めるにはデータの整備が重要
    • AIが読み込む前提でプロジェクト、フォルダ、資料の作り方を考える
    • とにかく体系立てたデータ構造にする
  • Geminiのよさ
    • 200万トークンでセマンティックを保ったままインプットできる
    • Gemini Flashのような低コストモデルが利用可能
    • マルチモーダルで特にPDFに強い、PDF中の図も対象
  • イネーブルメント領域でも活用
    • 成績の良い査定員と悪い査定員の違いを分析してトレーニングに活用
  • プロダクトに生成AIを組み込む、AIエージェントが当たり前に

生成 AI とデータ活用 - Gemini 時代のデータ分析の進化形 by JaguerのAI/ML分科会

• プレゼンタ
  • Citadel AI
  • Unerry
  • 中外製薬
• AI Transformation Playbook
• Vertex AIのAutoMLは未サポートに
  • テキストモデルはもう不要、学習させなくてもGeminiの方が精度が高い

所感

• Gemini 1.5 Pro
  • 事例の多さからもマルチモーダルがアピールポイントであることを感じる
    • YouTubeや検索などGoogleの強みが活かされてる？
  • ハルシネーション対策の新たなアプローチ
    • In-context learningによるRAG以外の選択肢
    • 生成AIに「知識」を答えさせないHigh Fidelity Mode
• アサヒグループの事例である、クリエイティブ作成にAIを活用しバイアスの除去は効率化とは一線を画する効果的なUCだし、広告代理店にとっては脅威
• BuySellの「すべてをAIで解決しようとしない」は実用的かつ現場の苦労が滲み出る教訓
• Vertex AIの使いやすさ故か、ユーザ企業の内製化、活用フェーズへの移行が進んでいてSIerはツライ