AWS AI Day 参加メモ

AWS AI Dayに参加してきたので、聴講メモと所感を書き残しておきます。
聴きながら書いた箇条書きそのままなので見辛いですが、誰かの役に立てば幸いです。誤り等見つけたらコメントで教えていただけるとうれしいです。

[基調講演] AWSのテクノロジーで加速する生成AIのプロダクション活用

• 過去18ヶ月に326を超えるアップデート
• 90％以上のサービスをビルダーのフィードバックをもとに構築
• 生成AIスタック
  • インフラストラクチャ
    • コストパフォーマンスを高める専用チップ
      • Trainium
      • Inferentia2
  • アプリケーション開発ツール: Amazon Bedrock
    • 責任あるAIの8考慮事項
      • 制御性
      • プライバシーとセキュリティ
        • Amazon Bedrock Security
      • 安全性
      • 公平性
      • 信憑性と堅牢性
      • 説明可能性
      • 透明性
      • ガバナス
    • カスタマイズ
      • Bedrock Knowledge Base
    • アプリ運用
      • Bedrock Promt Flows
      • Bedrock Converse API
    • モデルを活用するアプリケーション層: Amazon Q
• Fances Pye@Anthropic
  • どのように日本語をサポートするか
    • 大量の入力で大きなモデルを作り日本語固有の知識を獲得する
  • 新しいClaude 3.5 Sonnet, Haiku
  • Computer Use
    • プロンプトではなく画面を見て対応する
• 三井物産
  • 国際入札業務
    • 入札説明書（100ページ超え）、読むために業界知識・専門知識が必要で熟練者でも30−40時間かかる
    • アプリ上で、要旨項目の抽出、重要単熟語着色、要旨生成
    • 1入札あたり熟練者は約12時間、ビギナーは約50時間削減
    • BERT (on Fargate) とLLM (on Bedrock Calude Sonnet 3.5) を組み合わせた独自手法を活用
  • AWSの利点
    • 用途に合わせて複数のLLMを選択可能
    • Webアプリを高速に構築可能なモジュールが豊富
    • 開発者が多くコミュニティが大きい
• RICOH
  • 700を超えるLLMを開発
  • ベースにLlama2を採用
• Hamid Shojanazeri@Meta
  • LLMをOSSとして提供することの意義は？
    • OSSがAIの未来
      • 自社データを守れる
      • エコシステムが拡大し、スタンダードになる
      • カスタマイズされたモデルにMetaもアクセスできる
      • ベンダロックを回避
      • メタは歴史的にOSSを重視
      • オープンなAIが安全になる
  • サイズを大きくする流れは続くか？小さいモデルを開発しているがその意図は？
    • モデルは年々大きくなっているが、高速で効率的なモデルが必要とされている。
    • 特定のタスクには小さなモデルが十分効果的なケースがある
    • AIの詳細はさまざまなサイズのモデルを使いこなすこと
• AWSのコンテンツ・支援プログラム
  • AI Contents Hub
    • 日本のユーザを中心にUC検討のためのポータル
  • Generative AI Use Cases JP (GenU)
    • 生成AIアプリ実装に向けたOSSツール
  • 生成AI実用化推進プログラム
    • 50％を上限にファンディング
    • 60社を超える会社が利用中 11/22まで
  • GAIA
    • Generative AI Acelerator Program
      • スタートアップ向け（採択率2%）
      • グローバルのAIエンジニアが伴奏
      • 100万ドルのファンディング
    • 山崎＠Poetics（GAIA採択企業）
      • JamRoll（商談等の文字起こし・解析SaaS）
        • 成約や失注の要因をSFA (Salesforce) にAIが分析して入力
        • 他社と比較して日本語認識精度が高いところがウリ
        • ToDoやタスク、感情解析、改善提案も生成
        • 対面営業にも対応
        • カスタマーボイス
          • 一人あたり12時間減った
        • GPTで精度が頭打ちしBedrockに変更
          • 精度向上により、成約率1.5倍、ARRは3倍
          • セキュリティ対応により、エンプラ増加
• AI for Good
  • Fast DOCTOR
    • ドキュメントワークの削減（保険証の自動読み取り、今後はカルテも）
  • 大阪ガス
    • カーボンクレジットの評価システムを構築
    • 市場の健全化を狙い他社にも広く提供

Tenant-awareな生成AIデザインパターン

とても濃いセッションで文字での記録は断念。

MLEWで切り拓いたHULFTの生成AI導入の道のり by セゾンテクノロジー

• 課題
  • セルフで活用方法に関する課題を解決
  • ニーズを直接収集しサービス改善につなげる
• 選定候補（開発期間短縮を重視）
  • Amplify
    • 自社GitHubと接続不可
  • GenU（採用）
    • カスタマイズに学習コストがかかる
  • App Runner + Chainlit
    • 高度なカスタマイズが困難
• GenU
  • 迅速に提供可能
  • 既存製品との親和性
  • カスタマイズしやすい
    • 標準的な技術スタック（React+CDK）
  • 本番環境レベルのセキュリティに対応可能
• すでに開発済みの独自高精度RAGシステム（Advanced RAG）を採用
  • Advanced RAG開発時の比較候補
    • Bedrock Knowledge Base
    • Kendra + Bedrock
    • Advanced RAG（独自）
      • クエリ拡張
        • 検索クエリをLLMで拡張し検索漏れを防ぐ
      • ハイブリッド検索
        • 複数の検索手法を組み合わせて検索
          • 今回はベクトル検索の欠点を全文検索で補完
          • 以前開発したRAGはベクトル検索のみだった
      • 親子チャンク戦略
        • 親チャンクを分割した小さな子チャンクで検索し、検索結果に関連する子チャンクの親チャンクをLLMに渡す
• CloudWatch Dashboardでの可視化
• HULFT Squareを用いてRAGシステムとデータソースを連携
• GenUと高精度RAGシステムとの統合
  • GenUにカスタムチャットページを追加
  • 追加ページからのリクエストを高精度RAGシステムで処理
• CI/CDパイプライン
• 社内検証結果
  • 複数部門で300名が利用し評価
  • 80％が「役立つ」or 「非常に役立つ」
  • 業務効率が24％向上
  • モデル比較（精度）
    • Cohere Command R+
      • good率: 31%（必要最低限）
    • Claude 3 Opus
      • good率: 49%（淡々・慎重）
    • Claude 3.5 Sonnet（採用、回答品質が高くコストもOpusの1/5）
      • good率: 58%（検索結果から推察し解決策を提案）
  • モデル比較（回答制御メカニズム）
    • 事前学習部幹版モデル
      • Claude: 憲法AI、素で善悪の判断能力が高い
    • コンテンツフィルタリング
      • ガードレール
    • AIエージェント
      • LLMへの入出力をAIエージェントがレビュー
      • レスポンス容量に制限がある
    • 評価
      • Claude 3.5 Sonnet
        • 多くの質問を制御できたが、一部の回答を許可
      • Bedrock Guardrails
        • 日本語の精度が高くない、満足する結果が得られない
      • Bedrock Tool Use（採用）
        • 制御結果が最もよく、回答不可の際の応答が早くトークン消費を抑制
        • RAGとTool Useが別のLLMを利用している

生成AIアプリケーション開発におけるセキュリティ・コンプライアンスのポイント by AWS

• AIコンプライアンスは変化し続ける
  • EU Artificial Intelligence (AI) Act（2024年施行）等
  • 既存の一般的なプライバシー規制（個人情報保護法、GDPR、CCPA等）
  • 既存の標準フレームワーク（ISO 27090等）
  • 総務省・経産省AI事業者ガイドライン
• AIセキュリティで活用できるフレームワーク
  • The Generative AI Security Scoping Matrix (AWS)
    • 生成AIの利用形態を分類するためのメンタルモデル
    • Scope 1（コンシューマアプリ）からScope 5（独自モデル）の利用形態に応じて考慮すべきリスクを整理したもの
    • Scope 3（事前学習済みモデル）
      • ガバナンスとコンプライアンス
        • AIが学習に使用したデータの所有権、品質、出所（モデルカードや使用許諾等に記載されている）
      • 法律とプライバシー
        • EULAをよく確認する
      • リスク管理
        • 脅威モデリングへの追加考慮点
  • OWASP Top10 for LLM Applications (OWASP)
    • 11月から新パージョンv2.0が公開予定

Technical Updates from Anthropic Research by Jason Kim@Anthropic

• Built the worlds’s best LLM twice in 2024
• Use cases for computer use
  • Automatic testing of software with GUI
  • Integrations with software or applications do not offer API access
  • Automating repetitive tasks that require UI interactions
  • Automating onboarding and support for UI systems
• How to use Claude 3.5
  • Advanced code generation
  • Intelligent visual analysis
  • Complex customer queries
• Partnership with AWS
  • Unified
  • Secure
  • Scalable
  • Holistic (Comprehensive support and acess to experts)
• Solution Blueprints
  • Customer support
  • Knowledge management
  • Building new products
  • Accelerating revenue
• Near-term roadmap
  • Enable business to customize performance
  • Generate faster, more cost-effective outputs
    • prompt caching (already announced)
  • Equip developers with simplified, enhanced developer tools
  • Provide access to new state-of-the-art models
• Long-term research
  • Interoperability
    • Deepening our understanding of how LLMs work
  • Alignment
    • FIne tuning models to make them more honest
  • Pretraining
    • Improving ‘base model’ capability
  • Enhancing retrieval
    • Improving knowledge use cases
  • Agents and orchestration
    • Pioneering multi-step agentic workflows
• Safety and interpretability
• Scaling Monosemanticity
  • Extracting interpretable features from Claude 3 Sonnet

Empowering Industries with Llama Models and its powering engine PyTorch by Hamid Shojanazeri@Meta

• Why Llama?
  • Open approach
    • Open source AI is good for Developers, Meta, The World
  • Llama systems (API and CLI)
    • A set of standardized interfaces to build canonical toolchain components and agentic applications
    • APIs
      • Agentic system API: System component orchestration
      • Model toolchain API: Model development and production tools
    • Models
      • Lightweight models: 1B & 3B
      • Vision models: 11B & 90B
    • Another step toward richer agentic capabilities
      • Improced model reasoning capability by training on Tables | Inforgraphics | Documents | Plots | Diagrams
    • PyTorch ecosystem for Llama
      • Fine-tuning
      • Pretraining
      • Llama inference
        • on-device inference recipe
          • Python AOTI inference
          • C++ and Python freee inference
          • iOS and Android demos
          • Multi-node inference
      • Torch Compile
      • ExecuteTorch
• Trust & safety tools
  • System level safeguards
    • Model & inference guardrails
    • Cybersecurity evaluations
  • Llama Guard 3

所感

ビジネスリーダー、テクニカルリーダー、デベロッパーとロールごとに部屋が分かれていたのですが、デベロッパー向けは内容のレベルに対して参加者のミスマッチが多かった印象。自分もロールでの部屋分けを認識できておらず、ガチMLエンジニアでない自分には結構難しかったです。「Tenant-awareな生成AIデザインパターン」とか知見の宝庫だと思うのですが、その場で咀嚼しきれず。

セゾンさんの発表はよくあるやってみたではなく、やるべきことをきっちりやられていて流石でした。Tool use (Function Calling) をガードレールに使っていたのは興味深かった。Anthropicはメモに必死で聞き間違えたかもしれませんが、1週間待てと言った気がしてちょっと楽しみです。MetaのLlamaは使ったことなかったので今度触ってみようと思います。そして、生成AIハッカソンが聞けなかったのが残念でした。