• 試験概要
  • 試験ガイド
  • 試験コード
    • AIF-C01（2024/10/8～）
    • AI1-C01（ベータ試験、2024/8/27～2024/10/4?8?）
  • 求められる知識
    • 特定の職務に関係なく、AI/ML、生成 AI テクノロジー、関連する AWS のサービスとツールに関する総合的な知識を効果的に実証できる個人を対象としています。
      • 一般的な、また AWS 上での、AI、ML、生成 AI の概念、手法、戦略を理解
        する。
      • AI/ML と生成 AI テクノロジーの適切な使用を理解し、受験者の組織内で関連
        する質問を行う。
      • 特定のユースケースへの適用に適した AI/ML テクノロジーの種類を見極める。
      • AI、ML、生成 AI テクノロジーを責任を持って使用する。
  • 試験時間：90分
    • β試験は120分
  • 問題数：65問
    • 試験ガイドでは、スコアに影響する設問が 50 問、採点対象外15問
    • β試験は85問
  • 出題形式
    • 択一選択問題
    • 複数選択問題
    • 順序付け
    • 内容一致
    • 導入事例
  • 合格ライン：700 / 1,000点
  • 料金：15,000円/100 USD「試験の料金」
    • ベータ試験は10,000円/75 USD
  • 言語：英語、日本語、韓国語、ポルトガル語 (ブラジル)、簡体字中国語
    • ベータ試験hは英語、日本語
• 試験内容
  • 第 1 分野: AI と ML の基礎 (採点対象コンテンツの 20%)
  • 第 2 分野: 生成 AI の基礎 (採点対象コンテンツの 24%)
  • 第 3 分野: 基盤モデルの応用 (採点対象コンテンツの 28%)
  • 第 4 分野: 責任ある AI に関するガイドライン (採点対象コンテンツの 14%)
  • 第 5 分野: AI ソリューションのセキュリティ、コンプライアンス、ガバナンス(採点対象コンテンツの 14%)
• 対象サービス
  • 分析
  • コスト
  • コンピューティング
  • コンテナ
  • 機械学習
    • Amazon Augmented AI (Amazon A2I)
    • Amazon Bedrock
    • Amazon Comprehend
    • Amazon Fraud Detector
    • Amazon Kendra
    • Amazon Lex
    • Amazon Personalize
    • Amazon Polly
    • Amazon Q
    • Amazon Rekognition
    • Amazon SageMaker
    • Amazon Textract
    • Amazon Transcribe
    • Amazon Translate
  • マネジメントとガバナンス
  • ネットワークとコンテンツ配信
  • セキュリティ、アイデンティティ、コンプライアンス
  • ストレージ

試験名から生成したイメージ画像

Amazon SageMaker

SageMakerとは

• SageMaker Model Card
  • 機械学習モデルの詳細情報を文書化するためのツールです。モデルの目的、性能指標、制限事項、倫理的考慮事項などの重要な情報を一元管理できます
• SageMaker Model Dashboard
  • デプロイされたモデルの監視と管理を行うためのダッシュボードです。モデルのパフォーマンス、リソース使用状況、エンドポイントのステータスなどを可視化して確認できます
• SageMaker Role Manager
  • 一般的な機械学習のニーズに対応するペルソナベースのIAMロールを構築および管理
• SageMaker Pipelines
  • MLOps および LLMOps オートメーション専用のサーバーレスワークフローオーケストレーションサービス
  • 直感的なドラッグアンドドロップ UI または Python SDK を使用
• SageMaker Model Registry
  • MLの追跡、管理、バージョンアップを可能にする一元化されたリポジトリ
  • モデルを登録するときに承認を設定可能
• SageMaker JumpStart
  • 事前トレーニング済みの機械学習モデルやソリューションテンプレートを提供するサービスです。数回のクリックでモデルをデプロイしたり、カスタマイズしたりすることができます
• SageMaker Clarify
  • 機械学習モデルの説明可能性と公平性を向上させるためのツールです。モデルの予測がどのように行われているかを解釈したり、バイアスを検出・軽減したりするのに役立ちます
• SageMaker Data Wrangler
  • 機械学習のためのデータ準備を効率化するツールです。データの前処理、特徴量エンジニアリング、データ変換などを視覚的に行うことができます
• SageMaker Canvas
  • コーディングなしで機械学習モデルを構築・トレーニングできるノーコードツールです。ビジネスアナリストやドメインエキスパートが簡単に予測モデルを作成できます
• SageMaker Feature Store
  • 機械学習の特徴量を一元管理するためのリポジトリです。特徴量の作成、共有、再利用を効率化し、モデル開発のスピードアップに貢献します
• SageMaker Ground Truth
  • 高品質な機械学習トレーニングデータセットを作成するためのデータラベリングサービスです。人間のアノテーターとAIを組み合わせて、効率的にデータにラベルを付けることができます
  • RLHF（Reinforcement Learning from Human Feedback）:人間のフィードバックからの強化学習
    • 人の好みの結果に合わせてモデルを微調整できる
  • Ground Truth Plus
• Amazon Mechanical Turk
• Automatic Model Tuning(AMT)
  • データセットで多くのトレーニングジョブを実行することで、モデルの最適なバージョンを見つける
  • 自動的にハイパーパラメータを選択
• モデルのデプロイ
  • リアルタイムエンドポイント
  • サーバレスエンドポイント
    • コールドスタート問題がある

Amazon Bedrock

Amazon Bedrock とは

主な機能

• フルマネージドサービス
• 基盤モデル（Foundation Model、FM）の選択と利用
  • 単一の API を介して AI21 Labs、Anthropic、Cohere、Meta、Mistral AI、Stability AI、および Amazon といった大手 AI 企業からの高性能な基盤モデル (FM) を選択できる
• モデルのファインチューニング
  • カスタムモデル
  • AWSブログ>微調整と事前トレーニングの継続を使用して、独自のデータで Amazon Bedrock のモデルをカスタマイズする
• 検索拡張生成（Retrieval-Augmented Generation、RAG）
• モデル評価
  • 自動評価
  • 人による評価
    • 自分のチーム
    • AWSマネージド作業チーム
• ガードレール機能
  • 不適切なコンテンツへの応答を制御
• エージェント機能
  • 複数のステップからなるタスクを実行するエージェントを構築
  • 要求を分析し、論理的な順序で分解し、必要な情報を判断

その他

• モデル呼び出しのログ記録
• プロビジョンドスループット
• Amazon Kendraとの違い
  • Kendraは機械学習 (ML) を利用して自然言語で検索
  • Bedrockは回答を生成
• Ragas
  • RAG（Retrieval Augmented Generation） Assessmentの略で、RAGのパイプライン（回答を得る仕組み）を評価するためのフレームワーク（手法）

Amazon Q

• Amazon Q in Connect: カスタマーサービスエージェントがより良いカスタマーサービスを提供できるよう支援
• Amazon Q Developer: アプリケーションのコーディング、テスト、アップグレードから、エラーの診断、セキュリティスキャンと修正の実行、AWS リソースの最適化
• Amazon Q Bysiness: 完全に管理された生成 AI 搭載アシスタントであり、質問に答えたり、概要を提供したり、コンテンツを生成したり、企業データに基づいてタスクを完了したりするように設定できます。これにより、エンドユーザーは、IT、HR、福利厚生ヘルプデスクなどのユースケースで、引用付きの企業データソースから、アクセス許可を考慮した応答を即座に受け取ることができる
• Amazon Q in QuickSight: インサイトの構築と活用を容易にする生成 AI アシスタント

そのほか

• Amazon Augmented AI (Amazon A2I):機械学習予測のための人間によるレビューワークフローの実装を支援するサービス
• Amazon Fraud Detector: 機械学習でオンライン不正をより早く検出するためのマネージドサービス。新規のアカウント登録や、クーポンの発行、トランザクションの精査など、様々なユースケースで利用できる。参考＞Getting Started
• Amazon Kendra: 組み込みコネクタを使用してさまざまなコンテンツリポジトリを検索できるようにするインテリジェントなエンタープライズ検索サービス
• Amazon Lex: 音声やテキストを使用して、任意のアプリケーションに対話型インターフェイスを構築するサービス
• Amazon Personalize: データを使用してユーザーにアイテムのレコメンデーションを生成
• Amazon Polly: テキスト読み上げサービス
• Amazon Comprehend: 機械学習 (ML) を使用して非構造化データやドキュメント内のテキストから情報を発見する自然言語処理 (NLP) サービス
• Amazon Comprehend Medical: 構造化されていない医療テキストから正確かつ迅速に情報を抽出
• Amazon Rekognition: 画像/ビデオを分析したり、顔をアプリケーションと比較
• Amazon Textract: 画像やドキュメントからテキスト抽出
• Amazon Transcribe: 音声→テキスト
• Amazon Transcribe Medical: 医療音声をテキストに自動的に変換する
• Amazon Translate: 翻訳
• AWS Trainium: コストを低く抑えながら、深層学習と生成 AI トレーニングのパフォーマンスを高める。学習向け。
• AWS Inferenitia: Amazon EC2 で、深層学習と生成 AI 推論について最低コストで高パフォーマンスを実現。推論向け。

タスクステートメント 1.1: AI の基本的な概念と用語を説明する。

基本的な AI 用語

• 人工知能（Artificial Intelligence, AI）: 人間の知能を模倣するシステムの広義な概念
• 機械学習（Machine Learning, ML）: データと経験から学習し、明示的にプログラムされることなく改善するAIの一分野
• 深層学習（Deep Learning, DL）: 多層のニューラルネットワークを使用する機械学習の一種
• 生成AI（Generative AI）: 新しいコンテンツを生成する能力を持つ
• ニューラルネットワーク: 人間の脳の構造を模倣した機械学習モデル
• コンピュータビジョン: 画像や動画を理解し解析する能力
• 自然言語処理 (NLP): コンピュータが人間の言語を理解、解釈、生成する能力
• モデル: 入力データを受け取り、特定のタスクを実行するように設計された数学的な構造
• アルゴリズム: 特定の問題を解決するための一連の手順や規則
• トレーニング: モデルがデータから学習するプロセス
• 推論: トレーニング済みモデルを使用して、新しい未見のデータに対して予測や決定を行うプロセス
• バイアス（偏り）: AIモデルが特定のグループや特性に対して不公平な結果を生成する傾向を指します。これは、トレーニングデータの偏りや、アルゴリズムの設計によって生じる
  • バイアスが大きい場合、学習不足　→対応：特徴の数を増やすなど
• バリアンス（分散）:モデルがトレーニングデータに過剰に反応している状態を示す指標
  • バリアンスが高い場合、過学習　→対応：特徴選択（より少ない、より重要な特徴）など
  • バイアスとバリアンスはトレードオフ。バランス大事。
  • 
  • 参考記事はこちら>@IT
• 公平性: 異なるグループや個人に対して公平に機能することを確保するための概念です。性別、人種、年齢などの属性に関わらず、公平な結果を提供することを目指します
• フィット: モデルがトレーニングデータにどれだけ適合しているかを示す指標
  • オーバーフィット: モデルがトレーニングデータに過度に適合し、新しいデータに対する汎化性能が低下する状態、過学習。
  • アンダーフィット: モデルがデータの複雑性を十分に捉えられていない状態、学習不足。
• 大規模言語モデル(Large Language Model, LLM) :膨大な量のテキストデータから学習し、人間のような自然言語処理能力を持つAIモデル
• 説明可能性: AIが導き出した答えについて、「なぜその答えを出したのか」が説明できる能力の高さ

AI、ML、深層学習の類似点と相違点を説明する。

関係性は、人工知能＞機械学習＞深層学習＞生成AI

さまざまな種類の推論について説明する。

低レイテンシーの順番

1. リアルタイム推論: 入力データに対してリアルタイムで予測や分類を行う方法。低レイテンシー。
2. 非同期推論: 受信リクエストをキューに入れ、非同期的に処理する方法。システムの応答性、スケーラビリティ、信頼性◎
3. バッチ推論: 大量のデータを一括で処理する方法。コスト効率◎、リソース効率◎

AI モデルに含まれるさまざまなタイプのデータについて説明する。

• データのタイプ
  • ラベル付きデータ: 入力データに対応する正解や分類が付与されたデータです。教師あり学習で使用されます。
  • ラベルなしデータ: 正解や分類が付与されていないデータです。教師なし学習や半教師あり学習で活用されます。
• データの形式
  • 構造化データ: 表形式のデータ（例：データベース）
  • 非構造化データ: 形式が定まっていないデータ（例：テキスト、画像）
• データラベリングの重要性→参考：AIの精度を左右するデータラベリングとは？必要性や方法を解説
  • データラベリングとは、AIの精度を高める上で非常に重要となる「ラベル付け作業」のことです。
  • AIモデルの性能は学習データの質と量に大きく依存します。そのため、データラベリングは非常に重要なプロセスとなります。
  • データラベリングは以下のようなステップを含みます:
    1. データのアノテーション
    2. タグ付け
    3. 分類
    4. モデレーション
    5. 処理

教師あり学習、教師なし学習、強化学習について説明する。

• 教師あり学習(Supervised Learning): ラベル付きデータを使用して学習。正解データが学習の質に影響する。データの準備に手間と時間がかかる。
  • 回帰（Regression）：入力データに基づいて数値を予測するために使用
  • 分類（Classification）：入力データのカテゴリラベルを予測するために使用
  • トレーニングセット、検証セット、テストセット
    • トレーニングセット:モデルのトレーニングに使用。データセットの60-80%
    • 検証セット:（任意）モデルパラメータの調整とパフォーマンスの検証に使用。データセットの10-20%
    • テストセット：最終的なモデルパフォーマンスの評価に使用。データセットの10-20%
• 半教師あり学習(Semi-supervised Learning): ラベル付きデータとラベルなしデータを併用して学習する手法です。 教師あり学習と教師なし学習の両方のアプローチを組み合わせることで、より高い予測精度を達成できます。
• 教師なし学習(Unsupervised Learning): ラベルなしデータからパターンを見つける。事前に正解データを入手する必要がないため、より広い課題に対して使用できる。ただし、学習した結果が正しいとは限らない。
  • クラスタリング: データ間の類似度に基づいてデータをグループ分けしていく手法
  • GAN（Generative Adversarial Networks、敵対的生成ネットワーク）: データから特徴を学習することによって実在しないデータを生成したり、存在するデータの特徴に沿って変換したりする
    • 生成器（ジェネレーター）:入力データをもとにデータを生成。識別機を騙すデータを生成
    • 識別機（ディスクリミネーター）:生成器が生成したデータを本物と区別、真偽を判断
  • VAE（Variational Autoencoder、変分自己符号化器）:データの次元削除やデータ生成
    • エンコーダ: 低次元に変換、情報をコンパクトにする
    • デコーダ:元データに近いものに戻す
  • アソシエーション分析: データ間の関連を発見する手法
  • 主成分分析（PCA）: 多くの変数を持つデータを集約して主成分を作成する統計的分析手法
• 自己教師あり学習（Self-Supervised Learning, SSL）: ラベルを付与してないデータに対して疑似的なラベルを付与して擬似的な問題(Pretext task)を解くことによって学習する手法
• 強化学習(Reinforcement Lerning, RL): AIが処理した結果に対して「報酬（スコア）」を与え、報酬が最大になる処理方法を試行錯誤を通じて最適な行動を学習させる

タスクステートメント 1.2: AI の実用的なユースケースを特定する。

• AI/ML が価値を提供できる応用分野
  • 人間の意思決定支援
  • ソリューションのスケーラビリティ向上
  • プロセスの自動化
• AI/ML ソリューションが適切でない場合
  • 費用対効果が低い場合
  • 特定の結果が必要で予測では不十分な場合
• 特定のユースケース (回帰、分類、クラスタリングなど) に適した ML 手法
  • 回帰: 続的な数値を予測するためのタスク
    • 線形回帰
    • ランダムフォレスト回帰
    • サポートベクター回帰 (SVR)
  • 分類:データを予め定義されたカテゴリに分類するタスク
    • ロジスティック回帰
      • 二値分類に適している
      • 解釈しやすい
    • 決定木
      • 多クラス分類に適している
      • 可視化しやすい
    • サポートベクターマシン (SVM)
      • 高次元データに強い
      • マージン最大化により汎化性能が高い
  • クラスタリング: 類似したデータポイントをグループ化するタスク
    • k-means法
      • 単純で計算が速い
      • 球形のクラスタに適している
    • 階層的クラスタリング
      • クラスタ数を事前に決める必要がない
      • デンドログラム（樹形図）で結果を可視化できる
    • DBSCAN(密度準拠クラスタリング)
      • 密度ベースのアプローチ
      • 不規則な形状のクラスタを見つけられる
• 実際の AI 応用例
  • コンピュータビジョン: 画像認識、顔認識
  • NLP: 文書分類、感情分析、機械翻訳
  • 音声認識: 音声をテキストに変換
  • レコメンデーションシステム: 製品推奨
  • 不正検出: 異常取引の検出
  • 予測分析: 需要予測、故障予測

タスクステートメント 1.3: ML 開発ライフサイクルについて説明する。

MLパイプラインの主要構成要素

1. データ収集
2. 探索的データ分析（EDA）
3. データの前処理
4. 特徴量エンジニアリング
5. モデルトレーニング
6. ハイパーパラメータチューニング
7. モデル評価
8. モデルデプロイ
9. モニタリング

MLモデルのソース

• オープンソースの事前トレーニング済みモデル
• カスタムモデルのトレーニング

本番環境でのモデル使用方法

• マネージドAPIサービス
• セルフホストAPI

AWSのMLパイプライン関連サービス

• Amazon SageMaker Data Wrangler: データ準備
• Amazon SageMaker Feature Store: 特徴量管理
• Amazon SageMaker Model Monitor: モデルモニタリング

MLOps（Machine Learning Operations）の基本概念

機械学習の開発と運用を統合する新しい分野で、DevOpsの原則をMLシステムに適用して、効率的に高品質の機械学習モデルを実稼働環境にデプロイすることを目指します

１~６が開発段階に、7と8が運用段階

1. データ抽出
2. データ分析
3. データの準備（特徴量エンジニアリングなど）
4. モデルの訓練
5. モデルの評価
6. モデルの検証
7. モデルの提供
8. モデルのモニタリング

MLモデル評価指標

• モデルパフォーマンスメトリクス:
  • 正解率（accuracy）：正解したもの（TP+TN）の割合
    • (TP + TN) / (TP + FP + FN + TN)
  • F1スコア：予測精度の高さを知ることしるための値
    • 再現率（R)、適合率（P)とすると、2PR/(P+R)
  • ROC曲線下面積（AUC）：分類問題におけるROC曲線を作成した時に、グラフの曲線より下の部分の面積のことを言います。
    • AUCは0から1までの値をとり、値が1に近いほど判別能が高いことを示し、判別能がランダムであるとき、AUC = 0.5となります。
• ビジネスメトリクス: ユーザーあたりのコスト、開発コスト、顧客からのフィードバック、投資収益率（ROI）など

タスクステートメント 2.1: 生成 AI の基本概念を説明する。

生成AIの基礎概念

• トークン: テキストを小さな単位に分割したもの（単語や部分的な単語）
• チャンク化: 大きなテキストを管理可能な小さな部分に分割すること
• 埋め込み表現: テキストや他のデータを数値ベクトルに変換すること
• ベクター: データを表現する数値の配列
• プロンプトエンジニアリング: AIモデルに最適な指示を与えるための技術
• トランスフォーマーベースのLLM: 大規模言語モデルの一種で、自己注意（Self-Attention）機構を使用
• 基盤モデル: 大量の汎用データでトレーニングされた汎用AIモデル
• マルチモーダルモデル: テキスト、画像、音声など複数の種類のデータを処理できるモデル
• 拡散モデル: 画像生成に使用される生成モデルの一種
  • 前方拡散
    • 順方向拡散を使用して、入力画像に徐々に少量のノイズを導入し、ノイズだけが残るようにします
  • 逆拡散
    • ノイズの多い画像が徐々にノイズ除去され、新しい画像が生成されます

生成AIモデルの潜在的なユースケース

• テキスト生成: 記事作成、物語生成
• 画像生成: デザイン制作、アート創作
• 音声生成: テキスト読み上げ、音声合成
• 動画生成: アニメーション作成、動画編集
• 要約: 長文テキストの要約
• チャットボット: カスタマーサポート、対話型アシスタント
• 翻訳: 多言語翻訳
• コード生成: プログラミング支援
• 検索: セマンティック検索、質問応答システム
• レコメンデーションエンジン: パーソナライズされた推奨

基盤モデルのライフサイクル

1. データ選択: トレーニングに使用するデータの選定
2. モデル選択: 適切なアーキテクチャの選択
3. 事前トレーニング: 大規模なデータセットでの初期トレーニング
4. ファインチューニング: 特定のタスクや領域に適応させるための微調整
5. 評価: モデルの性能と品質の評価
6. デプロイ: 実際の環境への展開
7. フィードバック: ユーザーからのフィードバックの収集と分析

タスクステートメント 2.2: ビジネス上の問題解決に生成 AI を使用する場合の可能性と限界を理解する。

生成 AI のメリット

• 作業効率の向上
• 補完と拡張が可能
• 新たなアイデア・デザインの生成
• アクセシビリティの向上
• 言語の壁の克服

生成 AI のデメリット

• ハルシネーション: 事実でない情報を生成する可能性
• 解釈可能性の低さ: 決定プロセスが不透明
• 不正確さ: 常に正確な情報を生成するとは限らない
• 非決定性: 同じ入力に対して異なる出力を生成する可能性
• 虚偽の情報や不適切なコンテンツの生成
• 偏見・差別的なコンテンツの生成
• プライバシーの侵害
• 著作権等の知的財産権侵害
• その他業界への影響
• 質の低下

タスクステートメント 2.3: 生成 AI アプリケーションを構築するための AWS インフラストラクチャとテクノロジーについて説明する。

生成 AI アプリケーションを開発するための AWS のサービスと機能

AWSサービスはここで

AWS の生成 AI サービスを使用してアプリケーションを構築するメリット

• アクセシビリティと参入障壁の低さ:
  • AWSは豊富な生成AIサービスを提供しており、専門知識がなくても簡単に利用を開始できます。Amazon Bedrockなどのマネージドサービスにより、複雑なインフラ管理が不要になります。
• 効率性と費用対効果:
  • 従量課金制のため、必要な分だけ利用でき、初期投資を抑えられます。また、AWSのスケーラビリティにより、需要に応じて柔軟にリソースを調整できます。
• 市場投入までのスピード:
  • 事前トレーニング済みモデルやAPIを活用することで、開発期間を大幅に短縮できます。Amazon SageMakerなどのツールにより、モデルの開発からデプロイまでのプロセスが効率化されます。
• ビジネス目標の達成能力:
  • AWSの豊富なAIサービスを組み合わせることで、複雑なビジネス課題に対応できます。例えば、Amazon Comprehendを使用したテキスト分析と生成AIを組み合わせて、高度な顧客サポートシステムを構築できます。

生成 AI アプリケーションの AWS インフラストラクチャの利点

• セキュリティとコンプライアンス:
  • AWSは包括的なセキュリティ機能を提供し、データの暗号化やアクセス制御を容易に実装できます。また、様々な業界標準や規制に準拠したサービスを提供しています。
• 責任共有モデル:
  • AWSはインフラストラクチャのセキュリティを担当し、ユーザーはアプリケーションレベルのセキュリティに集中できます。これにより、セキュリティ管理の負担が軽減されます。
• 安全性:
  • AWSは高可用性と耐障害性を備えたインフラストラクチャを提供し、データのバックアップや災害復旧機能も充実しています。

AWS の生成 AI サービスの、コストに対するトレードオフ

• 応答性と可用性:
  • 高い応答性と可用性を求める場合、より高性能なインスタンスタイプを選択する必要があり、コストが増加
• 冗長性と高可用性:
  • AWS 生成 AI サービスは複数のアベイラビリティーゾーン、さらには複数の AWS リージョンにより高い冗長性と高可用性が得られるが、コストも増加
• パフォーマンス:
  • コンピューティング オプション (CPU、GPU、カスタム ハードウェア アクセラレータなど) を提供しています。GPU インスタンスなどの高性能オプション特定のワークロードではパフォーマンスが大幅に向上するが、コストも増加
• リージョン展開:
  • 複数のリージョンにデプロイすることでレイテンシーを低減できるが、データ転送コストやリソース管理の複雑さが増加
• トークンベースの価格設定:
  • トークン単位で課金されるため、出力量に比例してコストが増加
• プロビジョンスループット:
  • 高いスループットを確保するためにリソースを事前にプロビジョニングすると、安定したパフォーマンスが得られるが、コストも増加
• カスタムモデル:
  • 特定のユースケースに最適化されたカスタムモデルを開発すると、精度は向上するが、開発コストと運用コストが増加

タスクステートメント 3.1: 基盤モデルを使用するアプリケーションの設計上の考慮事項を説明する。

事前トレーニング済みモデルを選ぶための選択基準

• コスト: モデルの使用や微調整にかかる費用は？
• モダリティ (テキスト、画像、音声など): 画像、音声など、扱うデータの種類に適したモデルか？
• レイテンシー: リアルタイム性が求められる用途では、推論速度の速いモデルを
• 多言語対応: 言語が対応しているか？
• モデルサイズ: 大規模モデルは性能が高い反面、計算リソースを多く必要とする
• モデルの複雑さ: タスクの難易度に応じた適切なモデルか？
• カスタマイズ可能性: 特定のタスクに合わせて微調整できるか？
• 入力/出力の長さ制限: 扱うテキストの長さに十分なモデルか？

推論パラメータがモデルの応答に与える影響

• 推論パラメータ
  • Temperature:
    • この値が低ければ低いほど、最も確率が高い回答が常に選ばれる
    • 低い値: より確実で予測可能な出力
    • 高い値: より創造的でランダムな出力
    • 0～1の範囲
    • 一般的には0.7前後が適切
  • Top_p
    • 低い値: より確実な出力、選択肢が限定される
    • 高い値: より多様な出力、幅広い選択肢から選ぶ
    • 0.9前後が一般的
    • 例）0.1は、確率が上位10%のトークンだけを考慮することを意味
  • Top_k
    • 低い値: より予測可能な出力、選択肢が狭まる
    • 高い値: より多様な出力、幅広い選択肢から選ぶ
    • 50前後が一般的
    • 例）3 の場合は、最も確率が高い上位 3 つのトークンから次のトークン選択される
  • タスクの性質に応じて調整
    • 創造的なタスク: より高いTemperature、Top_p、Top_k
    • 事実に基づくタスク: より低い値を設定

検索拡張生成 (RAG) を定義し、ビジネスにおけるその活用方法を説明する

• RAG (Retrieval-Augmented Generation)
  • RAG を使用すると、エンタープライズ検索、データベース、API などの外部知識ソースからデータを取得して、それを元に大規模言語モデル (LLM) により質問への回答生成のようなテキスト生成を行うことができます。質問応答のために生成 AI を使用する場合、RAG の仕組みにより、質問のクエリと最も関連性の高い最新の情報で回答を行います。さらに、その回答が正しいかユーザーが検証できるよう、データソースを引用として表示することもできます。
• ユースケース
  • 社内問い合わせ対応
  • カスタマーサポート
  • コンテンツ作成
  • 分析

ベクターデータベースへの埋め込みの保存に役立つ AWS のサービス

• サポートされているベクトルストア
• Amazon OpenSearch Serverless
• Pinecone
  • 高次元のベクトルデータを扱うための、クラウドネイティブでスケーラブルなベクトルデータベース
  • Pinecone は AWS のソフトウェアパートナー
  • AWS Marketplace の Pinecone を Amazon Bedrock のナレッジベースとして利用する
• Amazon Aurora

基盤モデルをカスタマイズするためのさまざまなアプローチ

• 事前トレーニング: 最もコストがかかるが、特定のドメインに特化したモデルを作成可能
• ファインチューニング: 中程度のコストで、既存モデルを特定のタスクに適応させる
• 状況に応じた学習: 低コストで、プロンプトエンジニアリングを活用
• RAG: 外部知識を活用し、モデル自体は変更しないため低コスト

マルチステップのタスクにおけるエージェントの役割

• Agents for Amazon Bedrock
  • インフラストラクチャのプロビジョニング、アプリケーションのデプロイ、運用活動に関連する様々な多段階タスクを管理・実行
  • タスク調整：タスクを正しい順序で実行し、タスク間で情報が正しく受け渡されることを確認
  • エージェントは特定の事前定義されたアクショングループを実行するように設定される
  • 他のシステム、サービス、データベース、APIと統合してデータを交換またはアクションを開始
  • 必要に応じてRAGを活用して情報を取得

タスクステートメント 3.2: 効果的なプロンプトエンジニアリング手法を選択する。

こちらでまとめる

タスクステートメント 3.3: 基盤モデルのトレーニングとファインチューニングのプロセスを説明する。

基盤モデルのトレーニングの重要な要素

TODO

基盤モデルをファインチューニングするための方法

ファインチューニング＝微調整

• Amazon Bedrock - モデルの微調整
  • 基盤モデルのコピーを独自のデータで適応させる
  • 微調整により基本基盤モデルの重みが変更される
  • トレーニングデータは特定の形式に準拠し、Amazon S3に保存する必要がある
  • 微調整されたモデルを使用するには「プロビジョンドスループット」を使用する必要がある
  • すべてのモデルが微調整可能というわけではない
• 指示ベースの微調整
  • 事前トレーニングされたFMの特定のドメインタスクにおけるパフォーマンスを向上させる
  • 特定の分野や知識領域についてさらにトレーニングする
  • プロンプト-レスポンスのペアであるラベル付きの例を使用する
• ドメイン適応の微調整
• 継続的な事前トレーニング
  • ラベルなしデータを提供してFMのトレーニングを続ける
  • ドメイン適応微調整とも呼ばれ、モデルを特定のドメインのエキスパートにする
  • 例：AWSのドキュメント全体をモデルに与えてAWSのエキスパートにする
  • 業界固有の用語（頭字語など）をモデルに学習させるのに適している
  • より多くのデータが利用可能になるにつれてモデルのトレーニングを継続可能
• 転移学習（transfer learning）
  • 収集しやすい一般的なデータで汎用的に使える事前学習済みモデルを構築し、そこに収集した少量の学習データを用いて学習させるような手法
  • 学習済みモデルの重みは固定して、追加層のみを利用して学習
  • メリット
    • 既に優秀な事前学習済みモデルが多く存在
    • 少量の訓練データで、性能を発揮できる（汎化を改善可能）
    • 最小限の計算資源で、学習時間を短縮できる

基盤モデルをファインチューニングするためのデータの準備方法

TODO

タスクステートメント 3.4: 基盤モデルのパフォーマンスを評価する方法を説明する。

基盤モデルのパフォーマンスを評価する手法

• 自動評価：
  • 品質管理のためのモデル評価
  • 組み込みのタスクタイプ：テキスト要約、質問応答、テキスト分類、自由形式のテキスト生成など
  • 独自のプロンプトデータセットを持ち込むか、キュレーションされた組み込みのプロンプトデータセットを使用
  • スコアは自動的に計算される
  • モデルスコアは様々な統計的手法（BERTScore、F1など）を使用して計算される
• 人間による評価：
  • 評価を行う作業チームを選択（社員、主題専門家など）
  • 評価方法と評価方法を定義（親指を上げる/下げる、ランキングなど）
  • 組み込みのタスクタイプ（自動評価と同じ）またはカスタムタスクから選択

基盤モデルのパフォーマンスを評価するための関連メトリクス

• ROUGE（Recall-Oriented Understudy for Gisting Evaluation）：自動要約と機械翻訳システムの評価
• BLEU（Bilingual Evaluation Understudy）：生成されたテキストの品質評価、特に翻訳用
• BERTScore：生成されたテキスト間の意味的類似性
• Perplexity：モデルが次のトークンをどれだけ良く予測するか（低いほど良い）

基盤モデルがビジネス目標を効果的に満たしているかどうかを判断する

• ユーザー満足度：ユーザーのフィードバックを収集し、モデルの応答に対する満足度を評価
• ユーザーあたりの平均収益（ARPU）：Gen-AIアプリに起因するユーザーあたりの平均収益
• クロスドメインパフォーマンス：モデルのクロスドメインタスク実行能力を測定
• コンバージョン率：購入などの望ましい結果の推奨生成
• 効率性：計算、リソース利用などにおけるモデルの効率性を評価

タスクステートメント 4.1: 責任ある AI システムの開発について説明する。

責任ある AI

• 公平さ
  • さまざまなステークホルダーのグループへの影響を考慮する
• 説明可能性
  • システム出力を理解して評価する
• プライバシーとセキュリティ
  • データとモデルを適切に取得、使用、保護する
• 安全性
  • 有害なシステム出力と誤用を防ぐ
• 制御性
  • AI システムの動作をモニタリングおよび制御するメカニズムを備える
• 正確性と堅牢性
  • 予期しない入力や敵対的な入力があっても、正しいシステム出力を実現する
• ガバナンス
  • プロバイダーやデプロイヤーを含む AI サプライチェーンにベストプラクティスを組み込む
• 透明性
  • ステークホルダーが AI システムとの関わりについて十分な情報に基づいた選択を行えるようにする

責任ある AI の特徴を特定するためのツール

• Amazon Bedrockのガードレール: コンテンツフィルタリングと安全性確保
• SageMaker Clarify: バイアス検出ツール、データセットやモデル出力のバイアス分析
• SageMaker Model Monitor: 説明可能性ツール: モデルの決定プロセスの解釈を支援

モデルを選択する上での責任ある慣行

• 環境への配慮: エネルギー効率の高いモデルの選択
• 持続可能性: 長期的な影響を考慮したモデル開発
• 道徳的主体性: 倫理的な判断を行える能力の考慮

生成AIを使用する際の法的リスク

• 知的財産権侵害の申し立て: 著作権や特許侵害のリスク
• 偏ったモデル出力: 差別的な結果による法的問題
• 顧客の信頼喪失: プライバシー侵害やデータ誤用によるリスク
• エンドユーザーリスク: AIシステムの誤用や誤解による問題
• ハルシネーション: 事実でない情報生成によるリスク

データセットの特徴

• 包括性: 多様な群体を代表するデータ
• 多様性: 様々な視点や経験を含むデータ
• キュレートされたデータソース: 信頼性の高いソースからのデータ
• バランスの取れたデータセット: 偏りのない代表的なサンプル

バイアスと分散の影響

• 人口統計グループへの影響: 特定のグループに対する不公平な結果
• 不正確さ: モデルの予測精度の低下
• オーバーフィット: トレーニングデータに過度に適合し、汎化能力の低下
• アンダーフィット: モデルが複雑な関係性を十分に学習できていない状態

バイアス、信頼性、真実性を検出およびモニタリングするためのツール

• ラベル品質の分析: データセットのラベル付けの正確性評価
• 人間による監査: モデル出力の手動レビュー
• サブグループ分析: 特定のグループに対するモデルのパフォーマンス評価
• Amazon SageMaker Clarify: バイアス検出と説明可能性のためのツール
• SageMaker Model Monitor: モデルのパフォーマンスと品質の継続的監視
• Amazon Augmented AI (Amazon A2I): 人間によるレビューの統合

タスクステートメント 4.2: 透明性の高い説明可能なモデルの重要性を認識する。

TODO

タスクステートメント 5.1: AI システムを保護する方法を説明する。

AIシステムを保護するためのAWSのサービスと機能

• IAMロール: アクセス制御と権限管理
• ポリシー: リソースへのアクセスルールの定義
• アクセス許可: 細かな権限設定
• 暗号化: データの保護（保存時と転送時）
• Amazon Macie: 機密データの自動検出と保護
• AWS PrivateLink: プライベートネットワーク接続
• AWS 責任共有モデル: セキュリティ責任の明確化

ソース引用とデータ出典の文書化の概念

• データリネージ: データの起源と変遷の追跡
• データのカタログ化: メタデータの管理と検索可能化
• SageMaker Model Cards: モデルの詳細な文書化

安全なデータエンジニアリングのベストプラクティス

• データ品質の評価: 正確性、完全性、一貫性の確保
• プライバシー強化技術の実装: 匿名化、暗号化
• データアクセス制御: 必要最小限の権限付与
• データの完全性: 改ざん防止と検証メカニズム

AIシステムのセキュリティとプライバシーに関する考慮事項

• 参考：AWS Blog＞生成 AI をセキュアにする: データ、コンプライアンス、プライバシーに関する考慮点
  • スコープ 1 : コンシューマアプリケーション
    • 一般ユーザーまたは専門家でないユーザーを対象
    • 入力されたデータに何が起こるか、また誰がデータにアクセスできるかをコントロールできない→リスク（リスクの評価にはデューデリジェンスを奨励）と見なす→組織はアプリケーションの利用を禁止する
    • ただし、全面的な禁止は逆効果になる可能性がある。→シャドーIT
    • 組織がコントロールでき組織内で使用が許可されているデータの範囲内で従業員が効果的に使用できるものがどれかを検討する必要がある
    • 個人を特定できる情報（PII）、センシティブなデータ、機密データ、独自のデータ、または企業の知的財産（IP）データを使用しないことが最善の方法
  • スコープ 2 : エンタープライズアプリケーション
    • スコープ１との違いは、「契約条件を交渉し、正式な組織間（B2B）の関係を確立する機会が提供される」こと。
    • 独自のデータを意図的に使用し、組織全体でのサービスの広範な使用を奨励
    • リスク評価での考慮点
      • データ、プロンプト、出力をどのように処理および保存するのか、誰がどのような目的でアクセスできるのか
      • データの保存場所と、それが法的または規制上の義務と整合するか
      • データの使用が許可できるかどうか
      • API キーを保護し、その使用状況を監視するための強力なメカニズムが必要
  • スコープ 3 : 事前学習済みのモデル
    • Amazon Bedrock や Amazon SageMaker JumpStart などのサービスを通じて利用できる事前トレーニング済みの基盤モデルを使用して、独自の生成 AI アプリケーションを構築
    • AWSでは顧客データでトレーニングや改善を行わない、人間がそららをレビューしない、モデルプロバイダと共有しない。データはプライベートに保たれる
  • スコープ 4 : ファインチューニングされたモデル
    • スコープ 3 の拡張
    • ファインチューニングに使用されるソースデータの品質、その所有者、使用時に著作権やプライバシーの問題
    • 関連するデータ全体のデータ分類を継承する
    • チューニングに使用したデータだけ削除できない。再トレーニングが必要
  • スコープ 5 : 自身でトレーニングしたモデル
    • EULA を通じてデータがどのように使用、保存、および維持されるかをモデルユーザーに明確に伝える責任を負う
    • PII や機密性の高いデータでモデルを直接トレーニングすることは避ける
    • 規制およびコンプライアンス要件に従って、トレーニングデータとトレーニングされたモデルを管理および保護
    • 機密情報漏洩の潜在的なリスクを制限
• アプリケーションセキュリティ: 脆弱性対策と安全な開発手法
• 脅威検出: 異常検知と監視
• 脆弱性管理: 定期的な評価と修正
• インフラストラクチャ保護: ネットワークセキュリティと物理的セキュリティ
• プロンプトインジェクション（Prompt Injection）: 生成AIを意図的に誤作動を起こさせるような指令入力を与え、提供側が出力を禁止している情報（開発に関する情報、犯罪に使われうる情報等）を生成させる脆弱性
• プロンプトリーク（Prompt-Leaking）：プロンプトが保有する公開を意図していない情報を引き出し、機密情報を漏らすように指示できる脆弱性
• ジェイルブレイク（Jailbreak）: システムに設定されたポリシーを回避して、不適切なコンテンツ（攻撃的または有害）を解答できてしまう脆弱性
• 保管中および転送中の暗号化: データの機密性確保

タスクステートメント 5.2: AI システムのガバナンスとコンプライアンス規制を認識する。

AIシステムの規制コンプライアンス基準

• 国際標準化機構 (ISO): 品質管理システムの基準
• System and Organization Controls (SOC): サービス組織の内部統制
• アルゴリズム説明責任法: AIシステムの透明性と公平性に関する法律

ガバナンスと規制コンプライアンスを支援するAWSのサービスと機能

• AWS Config: リソース構成の評価と監査
• Amazon Inspector: 自動化されたセキュリティ評価
• AWS Audit Manager: 継続的な監査とコンプライアンス評価
• AWS Artifact: コンプライアンスレポートへのアクセス
• AWS CloudTrail: API活動の追跡と監査
• AWS Trusted Advisor: ベストプラクティスのチェックと推奨事項

データガバナンス戦略

• データライフサイクル: 生成から廃棄までの管理
• ログ記録: アクセスと変更の追跡
• レジデンシー: データの地理的位置の管理
• モニタリング: データ使用の継続的監視
• 観察: データ品質と整合性の確認
• 保持: データの適切な保存期間の設定

ガバナンスプロトコルに従うためのプロセス

• ポリシー: 組織全体のAI使用ガイドラインの策定
• レビューサイクル: 定期的なポリシーとプラクティスの見直し
• レビュー戦略: 技術的、倫理的、法的観点からの評価
• 生成AIセキュリティスコーピングマトリックス: リスク評価ツール
• 透明性基準: 決定プロセスの説明可能性確保
• チームトレーニング要件: AIエシックスと責任ある使用に関する教育

特徴量エンジニアリング

※「特徴量エンジニアリング手法の実装」は対象外
人工知能（AI）で使用される情報のほとんどは、データのテーブル（表）に含まれ、各行が観察で、列が特徴量となります。
こうしたデータは複雑な上に関連性がなく、欠落や重複も頻繁に見受けられます。

特徴量エンジニアリングは、問題の本質をより良く表現できるようにデータを変換するプロセスを提供します。そのために、データをカテゴリに分類して有限の結果をよりよく反映させたり、欠損値を適切な推定値に置き換えたりすることで、データをより利用しやすくします。

適切な特徴量エンジニアリングは、機械学習のアルゴリズムの予測能力を向上させます。

特徴量エンジニアリングは、次のようなステップから構成されます。

1. モデルの新しい特徴量について意見を出し合う
2. 特徴量を作成する
3. これらの特徴量がモデルでどの程度効率的に機能するかをテストする
4. 必要に応じて特徴量を調整、反復し、場合によっては振り出しに戻す
5. 特徴量をモデルとシームレスに連携させる

制約付きボルツマンマシン

ボルツマンマシン

ボルツマンマシンは、ニューラルネットワークの一種で、確率的に動作します。完全な答えではなく、可能性のある答えを多くだし、その中から最も良い答えを選ぶ。

制約付きボルツマンマシン　＝　ボルツマンマシンの改善

データの中の重要なパターンや特徴を見つけるために、人工ニューロン（ノード）の間の接続をランダムではなく特定のルールに基づいて制約し、データ処理をネットワークの入力部分と推定部分の2つに分けることで効率化。これにより、次元削除、データの分類、データを特徴付ける傾向の学習などに応用可能に。教師あり／なし学習が可能

内閣府ホームページ＞人間中心の AI 社会原則
総務省＞AI利活用ガイドライン