👏

【Amazon Bedrock】Embedding/Rerankモデルの有効化

に公開
AWS
Bedrock
reranker
tech

本手順書は ”JAWS-UG 名古屋「Dify × Amazon Nova × ベクター検索 ハンズオン」”のBedrock起動パートの手順書となります

また、本イベントは以下となります
https://jawsug-nagoya.connpass.com/event/348603/

AWSマネージメントコンソールにログインしリージョンをオレゴンに変更

※他のパートでも「オレゴンリージョン」で作業を実施します

1）モデルアクセスの有効化

EmbeddingモデルのTitan Text Embeddings V2とリランクモデルのRerank 1.0を使用できるようにアクセスを付与します

1.1）マネコンでBedrockを開きます

1.2）モデルアクセスを選択

1.3）Titan Text Embeddings V2とRerank 1.0にアクセス付与するので「リクエスト可能」をクリックし「モデルアクセス」を選択

1.4）Titan Text Embeddings V2とRerank 1.0のチェックボックスを選択し下部の「次へ」を選択

1.5）「送信」を選択すると画面が遷移し「アクセスが付与されました」に変わります

2）対象モデルがアクセス付与されたかの動作確認

モデルアクセスの付与はしましたが、本当に動くのかのテストをCloudShellから実施します

2.1）右上のターミナルアイコンをクリックし「CloudShell」を開く

2.2) 「Titan Text Embeddings V2」の動作確認

CloudShellに以下のコマンドを貼り付け

aws bedrock-runtime invoke-model \
    --model-id amazon.titan-embed-text-v2:0 \
    --body '{"inputText": "これはテストです。"}' \
    --cli-binary-format raw-in-base64-out \
    --output json /dev/stdout

正常な返り値（一部省略）

65523631870747,-0.014310576021671295,-0.036387015134096146,-0.03366537019610405,0.010383747518062592,0.05032246559858322,-0.005570988170802593,-0.01184084452688694,-0.006608564872294664,0.032526031136512756,0.02294640615582466,0.03157425299286842,-0.0026697644498199224,-0.026342473924160004,-0.008715643547475338,-0.04222438111901283,-0.04067300260066986,0.005299622192978859,-0.013249055482447147,-0.008284649811685085,-0.007502477150410414,-0.04202185198664665,0.009402040392160416,0.028166214004158974,-0.00980110839009285,0.013536384329199791,-0.009421993978321552,-0.020911158993840218,-0.01629793457686901,0.00697570713236928,-0.012363124638795853,-0.02483798749744892,-0.05425328388810158,0.023824354633688927,-0.009582088328897953,-0.010184213519096375,0.011253715492784977,-0.027328170835971832,-0.0203202273696661,0.01575619913637638,-0.006129683461040258,0.022698983550071716,-0.014109545387327671,0.00915461778640747,-0.008256715722382069,0.04360615089535713,0.015232422389090061,-0.02510935440659523,0.0011193855898454785,-0.004988349042832851,0.014601895585656166,0.014286631718277931,0.022240055724978447,0.00539539847522974,-0.004114390350878239,0.02024870738387108,0.014128999784588814,0.02790282852947712,-0.023991962894797325,0.0017080106772482395,0.008284649811685085,-0.02009706012904644,0.007574309129267931,-0.042045798152685165,-0.003080804366618395,0.009253387339413166,0.01067905779927969,-0.031084397807717323,0.03194937855005264,-0.023727580904960632,-0.0461961030960083,-0.0013727936893701553,-0.029092051088809967,-0.0030369069427251816,-0.0211346372961998,0.0024243376683443785,0.002330556744709611,0.013157269917428493,-0.03158922120928764,0.008560007438063622,0.050086017698049545,-0.024933764711022377,0.059772394597530365,0.009314245544373989,-5.906205042265356E-4,-0.007538393139839172,0.01020715944468975,0.027767395600676537,-0.00818089209496975,0.04917315021157265,0.003942790906876326,0.21453891694545746,-0.02123839594423771,0.031191149726510048,-0.02160753309726715,-0.018676379695534706,-0.020025229081511497,0.013360794633626938,-0.01733550988137722,-0.0023225753102451563,0.0152124697342515,-0.02388022467494011,0.008316575549542904,-0.03654664009809494,-0.029666708782315254,0.002220812952145934,0.01204387005418539,0.029040172696113586,0.015651443973183632,-0.015228431671857834,-0.015356133691966534,0.039268285036087036,-0.05376243218779564,0.017886225134134293,-0.01837707869708538,0.037001579999923706,-0.01293778233230114,-0.010431635193526745,0.004333877470344305,0.021549668163061142,-0.006991670001298189,0.0166171882301569,-0.01866839826107025,-0.012706322595477104,0.05134407803416252,-0.02502155862748623,0.07162471115589142,0.04970690235495567,0.017187856137752533,0.02323373407125473,0.02371261641383171,0.014158929698169231,-0.009569648653268814,0.0107508897{8137207,-0.02401590719819069,-0.00949382595717907,0.05204244703054428,0.021230414509773254,0.07497688382863998,0.01160888560116291]},"inputTextTokenCount":2}
    "contentType": "application/json"
}

2.3) 「Rerank 1.0」の動作確認

ここでは以下の通り Index0にEC2、Index1にS3、Index2にLambdaに関する文章を設定し、ストレージに関するクエリーを投げます
期待する結果は Index1（S3) となります

それでは以下を貼り付け実行してください

aws bedrock-runtime invoke-model \
    --model-id amazon.rerank-v1:0 \
    --body '{
        "documents": [
            {"text": "AWSのEC2はクラウド上の仮想サーバーサービスです。"},
            {"text": "AWSのS3は拡張性の高いオブジェクトストレージサービスです。"},
            {"text": "AWSのLambdaはサーバーレスコンピューティングサービスです。"}
        ],
        "query": "AWSのストレージサービスについて教えてください"
    }' \
    --cli-binary-format raw-in-base64-out \
    --output json /dev/stdout

返り値（E表記：指数表記）

{"results":[{"index":1,"relevance_score":0.1576549093940152},{"index":0,"relevance_score":1.609308249869283E-4},{"index":2,"relevance_score":2.5867431081354405E-5}]}
    "contentType": "application/json"
}

返り値はE表記になっていますが、一番高いスコアのリザルトはIndex1（S3）の0.1576となっています
期待通りのIndex1（S3）の結果が出力されました

index 1（S3に関する文） が最もスコアが高く（0.1576）
index 0（EC2） が次点（0.00016）
index 2（Lambda） が最下位（0.000025）

上記の通り、意味的に妥当なランク付けが行われているので、正常にリランクされたことが分かります

本ハンズオンでのAmazon Nova、Rerank 1.0の料金

0円です！

AmazonのLLMモデルならクレジット内で利用できます（今回はNova、Titan、Rerank1.0）
※参考までに3rdパーティLLM（Claudeなど）はマーケットプレイス経由なのでクレジット外となります（実費課金）
https://repost.aws/questions/QULMmXNMRwRvGSYm6OGt6e3Q/aws-credits-for-bedrock

次は亀田さんパートへ

https://zenn.dev/kameoncloud/articles/f7b89792c95c36

Discussion