執筆日
2025/5/22
参考資料
Azure AI Content Safetyとは？
Azure AI Content Safetyは、アプリやサービス内のユーザー生成コンテンツやAI生成コンテンツを分析し、不適切な表現や有害な内容（性的、暴力、ヘイト、自傷行為など）を検出するAIサービスです。テキストや画像のモデレーションAPIを提供し、法令遵守やコミュニティガイドラインの維持を支援します。
ブロックリストとは？
ブロックリストは、Azure AI Content Safetyで特定のキーワードやフレーズを指定し、それらを含むコンテンツを検出・フィルタリングするカスタムリストです。ユースケースに応じた独自の用語を登録でき、標準のAI分類器では検出しにくい表現にも対応可能です。
やってみる
ブロックリストを作成する
- 左タブのGuardrails + Controlsをクリックする
- ブロックリストをクリックする
-
+ブロックリストの作成をクリックする
- Name(リストの名前),Connection(接続するAOAI) を入力/選択する
-
Create Blocklistをクリックする
- 作成されたリストをクリックする
-
新しい用語の追加をクリックする
-
Term,Typeを入力/選択する
Term:用語
Type：Exact match(全文一致),Regex(部分一致) -
Add Termをクリックする
コンテンツフィルターを作成する
-
+コンテンツフィルターを作成をクリックする
- 入力フィルターでブロックリストを有効にする
- 先ほど作成したブロックリストを選択する
※ほかのパラメーターはそのままで
パラメーターの詳細は以下の記事で紹介
プレイグラウンドで試す
おーできて(⌒∇⌒)
まとめ
ブロックリストを検証しました。入力および出力の両方で特定の用語や表現をフィルタリングできるため、ユーザー体験の質を向上させ、リスクを低減できるなと。プロンプトだけでは制御が難しいユースケース特有の言葉にも対応可能で、柔軟なコンテンツモデレーションが実現するなと。
Discussion