<h1 id="%E3%81%AF%E3%81%98%E3%82%81%E3%81%AB">
<a class="header-anchor-link" href="#%E3%81%AF%E3%81%98%E3%82%81%E3%81%AB" aria-hidden="true"></a> はじめに</h1>
<p>Azure OpenAI Service の<a href="https://learn.microsoft.com/ja-jp/azure/cognitive-services/openai/concepts/content-filter#configurability-preview" target="_blank" rel="nofollow noopener noreferrer">設定可能なコンテンツフィルター</a>のプレビューが開始しましたので情報をまとめました。Microsoft Build 2023 のタイミングで "Configurable Content Filters" として発表された機能です。</p>
<ul>
<li><a href="https://techcommunity.microsoft.com/t5/ai-cognitive-services-blog/generative-ai-for-developers-exploring-new-tools-and-apis-in/ba-p/3817003" target="_blank" rel="nofollow noopener noreferrer">Generative AI for Developers: Exploring New Tools and APIs in Azure OpenAI Service</a></li>
</ul>
<blockquote>
<p>Configurable Content Filters<br>
Configurable content filters allow customers to specify a list of banned or allowed words, phrases, and entities. These filters are applied to all text prompts and completions and help ensure that the output is appropriate for their intended audience. The feature is fully customizable, with customers able to specify their own filters or use the default filters provided by OpenAI.</p>
</blockquote>
<h1 id="%E6%97%A2%E5%AE%9A%E3%81%AE%E3%82%B3%E3%83%B3%E3%83%86%E3%83%B3%E3%83%84%E3%83%95%E3%82%A3%E3%83%AB%E3%82%BF%E3%83%BC">
<a class="header-anchor-link" href="#%E6%97%A2%E5%AE%9A%E3%81%AE%E3%82%B3%E3%83%B3%E3%83%86%E3%83%B3%E3%83%84%E3%83%95%E3%82%A3%E3%83%AB%E3%82%BF%E3%83%BC" aria-hidden="true"></a> 既定のコンテンツフィルター</h1>
<p>既定のコンテンツフィルターの挙動に関しては Microsoft Build 2023 の以下のセッションの中で説明されています。</p>
<ul>
<li><a href="https://build.microsoft.com/en-US/sessions/27c0f55d-9c02-4003-bfb3-7e077a12fea2" target="_blank" rel="nofollow noopener noreferrer">Breakout: Getting started with generative AI using Azure OpenAI Service (Session code: BRK214H)</a></li>
</ul>
<p>このセッションによると、以下のステップでモデルへの入力 (Prompt) と出力 (Completion) の両方に対してフィルタリングが行われているそうです。</p>
<ol>
<li>有害コンテンツを 4 つのカテゴリー (ヘイト、性的、暴力、自傷) に分類</li>
<li>各カテゴリーの重大度スコアを 0 ～ 6 で評価</li>
<li>重大度スコアに基づいて 3 段階に分類してフィルタリング</li>
</ol>
<ul>
<li>高リスク: ブロック</li>
<li>中リスク: ブロック</li>
<li>低リスク: 許可</li>
</ul>
<p><img src="https://storage.googleapis.com/zenn-user-upload/e305d2367012-20230610.png" alt loading="lazy" class="md-img"></p>
<h4 id="%E6%A8%A1%E5%BC%8F%E5%9B%B3">
<a class="header-anchor-link" href="#%E6%A8%A1%E5%BC%8F%E5%9B%B3" aria-hidden="true"></a> 模式図</h4>
<p><img src="https://storage.googleapis.com/zenn-user-upload/9120d9e237d6-20230611.png" alt loading="lazy" class="md-img"></p>
<h1 id="%E8%A8%AD%E5%AE%9A%E5%8F%AF%E8%83%BD%E3%81%AA%E3%82%B3%E3%83%B3%E3%83%86%E3%83%B3%E3%83%84%E3%83%95%E3%82%A3%E3%83%AB%E3%82%BF%E3%83%BC">
<a class="header-anchor-link" href="#%E8%A8%AD%E5%AE%9A%E5%8F%AF%E8%83%BD%E3%81%AA%E3%82%B3%E3%83%B3%E3%83%86%E3%83%B3%E3%83%84%E3%83%95%E3%82%A3%E3%83%AB%E3%82%BF%E3%83%BC" aria-hidden="true"></a> 設定可能なコンテンツフィルター</h1>
<h2 id="%E4%BD%95%E3%81%8C%E5%A4%89%E3%82%8F%E3%82%8B%EF%BC%9F">
<a class="header-anchor-link" href="#%E4%BD%95%E3%81%8C%E5%A4%89%E3%82%8F%E3%82%8B%EF%BC%9F" aria-hidden="true"></a> 何が変わる？</h2>
<p>設定可能なコンテンツフィルターを使うと、前述の 4 つのカテゴリー (ヘイト、性的、暴力、自傷)、3 段階の分類 (高・中・低リスク) ごとに許可・ブロックをするかどうかユーザーが設定できるようになります。</p>
<h4 id="%E6%A8%A1%E5%BC%8F%E5%9B%B3-1">
<a class="header-anchor-link" href="#%E6%A8%A1%E5%BC%8F%E5%9B%B3-1" aria-hidden="true"></a> 模式図</h4>
<p><img src="https://storage.googleapis.com/zenn-user-upload/7408481fd995-20230611.png" alt loading="lazy" class="md-img"></p>
<h2 id="%E8%A8%AD%E5%AE%9A%E6%96%B9%E6%B3%95">
<a class="header-anchor-link" href="#%E8%A8%AD%E5%AE%9A%E6%96%B9%E6%B3%95" aria-hidden="true"></a> 設定方法</h2>
<h3 id="1.-%E3%82%AB%E3%82%B9%E3%82%BF%E3%83%A0%E3%82%B3%E3%83%B3%E3%83%86%E3%83%B3%E3%83%84%E3%83%95%E3%82%A3%E3%83%AB%E3%82%BF%E3%83%BC%E3%81%AE%E4%BD%9C%E6%88%90">
<a class="header-anchor-link" href="#1.-%E3%82%AB%E3%82%B9%E3%82%BF%E3%83%A0%E3%82%B3%E3%83%B3%E3%83%86%E3%83%B3%E3%83%84%E3%83%95%E3%82%A3%E3%83%AB%E3%82%BF%E3%83%BC%E3%81%AE%E4%BD%9C%E6%88%90" aria-hidden="true"></a> 1. カスタムコンテンツフィルターの作成</h3>
<p>Azure OpenAI Studio の <code>Content filters (Preview)</code> タブから、カスタムコンテンツフィルターを作成します。<br>
<img src="https://storage.googleapis.com/zenn-user-upload/a5b79d51d168-20230611.png" alt loading="lazy" class="md-img"></p>
<p>以下の例では、入力 (Prompt) に対して暴力および自傷カテゴリーの低リスクに分類されるコンテンツをブロックするように設定しています。つまり、既定よりフィルタリングを厳しくしています。<br>
<img src="https://storage.googleapis.com/zenn-user-upload/d616fcce5c42-20230611.png" alt loading="lazy" class="md-img"><br>
※ クリックすると許可・ブロックが切り替わります。</p>
<p>なお、<strong>フィルタリングを既定より緩くする (各カテゴリーの高・中リスクを許可する) ためには<a href="https://customervoice.microsoft.com/Pages/ResponsePage.aspx?id=v4j5cvGGr0GRqy180BHbR7en2Ais5pxKtso_Pz4b1_xURE01NDY1OUhBRzQ3MkQxMUhZSE1ZUlJKTiQlQCN0PWcu" target="_blank" rel="nofollow noopener noreferrer">追加で申請</a>が必要</strong>になります。</p>
<h4 id="%E5%8F%82%E8%80%83">
<a class="header-anchor-link" href="#%E5%8F%82%E8%80%83" aria-hidden="true"></a> 参考</h4>
<ul>
<li>
<a href="https://learn.microsoft.com/ja-jp/azure/cognitive-services/openai/how-to/content-filters#configuring-content-filters-via-azure-ai-studio-preview" target="_blank" rel="nofollow noopener noreferrer">Azure OpenAI Service でコンテンツ フィルターを構成する方法</a>
<ul>
<li>Step 1-5</li>
</ul>
</li>
</ul>
<h3 id="2.-%E3%82%AB%E3%82%B9%E3%82%BF%E3%83%A0%E3%82%B3%E3%83%B3%E3%83%86%E3%83%B3%E3%83%84%E3%83%95%E3%82%A3%E3%83%AB%E3%82%BF%E3%83%BC%E3%81%AE%E9%81%A9%E7%94%A8">
<a class="header-anchor-link" href="#2.-%E3%82%AB%E3%82%B9%E3%82%BF%E3%83%A0%E3%82%B3%E3%83%B3%E3%83%86%E3%83%B3%E3%83%84%E3%83%95%E3%82%A3%E3%83%AB%E3%82%BF%E3%83%BC%E3%81%AE%E9%81%A9%E7%94%A8" aria-hidden="true"></a> 2. カスタムコンテンツフィルターの適用</h3>
<p>作成したコンテンツフィルターはモデルのデプロイ単位で適用することができます。</p>
<h4 id="%E6%96%B0%E8%A6%8F%E3%83%87%E3%83%97%E3%83%AD%E3%82%A4%E3%81%AB%E9%81%A9%E7%94%A8">
<a class="header-anchor-link" href="#%E6%96%B0%E8%A6%8F%E3%83%87%E3%83%97%E3%83%AD%E3%82%A4%E3%81%AB%E9%81%A9%E7%94%A8" aria-hidden="true"></a> 新規デプロイに適用</h4>
<p><img src="https://storage.googleapis.com/zenn-user-upload/4777e7869dea-20230611.png" alt loading="lazy" class="md-img"></p>
<h4 id="%E6%97%A2%E5%AD%98%E3%83%87%E3%83%97%E3%83%AD%E3%82%A4%E3%81%AB%E9%81%A9%E7%94%A8">
<a class="header-anchor-link" href="#%E6%97%A2%E5%AD%98%E3%83%87%E3%83%97%E3%83%AD%E3%82%A4%E3%81%AB%E9%81%A9%E7%94%A8" aria-hidden="true"></a> 既存デプロイに適用</h4>
<p><img src="https://storage.googleapis.com/zenn-user-upload/fbca75f382ef-20230611.png" alt loading="lazy" class="md-img"></p>
<h4 id="%E5%8F%82%E8%80%83-1">
<a class="header-anchor-link" href="#%E5%8F%82%E8%80%83-1" aria-hidden="true"></a> 参考</h4>
<ul>
<li>
<a href="https://learn.microsoft.com/ja-jp/azure/cognitive-services/openai/how-to/content-filters#configuring-content-filters-via-azure-ai-studio-preview" target="_blank" rel="nofollow noopener noreferrer">Azure OpenAI Service でコンテンツ フィルターを構成する方法</a>
<ul>
<li>Step 6-9</li>
</ul>
</li>
</ul>
<h1 id="%E3%81%8A%E3%82%8F%E3%82%8A%E3%81%AB">
<a class="header-anchor-link" href="#%E3%81%8A%E3%82%8F%E3%82%8A%E3%81%AB" aria-hidden="true"></a> おわりに</h1>
<p>これまではモデルへの入出力が既定のコンテンツフィルターにかかってしまう場合に為す術がありませんでしたが、設定可能なコンテンツフィルターの登場により対処方法の選択肢を得ることができました。<br>
既定よりフィルタリングを緩くする場合は不適切な入出力を許可してしまうリスクとトレードオフになりますが、良く考えて活用していきたいです。</p>
<p>以上です。🍵</p>


Azure OpenAI Service の設定可能なコンテンツフィルター

1. カスタムコンテンツフィルターの作成

2. カスタムコンテンツフィルターの適用

設定可能なコンテンツフィルター

Discussion