AI Audit
昨今の生成AIの隆盛によりインターネット上の情報を収集するクローラーの動きが活発になってきました。企業にとってすべてのクローラが望ましいものではありません。時として生成AIの学習データに自社ウェブサイトのデータを学習されたくないケースも存在します。
このような要望を受け先日CloudflareではAIndependenceという生成AIのクローラーを自動でブロックしたり制御する機能をリリースしました。
私も以下の日本語ブログ記事で少し解説をさせて頂きました。
AI Audit
この機能をさらに拡張させ、より簡単に生成AI等のクローラーをブロックする管理者画面がリリースされました。それはAI Auditです。この画面から、クローラー単位でブロックを行うかどうかの制御などを簡単に行うことが可能になります。
このようにクローラーがデータを活発に収集していることがわかります。
ダッシュボードを特定のカテゴリでドリルダウンすることも可能となっています。
一括でこれらをブロックする場合Block Allをクリックします。
個別に制御したい場合はBlock someをクリックします。
現在まだベータ版なのでWAFのカスタムルール作成画面に飛ぶのみで自動でルールを作成してくれる機能はありません。これは今後のバージョンアップに期待ですね。
WAF のボット削除ルール設定
カスタムルールでルールを作成のボタンをクリックします。
検証済ボットのカテゴリを選択します。
合致する条件を設定します。
現在Cloudflareで検証しているボットの一覧はこちらになります。
上限に合致した際の挙動を選択します。
最後に展開をクリックします。
これで検証済ボットを制御することが可能です。現在は一覧に含まれているボットを一括で制御する設定のみが存在しており、個別のボット単位の除外設定は、個別ボットのヘッダーなどを調べて制御していくことになります。
Discussion