😊

AI生成アニメを見抜けるか？ アニメ画像に特化した改ざん検知

に公開
画像認識
論文紹介
生成 AI
tech

今回の記事では、「アニメ画像の改ざん検知」に関する、東京大学・NIIの論文について簡単にまとめました。

https://arxiv.org/abs/2504.11015

本編

一言でいうと

AIによる画像生成や編集が急速に進化しています。
著作権問題などの社会的議論も活発化しており、このような改ざんへの対処はますます重要な課題となっています。
画像の改ざん検知タスクにおいては、従来技術では実写画像をターゲットとしていましたが、本論文はアニメ画像をターゲットとします。

  • 数百万枚の画像とアノテーションからなる、アニメ画像改ざん検知用の大規模なデータセットを構築しました。
  • 実写画像とアニメ画像の間には明確なギャップが存在することを明らかにして、従来技術を単純にアニメ画像に適用してもうまくいかないことを示しました。
  • アニメ特有の視覚的特徴を考慮した新たな手法も提案しています。

課題

画像が生成AI等によって改ざんされたものかどうか、画像のどの部分が改ざんされたかを判定する画像改ざん検知・位置特定 (IMDL: image manipulation detection and localization) については、過去いくつもの研究例やデータセットが提案されています。
しかし、アニメ・イラスト系の画像に対する研究例はあまりなく、実写系のデータセットと傾向は同じなのか、手法はそのまま適用できるのかなどは明らかになっていません。

そこでアニメ特化の生成画像データセットを作り、アニメ画像と実写画像とのギャップを分析して新たな手法を考えます。

データセット

画像改ざん検知・位置特定の検証のために、下記4種類のデータを整備します。

  • リアル画像
    Danbooru (アニメ・イラスト特化の画像プラットフォーム) から画像を収集
  • テスト用生成画像
    Civitai (AI生成画像の共有プラットフォーム) から画像を収集
  • 部分生成画像
    リアル画像の一部を生成によって置き換えた画像 (詳細後述)
  • 全体生成画像
    テキストから生成した画像 (詳細後述)

リアル画像から部分生成画像・全体生成画像の生成には、Stable Diffusion、Stable Diffusion XL、FLUXの3種類の画像生成技術を使用します。

画像を部分的に生成する場合、例えば特定のキャラクターや商品を変更するなど、物体ごとに変更することが多いと想定されます。
そこで、下記のような流れで部分生成画像を作ります。

  • リアル画像の内容を説明するキャプションテキストを生成
  • リアル画像のセグメンテーションマスクを生成
  • 特定の物体領域をインペインティング (修復) するように生成する

全体生成画像については、画像のキャプションテキストをインプットとして、一から画像を生成します。

手法

アニメ画像は、自然な実写画像とは異なる独特の特徴を持つと考えられます。本論文では、以下2つの特徴に着目します。

まず、中～高周波帯におけるエッジ情報（特に線輪郭）の重要性です。
アニメ画像は一般に線がシャープで明瞭に描かれており、さらに画像全体で線の傾向が一貫していると考えられます。
そのため、線の太さ・色・描画スタイルの不整合は、改ざんを検知する有効な手掛かりとなり得ます。

次にアニメの画像は、明確な輪郭をもつ少数のキャラクターや物体で構成されることが多く、キャラクターや背景といった要素ごとの形や関係性から不自然な改ざんを見抜くことができると考えられます。

上記のアイディアをもとに、下記の流れで処理を行います。

  • 離散ウェーブレット変換（DWT）、離散コサイン変換（DCT）により 、画像の高周波成分（線や細部）と低周波成分（物体や構図）を算出
  • 高周波成分+元画像は、高周波情報の捕捉に最適化されたConvNeXtベースのネットワークに入力
  • 低周波成分+元画像は、物体レベルの改ざんを検知するために意味特徴を抽出するSegFormerベースのネットワークに入力
  • 両ネットワーク出力を統合してデコードし、改ざん領域を表す予測マスク・改ざん有無の二値分類予測を取得

この流れによって、局所的なテクスチャ情報と大域的な意味情報の両方から改ざん情報を抽出します。

結果

アニメ画像に対する改ざん領域の特定タスク (Pixel-level / Loc.) と、改ざん有無の検知タスク (Image-level / Det.) の2種類のタスクで評価します。

ドメインギャップについて
Protocol-CATおよびGREという実写画像データセットで学習した場合、多くの従来モデルで領域特定精度が0.1未満と非常に低い精度となりました。
従来の実写画像データセットで学習されたモデルが、アニメ画像の改ざん検知に一般化できないことを示唆しています。

一方でアニメ画像で学習を行うと、すべてのモデルで大幅な精度向上を示しています。
これらの結果から、実写画像とアニメ画像の間には明確なドメインギャップが存在し、特に領域特定タスクでは顕著に現れています。

また、提案手法であるAniXploreはすべての評価指標で最も高い精度を達成しており、手法の有効性を示しています。

汎化性能

どのモデルにおいてもクロスデータセットでの精度が低く、特に改ざん領域の特定タスク (Loc.) では顕著に現れています。
これは、領域特定では領域に残る生成痕の検出が重要であり、生成モデルごとに生成痕の傾向が大きく異なることが要因と考えられます。
従って、対象ドメインでの学習が精度を改善することを示唆しています。

まとめ

昨今の生成AIの発展により、極めてリアルな改ざん画像が容易に生成できるようになっており、改ざん検知の需要は高まっています。
これは実写に限らずアニメ画像でも同様で、商業市場やファンコミュニティでも広く利用されており、改ざんへの対処は重要なトピックです。

本論文では対象ドメインの学習に対する重要性が実験的に示されており、実用上いかにドメイン画像を収集するかがポイントになるかと思います。

論文には手法の構成要素ごとの精度評価などのより詳細な実験も記載されているので、興味がある方はぜひご覧ください。

Discussion