NTT DATA TECH
📚

同じ記事でもこんなに違う? -人手 vs AI の要約比較と考察-

に公開

この記事は「ビギナーズ Advent Calendar 2025」の11日目の記事です。

はじめに

生成AIの進化により、記事の要約や情報整理をAIに任せる機会が増えてきました。
しかしその一方で、「人が読んでまとめた内容と比べてどのような差が生まれるのか」といった疑問を、私自身感じるようになりました。

そこで本記事では、同じ記事を「人手」と「AI」でそれぞれ要約し、その特徴や違いを分析することにしました。AIを活用する際の判断材料として、本記事の内容を参考にしていただければ幸いです。

実施内容

本記事では、1つの記事を対象に人手とAIで要約を作成し、それらを「内容比較」と「アンケート評価」の2つの観点から評価しました。以降の章では、まず両者の要約内容を提示し、その後に評価結果と考察を順にまとめていきます。

今回対象とした記事はこちらです。
Gigazine「一見無害な画像の中に文字列を埋め込んでAIを攻撃する恐るべき手法が発見される」(2025年8月25日)

この記事について、私自身が作成した要約とAIが作成した要約を比較します。今回使用したAIはChatGPT EnterpriseのGPT-5.1です。また、要約を指示したプロンプトは以下のとおりです。
普段の記事の要約時には特にプロンプト設計等は気にせずに投げているため、今回もその方針のもと指示してみました。

下記のページの内容について、要約してほしいです。
https://gigazine.net/news/20250825-weaponizing-image-scaling-ai-systems/ 

文字数としては500~600字程度でお願いします。
まとめ方としては簡単な章立てをするなど、読みやすいように工夫してください。

※500~600字程度という基準は、私自身が人手で要約した際の分量に近い長さを目安にしました。

要約結果

以下の2つが人手(私)とAIによる要約です。

人手(私)による要約

<プロンプトインジェクション攻撃とは>
画像やテキストに文字列を埋め込み、被害者がそれらのコンテンツをLLMに読み込ませてしまうと、そのLLMによって攻撃者から悪意のある動作を実行させられてしまう攻撃。
<実際の攻撃例>
・間接プロンプトインジェクション攻撃
様々なアプリやシステムに統合されているLLMに対して、悪意のあるプロンプトを挿入する攻撃。
ユーザーがそのLLMを用いてリンクしているサービスに関連した質問をすると、間接的にプロンプトインジェクションが発生してしまう。
・ ビジュアルプロンプトインジェクション攻撃
画像の中にLLMに対する指示を埋め込む攻撃。
この手法によってモデルに本来の指示やガイドラインを無視させたり、意図しない動作をさせる。
AIエージェントを日常的に使うユーザーの目に留まる場所に画像を投稿しておくことで、無差別的に攻撃を仕掛けることも可能となっている。
・ 画像スケーリング攻撃
AIシステムへ入力される画像に縮小すると浮かび上がるような際された文字列を埋め込む攻撃。
間接プロンプトインジェクション攻撃とビジュアルプロンプトインジェクション攻撃を組み合わせたような手法。通常の解像度ではいたって普通の画像に見えるが、画像の解像度が下がることで背景の文字列が浮かびあがってくる。

AIによる要約

■攻撃の基本概念
・一見普通の画像に、人間には識別できない"隠し文字列(プロンプト)"を埋め込む手法。
・AIが画像を解析する前に行う「ダウンスケーリング(縮小処理)」で、隠された文字列が浮かび上がるよう設計されている。
■AIの弱点を突く仕組み
・多くのマルチモーダルAIは、高解像度画像をそのまま扱わず、自動で縮小してから解析する。
・この処理で補間アルゴリズム(最近傍・双線形・双三次など)が働くため、
攻撃者は"縮小後に意味のある文字が現れる画像"を生成できる。
■確認された攻撃事例
・Google Gemini CLIやVertex AIに攻撃用画像を読み込ませると、ユーザーが意図していない操作(例:カレンダー情報のメール送信)が実行された。
・画像をアップロードするだけでプロンプト injection が発生しうることが実証された。
■攻撃拡大の懸念(Anamorpher の存在)
・隠し文字列を埋め込む攻撃画像を自動生成できるオープンソースツール「Anamorpher」が公開。
・専門知識がなくても攻撃に利用できるため、脅威が容易に拡散するリスクが高い。
■推奨される対策
・画像のダウンスケーリング処理を避ける、または解像度・サイズに制限を設ける。
・AIが実際に処理した画像のプレビューをユーザーに提示する。
・外部サービスと連携する操作は、必ずユーザーの明示的な確認を必要とする設計に変更する。

各要約の特徴と違いの分析

皆さんは上記2つの要約を見てどのように感じたでしょうか?
ここからは、実際に人手とAIの要約を比較した結果をまとめます。

内容比較

AIの要約は、記事全体の幅広い内容をバランスよく拾っているという特徴が見られました。
一方で私は、記事の中でも「攻撃手法の定義や具体例」が記事として最も伝えたい内容であると捉え、その部分に重点を置いた要約を作成しました。このまとめ方の違いによって、同じ記事の要約でも受ける印象が大きく異なることが分かり、個人的にも興味深い結果となりました。
こうした結果をふまえると、以下のような示唆が得られます。

  • 概略をつかむ目的ではAIの要約は非常に有用である
  • 特定の要点を詳細に押さえたい場合は原文を自分の目で確認する、またはプロンプトを工夫してAIに焦点を絞らせる必要がある

アンケート評価

こちらではアンケート評価の結果についてまとめます。
今回のアンケートは、同じ部署のメンバに対して行いました。また、アンケート内容としては2つの要約を提示し、「どちらの方がよりわかりやすいか」という観点で、評価してもらいました。

アンケート結果(計12票)

  • 人手での要約:10票
  • AIでの要約:1票
  • どちらとも言えない:1票

アンケート結果では人手による要約のほうが高く評価されました。
また、提示の際にどちらがAIの要約か明示していなかったにもかかわらず、「■による構造化」や「""による強調」など、AI独特の表現であることを見抜けたという声もありました。これらの結果から、AIによる要約を活用・流用する際には、誤った内容が含まれていないかを確認することはもちろん、人にとって読みやすい文章となっているか、さらにはまとめ方や強調表現がAI特有の不自然なものとなっていないかを人の目で確認することも重要であると感じました。

まとめ

今回は、1つの記事に対して人手とAIそれぞれで要約を行い、その結果を比較しました。
今回の比較を通して、冒頭の疑問に対する自身の見解は以下のとおりです。

人は記事の背景や目的をとらえながら内容をまとめようとするが、AIは基本的には記事の全体像がつかめるような要約を作成する。

実際に並べて比較してみると想像していた以上に違いがあり、改めて原文に目を通して内容を確認することの重要性を実感しました。私自身も普段からAIで要約を行っていますが、今回のように「自分の要約」と「AIの要約」をきちんと比較してみる機会はこれまでありませんでした。しかし今回試してみたことで、多くの気づきを得ることができました。
皆さんも機会があれば、自分で要約したものとAIで要約したものを比較してみると、新たな発見があるかもしれません。

NTT DATA TECH
NTT DATA TECH
設定によりコメント欄が無効化されています