第11回コミック工学研究会発表会 参加レポート

株式会社ウェイブの渡邉です！
社内のメンバーからコミック工学研究会という面白い取り組みがあると聞いてリモートで参加してきました！

コミック工学研究会とは

本委員会設置の目的は，コミックを中心としたモダンカルチャーコンテンツを工学的に利用するための学術的知見の蓄積と，コンテンツを介して分野を跨る異分野コミュニティ間の意見交流と連携の促進である．

コミック工学研究会 – Special Interest Group on Comic Computing

開催情報

• 日時：2024年7月14日（日）
• 会場：ハイブリッド開催（公立はこだて未来大学 講堂 + zoom）

予稿一覧

1. 創造的な感情を持つ AI の実現に向けた一検討
   迎山 和司（公立はこだて未来大学），佐藤 直行（公立はこだて未来大学），村井 源（公立はこだて未来大学）
2. 深度推定に基づく通常パースイラストから誇張パースイラストへの変換
   鈴木雄真(立命館大学)，仲田晋(立命館大学)
3. ComicFaves：ユーザ感性に基づく推し作品整理システム
   今泉 港大（関西大学大学院 総合情報学研究科 総合情報学専攻），山西 良典（関西大学 総合情報学部），松下 光範（関西大学 総合情報学部）
4. 「キメゴマ」の分類と物語上の役割に関する試行的調査
   村井源(はこだて未来大学)，坂本珠凜(はこだて未来大学)，金刺智哉(はこだて未来大学)，富田真生(はこだて未来大学)，保土沢朋和(はこだて未来大学)，佐藤直行(はこだて未来大学)，迎山和司(はこだて未来大学)
5. ダークファンタジーとファンタジーにおける被害描写の比較
   金刺 智哉（はこだて未来大学），村井 源（はこだて未来大学）
6. 物語における背景史の機能と描写手法の分析
   坂本珠凜（公立はこだて未来大学），村井源（公立はこだて未来大学）
7. 長編作品における主人公の目的の連続性
   入舩真誠(公立はこだて未来大学)，村井源(公立はこだて未来大学)

気になった発表

1. 創造的な感情を持つ AI の実現に向けた一検討

内容メモ

• 感情を持つAIによる面白いマンガ作成の検討
• 作品は感情喚起装置
• 人間は言葉より先に感情が来る、AIは言葉から感情を推測する
• AIが感情を持つことができれば面白さを生み出せるのではないか
• 仮説：芸術作品の面白さは作者の意図と鑑賞者の感情が一致した場合にうまれる
• 心電計による計測をするため、読者体験の順序と時間を固定化できるアニメを対象に実験する
• 実験
  • カットやセリフごとに作者の意図をタグ分類する
  • 心拍変動計測と分析
    • 動画を見て心拍計測と、そのあとに感情のアンケートを行う
    • 心拍とアンケート結果の相関をとる
    • 5感情は10秒、悲しみは30秒反映されるまでに時間がかかる
  • 作者の意図と鑑賞者の感情が一致するカットをキメゴマとする
• マンガの生成
  • 動画をカット分解し、絵コンテなどをもとにマンガ化

感想

• 読書体験を定量化して計測するためにアニメを使う発想が面白かった
• 物語の展開を考えるときには感情曲線というものがあったりするがAIが「感情」を持ち、感情曲線も考慮しながら展開を考えられるようになれば、より読者の心を揺さぶるような作品ができあがるのかも知れないなぁと思いワクワクしました

3. ComicFaves：ユーザ感性に基づく推し作品整理システム

内容メモ

• 実験
  • 32名を対象
  • ジャンル（バトル、ラブコメ、ギャグ）と感性評価（胸が締め付けられる、手に汗握る、心温まる）の6種類のテーマ
  • 各テーマの本棚で5作品をランク付けして登録する
• 結果
  • 感性評価の方が選出される作品の種類が多かった。ジャンルだと選出される作品が被っていた
  • 感性評価の方がユーザーの個性や感性を強く反映している
  • ユーザー間で同じ作品を選択していても、作品の並びにより、嗜好や感性の違いが把握できた
• 展望
  • 作品間共起ネットワークの構築
  • 本棚に対するいいね機能
  • 検索システム

感想

• 音楽アプリにあるプレイリストに近いのかなと感じました
  • プレイリストもユーザーの感性によってテーマが決まって選曲され、プレイリスト自体にいいねできる
• 感性評価による本棚作成で、選ばれるマンガの多様性が上がったのが興味深かった
• マンガの推薦システムをつくるときに考えるのが、どれだけセレンディピティを生み出せるか。ジャンルで固定されないユーザーの感性的な評価による本棚は、思いがけない作品との出会いを生み出せそうでいいなと思いました

4. 「キメゴマ」の分類と物語上の役割に関する試行的調査

内容メモ

• 現状の物語自動生成
  • 大規模言語モデルを用いた物語自動生成→エッセンスは入っているが手塚らしさ、ブラックジャックらしさは無い
  • ただ、構造分析系は物語展開は妥当なものを生成可能。その一方、コストが高い。
  • そこで、物語の全体の枠組みを構造分析+表現をGPTで
  • データの構造化とパターン抽出
    • シーン単位に物語を分割→物語機能をアノテーション→物語機能をベクトル化し因子分析
  • 物語は17個程度の因子の組み合わせでそれらしい展開が作れる
  • 実は物語の基本的な展開は神話から変わっていない。現代になるほど組み合わせが複雑に。新しいのは組み合わせだけ
  • クリエイターの評価として「らしさ」は評価された。ただ、あくまであらすじレベル。台詞・地の文等細かい表現で見ればまだ不十分

感想

• 物語自動生成の部分がとても興味深かった
• ブラックジャックの新作が一部AIで作成されていたのを知らなかったので、すでに実用されていることに驚いた
• マンガの物語づくりでAIの支援が受けられるととても便利そう

6. 物語における背景史の機能と描写手法の分析

内容メモ

• 背景史: 登場人物が持つ本編より過去の時系列の物語のこと
• 顕在背景史: 物語本編で言及される背景史。今回とりあつかう
• 潜在背景史: 物語本編で言及されない背景史
• 目的
  • 背景史の機能と描写手法の類型化及び物語との関係性の解明
  • より人間らしい物語自動生成の実現
  • 企業の商品や人物の経歴の執筆サポートシステムの活用
  • 背景史の開示による感情生起メカニズムの解明

感想

• 背景史という捉え方でマンガを見たことなかったので、視点が新鮮だった
• キャラの深みを増すためにも背景史の開示は重要だが、それだけだと物語が進んでいかない。開示の塩梅や、背景史の効果的な使い方がわかると、より魅力的な物語自動生成ができそうだなと期待できました

最後に

マンガを工学的に研究するというのはとても新鮮で面白かったです。AIによる物語生成、ユーザーの感性に基づく本棚整理システム、キャラクターの背景史の分析など、多岐にわたる研究が行われていて、マンガ制作の未来に大きな影響を与える可能性があるなと感じました。発表前に好きな漫画を紹介してから始めていたり朗らかな雰囲気でした。スクラップボックス上でリアルタイムでコメントが付いていて、そっちもかなり盛り上がっていました。議論が活発でとても楽しく参加させていただきました！