【openAI】ドキュメント処理における4と4.oの違い
結論
- 4ではドキュメントの読み取りを途中でやめてしまうという致命的な欠陥があるため、全て読み込む4.oを使うのが良い
- ドキュメントの要約や重要箇所の取り出しについては、4も4.oも合ってたり間違ってたりする。感覚的に4.oの方が求めている回答を返す確率が高いように思える
- pdfファイルの読み込みは、ページ数を認識できないのが致命的。この辺はlangchainを使って自己開発する価値がありそう
4.oを使うと絶対大丈夫というわけではありませんが、langchainを使った開発では4.oを使おうと思います
何をやりたかったか
- 私の本職は製造業のESG部門です（本名は違いますが、まあサステナブル関係をやっている部署と思ってもらえればOKです）
- ESG部門では、法規制や開示をチェックしたり、他社の統合報告書などをチェックして動向を把握する必要があります。
- 企業にもよりますが、統合報告書は100ページ以上に及ぶことも珍しくなく、読んで理解しまとめるのはなかなか大変です。
- 統合報告書などを理解しやすくするために、要点を教えてくれるアプリケーションが欲しい
- 一方で、わざわざアプリケーションを開発しなくてもchatGPTで解決できることもあり、本当にアプリケーションを開発する価値があるのか考えたい
- まずはchatGPTでどこまでできるかを観察し、アプリケーション開発では何が必要かを見極める
検証内容
今回題材にする書類は環境省が2024年03月29日にリリースした「ネイチャーポジティブ経済移行戦略の公表について」です。
ページ中ほどの、ネイチャーポジティブ経済移行戦略[PDF 1.4MB]をダウンロードして使います。
（内容は文字だらけの報告書です。）
いきなりopenai_api_keyを使って検証してしまうと請求額が高額になってしまう可能性があるので、まずはchatGPTで検証したいと思います。
検証1 ドキュメントの読み込みと解釈
章構成の解釈
このレポートには目次がありませんし、明確なインデックスもないので、章や節といった構成は自分で考える必要があります。
chatGPTにレポートをぶち込んで章構成を出力するよう命令しました。
勝手に英訳したり、途中で処理を止めたりと余計なことをされましたが、修正命令を何度か出し、最終的に以下の形で出力されました。
※4も4.oも似たような結果です
以下は、「ネイチャーポジティブ経済移行戦略 ～自然資本に立脚した企業価値の創造～」の各章と節の目次です。
### はじめに
1. 生物多様性COP15における採択
2. 2030年ミッションとG7の「ネイチャーポジティブ」
### １．ネイチャーポジティブ経営への移行の必要性 ～社会経済途絶リスクからの脱却と企業価値の創造～
1. 現状分析と移行の必要性
- 自然資本の重要性
- 自然資本の劣化状況
2. 企業による自然資本の保全への貢献と価値創造
### ２．ネイチャーポジティブ経営への移行に当たって押えておくべき要素 ～自然資本の保全を企業の価値向上に結びつけるために～
1. ネイチャーポジティブ経営と企業の価値創造プロセス
2. 価値創造プロセスの実現に当たって押えておくべき要素（行動指針）
### ３．ネイチャーポジティブ経済移行後の絵姿 ～自然資本に立脚した、GDPを超えた豊かな社会の礎に～
### ４．ネイチャーポジティブ経済への移行による効果 ～世界で生まれる年1,372兆円のビジネス機会～
### ５．ネイチャーポジティブ経済への移行に向けた課題と対応 ～関係省庁の施策によるバックアップ～
1. 政府による支援と施策の必要性
2. 具体的施策
- バイオエコノミーの推進
- 循環経済への移行
6章（23ページ）に「今後の取組 ～自然と共生する世界の実現に向けて～」がありますが、なぜか章として認識されませんでした。
それ以外については、章も節も適切に捉えられており、概ね満足できる内容です。
ページの認識
実はこの後の検証で気付いたのですが、「23ページの内容を要約して」と命令しても全然違うページの内容を要約して返すようなことがありました。
そこできちんとページを認識しているか確認しました。
ページを認識し、各ページの最初の1行の文字を全て返してください
gpt-4.o
1ページ目: ネイチャーポジティブ経済移行戦略 ～自然資本に立脚した企業価値の創造～
2ページ目: はじめに
3ページ目: ○ 生物多様性COP15にて採択された「昆明・モントリオール生物多様性枠組」では、2050
4ページ目: ○ 個々の企業がこうしたネイチャーポジティブ経営に移行するためには、自然資本が事
5ページ目: ○ ネイチャーポジティブ経済への移行に当たって企業が押えるべき要素
6ページ目: 【要素１】まずは足元の負荷の低減を
7ページ目: ＜コラム＞自然資本の保全の概念を経営に取り込むのに必要な評価指標に関する議論の経緯及び見通し
8ページ目: ３． ネイチャーポジティブ経済移行後の絵姿 ～自然資本に立脚した、GDPを超えた豊か
9ページ目: ＜コラム＞地方公共団体の目標設定と金融機関
10ページ目: ４． ネイチャーポジティブ経済への移行による効果 ～世界で生まれる年 1,372 兆円の
11ページ目: ５． ネイチャーポジティブ経済への移行に向けた課題と対応 ～関係省庁の施策による
12ページ目: （１） リスク・機会の認識、リスクの特定・対応
13ページ目: ＜具体的施策＞
14ページ目: （２） 機会の特定、創出
15ページ目: （食料・農林水産分野：食料・農林水産業の生産力向上と持続性の両立）
16ページ目: （地域・金融分野：ネイチャーポジティブに向けた取組を地域における課題解決やビジネ
17ページ目: （３） 開示・対話を通じた資金呼び込み、継続的な対話によるリスク・機会探索
18ページ目: ６． おわりに
19ページ目:
20ページ目:
21ページ目:
22ページ目:
23ページ目:
24ページ目:
25ページ目:
26ページ目:
27ページ目:
全部で27ページあると認識しているのは正解ですが、各ページの最初の1行は全然違います。
そもそもページ自体がずれています
つぎはgpt-4
1ページ目: ネイチャーポジティブ経済移行戦略 ～自然資本に立脚した企業価値の創造～
2ページ目: はじめに
3ページ目: 生物多様性COP15にて採択された「昆明・モントリオール生物多様性枠組」では、2050
4ページ目: 企業がネイチャーポジティブ経営を進める上での個別のプロセス（体制づくり、
5ページ目: 業活動にとってリスク・機会の両面でマテリアリティとして位置づけられ、自然資本
6ページ目: た各場所の自然資本は唯一無二であるため、ある場所における影響を他の場所の回復
7ページ目: ネイチャーポジティブ経済への移行に当たって企業が押えるべき要素
8ページ目: 企業の価値創造プロセスとビジネス機会の具体例
9ページ目: 自然資本に依存するとともに、その活用等により新たな価値創造の機会を得ることも
10ページ目: 自然資本の保全及び持続的利用に取り組むことが、事業や組織のレジリエンス・持続可能性向上を通じて
11ページ目: 自然資本の保全の概念を取り込んだ価値創造プロセスを現実のものとするためには、
12ページ目: 本戦略では、生物多様性国家戦略の基本戦略３の具体化であり、全体としてのネイチャーポジティブの実現に向けた
13ページ目: ネイチャーポジティブ経済への移行に向けた課題と対応
14ページ目: 国土利用・管理」、「健全な生態系の確保によりつながる国土利用・管理」等が掲げられている。
15ページ目: 自然資本への負荷の可視化・評価及び負荷低減の取組を進めていく必要がある。
16ページ目: また、自然資本への影響を考慮した企業活動と政策のあり方について、具体的な取組例とともに示す。
17ページ目: 自然資本への依存が高い業種や企業にとって、自然資本の持続可能な利用は経済活動の持続可能性をも左右する。
18ページ目: 自然資本の価値評価とその経済的な評価を進めることが、企業価値の向上に直接的に寄与することが期待される。
19ページ目: 自然資本の保全・活用に成功している企業事例を通じて、その効果や成果を具体的に示す。
20ページ目: 自然資本の保全が直面する問題点とそれに対する企業の取組みを紹介する。
21ページ目: 自然資本の持続可能な利用を目指す企業の取り組みを紹介し、その中での成功事例や学びを共有する。
22ページ目: 自然資本をテーマにしたセミナーやワークショップの開催情報と、その内容の概要。
23ページ目: 自然資本の価値創造に関する国際的な動向と、それに対する日本企業の取組み。
24ページ目: 自然資本へのアプローチが企業評価に与える影響と、それに基づく戦略的な取組み。
25ページ目: 自然資本の持続可能な管理と利用に向けての国際協力と国内での取組み事例。
26ページ目: 自然資本の保全と持続可能な利用を促進するための政策提案とその具体的な施策。
27ページ目: 自然資本の持続可能な利用を支援するための国際的なフォーラムや会議の報告。
多少マシにはなりましたが、3ページ目の最初の一行はこれじゃないですし、やはり途中からページと回答がずれています。
これらの検証よりpdfのページ認識は4も4.oも当てにできないことがわかりました。
※追記
chatGPTがpdfファイルを読み取る時は「myfiles_browser」を使っているようです。
Langchainの公式ドキュメントにあるPyPDFLoaderはページ数を認識できるようですが、myfiles_browserはページ数を認識できないようです。
なお、chatGPTにPyPDFLoaderを使ってと言ってもできないと返されました。
テキストの認識①
続いて、ちゃんと文章を認識しているかの検証です。
私は以前、英文で書かれたpdfドキュメントの文をコピペしてdeepLで翻訳させようとすると、改行をうまく認識せずに文を変なところで区切ってしまい、翻訳がめちゃくちゃになる経験をしたことがあります。
（なので、メモ帳に貼り付けて改行を消すというクソ面倒な一手間が必要でした）
今回のドキュメントも、そのままコピペすると改行や注釈が入ってしまうので適宜それらは抜く必要がありますし、コラムは入れないでもらいたいです。
gpt-4
○ 生物多様性COP15にて採択された「昆明・モントリオール生物多様性枠組」では、2050年のビジョンとして「自然と共生する世界」が、その中間目標である2030年ミッションとして「自然を回復軌道に乗せるために生物多様性の損失を止め反転させるための緊急行動をとる」ことが、それぞれ掲げられた。2030年ミッションは、2021年6月のG7で合意された「ネイチャーポジティブ（自然再興）」と同趣旨の概念である。
○ この新たな国際約束の達成のため、2023年3月に「生物多様性国家戦略 2023-2030」（以下「生物多様性国家戦略」という。）が閣議決定された。同戦略の中で、2030年ミッションを達成するための「5つの基本戦略」を掲げており、その基本戦略3に「ネイチャーポジティブ経済の実現」が位置付けられている。
○ この基本戦略3における重点施策として、ネイチャーポジティブ経済移行戦略が位置付けられており、2022年3月から、環境省で設置したネイチャーポジティブ経済研究会において議論を行ってきた。
○ 「ネイチャーポジティブ経済」とは、生物多様性国家戦略において定義されているように、自然を回復軌道に乗せるため、生物多様性の損失を止め、反転させることに資する経済活動のことである。
改行や注釈は抜いているのでそこは良いのですが、途中でやめてしまっています。
（もちろん省略や要約などの改変はしないでと命令していますし、何度やっても変わりませんでした）
gpt-4.o
○ 生物多様性COP15にて採択された「昆明・モントリオール生物多様性枠組」では、2050年のビジョンとして「自然と共生する世界」が、その中間目標である 2030 年ミッションとして「自然を回復軌道に乗せるために生物多様性の損失を止め反転させるための緊急行動をとる」ことが、それぞれ掲げられた。2030年ミッションは、2021年6月のG7で合意された「ネイチャーポジティブ（自然再興）」と同趣旨の概念である。
○ この新たな国際約束の達成のため、2023年3月に「生物多様性国家戦略 2023-2030」（以下「生物多様性国家戦略」という。）が閣議決定された。同戦略の中で、2030年ミッションを達成するための「5つの基本戦略」を掲げており、その基本戦略3に「ネイチャーポジティブ経済の実現」が位置付けられている。
○ この基本戦略3における重点施策として、ネイチャーポジティブ経済移行戦略が位置付けられており、2022年3月から、環境省で設置したネイチャーポジティブ経済研究会において議論を行ってきた。
○ 「ネイチャーポジティブ経済」とは、生物多様性国家戦略において定義されているように、自然を回復軌道に乗せるため、生物多様性の損失を止め、反転させることに資する経済である。個々の企業が自社の価値創造プロセスにおいて自然の保全の概念をマテリアリティ（重要課題）として位置づけ（ネイチャーポジティブ経営）、バリューチェーンにおける負荷の最小化と製品・サービスを通じた自然への貢献の最大化が図られ、また、そうした企業の取組を消費者や市場等が評価する社会へと変化することを通じ、自然への配慮や評価が組み込まれるとともに、行政や市民も含めた多様な主体による取組があいまって、資金の流れの変革等がなされた経済を意味する。
○ IIRC（国際統合報告フレームワーク）の価値創造フレームワークでも示されているように、企業は6つの資本を持つ。自然資本もこの中のひとつであり、企業の経営は自然資本に依存するとともに、その活用等により新たな価値創造の機会を得ることもできる。
○ 個々の企業がこうしたネイチャーポジティブ経営に移行するためには、自然資本が事業活動にとってリスク・機会の両面でマテリアリティとして位置づけられ、自然資本との適切な関わり方（リスクに向き合い、機会を捉える、等）が出来ているかを投資家、市場等から評価されるとの認識のもと、企業の価値創造プロセスの中に自然資本の保全の概念をマテリアリティとして位置づけることが必要である。
○ そのため、本戦略では以下の３点を示す。
① 企業の価値創造プロセスとビジネス機会の具体例
自然資本の保全及び持続的利用に取り組むことが、事業や組織のレジリエンス・持続可能性向上を通じて企業の価値創造に結びつくことを示す。また、リスクへの適切な対応や自然資本の保全や活用に資する技術を活用した新規事業開発等によりビジネス機会を得た事例を紹介するとともに、その推計市場規模を示す。
② ネイチャーポジティブ経営への移行に当たって企業が押えるべき要素
移行に当たって満たすべき要素を掲げることで、企業が取るべき行動の指針（何をゴールとし、何に留意して取り組むか、等）を示す。
③ 国の施策によるバックアップ
企業の価値創造プロセスへの自然資本の保全の概念の組み込みを関係省庁が連携して支援することについて、価値創造プロセスの各ステップにおける具体の施策例とともに示す。
○ なお、企業がネイチャーポジティブ経営を進める上での個別のプロセス（体制づくり、計画づくり等）については生物多様性民間参画ガイドライン（2023 年４月第３版発行）に記載しており、いわば本戦略は生物多様性国家戦略と当該ガイドラインを繋ぐものである。
注釈やコラムは抜いていますし、省略や要約などの改変もしておらず、バッチリ100点満点です。
テキストの認識②
次は26ページ目の表の部分の認識を書き出してもらいます。
ちなみに行結合した、Excel方眼紙信者が作ったような嫌な表です
gpt-4
なぜか途中で抽出をやめてしまいます。
次はgpt-4.o
スクショは一部ですが、最後まで書き出してくれました。
表の認識についても4.oに軍配が上がります。
本文の要約と重要箇所の抜き出し
これが本題です。
「はじめに」の箇所を要約してもらいます
gpt-4
「はじめに」の章の要約は以下の通りです：
生物多様性COP15で採択された「昆明・モントリオール生物多様性枠組」に基づく2050年のビジョンと2030年のミッションを設定。
2030年のミッションは、生物多様性の損失を止め、反転させるための緊急行動を促進する内容。
生物多様性国家戦略 2023-2030が閣議決定され、2030年ミッション達成のための基本戦略が提案されている。
「ネイチャーポジティブ経済」の概念が定義され、自然を回復軌道に乗せるための経済活動の方向性が示される。
単に文を短く言い換えただけで、要約にはなっていません。
では、重要箇所の抜き出しはどうでしょうか
○ 「ネイチャーポジティブ経済」とは、生物多様性国家戦略において定義されているように、自然を回復軌道に乗せるため、生物多様性の損失を止め、反転させることに資する経済である。・・・
確かにここの箇所は重要ですが、「はじめに」というタイトルからして、このドキュメントに何が書かれているかも重要な箇所でしょう。
これが取り出せなかった原因について、gpt-4が「はじめに」の章を途中で読み取るのをやめてしまっており、後半を読めていなかったためと思われます
次にgpt-4.o
gpt-4が「はじめに」を途中で読むのをやめているのに対し、gpt-4.oはきちんと全部読んでいました。
「はじめに」の章の要約は以下の通りです。
生物多様性COP15での「昆明・モントリオール生物多様性枠組」に基づく2050年ビジョンと2030年ミッション。
「生物多様性国家戦略 2023-2030」の中で「ネイチャーポジティブ経済の実現」が基本戦略として位置付けられた。
ネイチャーポジティブ経済は、生物多様性の損失を止め反転させる経済を指し、企業の価値創造プロセスにおける自然資本の保全が重要。
重要と考えた箇所については、以下の通り回答されました。
生物多様性COP15と2050年ビジョン:
国際的な目標とそれに基づく国内戦略が戦略全体の基盤を形成するため重要です。
生物多様性国家戦略 2023-2030:
国内政策の具体的な方向性を示し、戦略実現の枠組みを提供するため重要です。
ネイチャーポジティブ経済の定義:
戦略の核心概念を明確にし、企業や行政が目指すべき経済活動を具体化するため重要です。
企業の価値創造プロセス:
自然資本の保全と経済活動を結びつけ、実践的な取り組みを示すため重要です。
私の感覚とも合っており、概ね納得できる内容です。
まとめ
今回の検証は、質問の仕方を変えたり時間を変えたりしており、これが全てではありません
（AIの性質上、同じ質問を投げ掛けても違う回答を返されることがよくあります）
あくまで感覚ですが、4.oのほうが求めている回答を返してくれる確率が高く、内容を適切に把握できている印象を受けました。
一方でpdfファイルの読み込みではページ数を認識できなかったり、章の構成を組み立てられない問題が残っており、ディスカッションしたい時には問題となりそうです。
アプリケーションの開発では、この辺を解決できるように組んでいきたいと考えます。
Discussion