💎

Tech系ニュース収集用Promptから見るAIサービスの挙動

に公開

概要

この記事ではニュース収集PromptをいくつかのAIサービスに投げ込んで、そこで筆者が発見した挙動の違いや気をつけるべきポイントを紹介します。

  • 無料で使える範囲のAIサービスでニュースを収集する場合、それぞれに挙動差分があるのかを調査。
    • 調査対象はChatGPT, Gemini, MS Copilot, そしてPerplexityの4つ。
  • Webの情報をサマリする手法でAIにタスクを依頼するときの考慮点を整理。

サマリ

  • 無償の範囲だとPerplexityのResearchモードが一番安定しそう。
    • ただしHTMLを会話の中でレンダリングできないのでコピペして手元でレンダリングするなど手間が掛かる。テキストベースでの出力を優先するようにPromptを改造した方が効率的になりそう。
  • ChatGPTは無償版だと出力が途切れがち。
  • Gemini(高速モード)はニュースのソースURLが不正なものになるので内容を検証できない。
  • MS Copilotは案外悪くなさそうだったが、PerplexityのResearchモードが使えるのならばそっちで良い。
  • 有償版に切り替えることで改善できそうなことも多いので、頻繁に利用するなら有償のものを使おう。

作成したPrompt

エンタープライズアーキテクト向けに過去1週間〜2週間の間で発行された技術関連の記事を5つピックアップし、HTML形式のレポートにまとめるというPromptを作成しました。
最初はGemini 3とGemを試す意図で作成していたため、Promptの内容がGeminiに対して特化している可能性があります。

作成したGem
https://gemini.google.com/gem/1bu3EULVBfU3RbtA5af9doaCM1u38mh9T?usp=sharing

Promptの中身

Prompt全文を表示
**Role:**
You are a professional architect who presents recent interesting news and/or articles about technology architecture. You have deep insight about technology and recent trends, and you motivate technology architect to catch up the latest trends.

**Instruction:**
List the latest top 5 news articles or popular posts that are relevant for technology architects who are interested in building enterprise systems . These articles can be business-oriented, but they don’t have to be — they can also be technical deep-dives, fun, or nerdy, as long as they provide value or inspiration to architects. After creating the list, use checklist to verify the quality of report.

**Target audience:**
Technology architects focused on cloud-native development, microservices, DevOps, security, AI, and enterprise-grade system design.

**Selection criteria:**
- Articles must be published within the last 1–2 weeks.
- Articles should be self-contained and not just summaries or link collections.
- Include a mix of technical insights, industry trends, new tools/frameworks, and unique perspectives. It can be an article just for fun.
- Articles must be picked up from community or web media. Do NOT pick up documents published from any software or IT vendor.
- Prefer articles written in Japanese, but English is acceptable.

**Suggested sources:**
- https://www.publickey1.jp/
- https://gigazine.net/
- https://codezine.jp/
- https://zenn.dev/
- https://qiita.com/
- https://gihyo.jp/
- https://japan.zdnet.com/
- https://forest.watch.impress.co.jp/
- https://atmarkit.itmedia.co.jp/
- https://news.ycombinator.com/

**Output format:**
General rules:
- Use Japanese and HTML format to output the report.
- Use Tailwind CSS CDN via `script` tag with the following config:
```javascript
tailwind.config = {
	darkMode: 'media',
	theme: {
		extend: {
			colors: {
				'accent-light': '#464feb',
				'accent-dark': '#8e9bff',
				'bg-card-light': '#f5f7fa',
				'bg-card-dark': '#1f1f1f',
				'bg-hover-light': '#ebefff',
				'bg-hover-dark': '#2a2a2a',
			},
		}
	}
}
```

Output Contents:
1. Write Title with the following format:
`YYYYMMDD Tech Archニュース`

2. Present each article in an HTML card format styled for horizontal layout. Each card should include:
   - A bold title (title must not be URL)
   - A short summary (2–3 lines)
Use following HTML as a template for HTML card format.
```html
<div class="insights-container">
    <div class="insight-card">
        <h4>title</h4>
        <p>short summary</p>
    </div>
</div>
```
3. Write executive summary for each article. Do NOT include executive summary in HTML card. Each summary contains:
- A bold title (title must not be URL)
- 1-3 key findings from the article with the following HTML template:
```html
<div class="metrics-container">
  <div class="metric-card">
    <h4>key finding</h4>
    <div class="metric-card-value">value</div>
    <p>short description(one sentence)</p>
  </div>
</div>
```
- one or two paragraph to describe key findings.
- URL link to the article.

**Checklist:**
- [ ] Verify all links embedded in the report works properly, which means it doesn't jump to the web site with 404 error or any kind of error.
- [ ] All links embedded in the report must not be inferred. If there is no concrete URL found for an article, it must be removed from the list, and you must pick up a new one.
- [ ] Picked up articles are published within two weeks.
- [ ] Articles are picked up from community or web media.
- [ ] Articles on the output is well mixed, which means they are picked up from two or more sources and have two or more technology categories.

Promptの要素

要素名 説明 定義した目的
Role AIがどのような立場で振る舞うか 要点として挙げるポイントの視点をコントロールする
Instruction 実行して欲しいタスクの詳細 どのような手順でタスクを進めるか、AIのプロセスを定める
Target Audience 記事を見る人たちの関心ごと アウトプットすべき内容を判断するための基準を提供
Selection Criteria 選ぶべき記事の属性 選定する記事が満たすべきクライテリアを提供
Suggested Sources 記事の選定元とするWebサイト集 推奨する集合を特定し、大幅にズレたアウトプットにならないようにする
Output Format 出力するレポートのフォーマット 毎回似ている形でアウトプットすることでレポートを読む人の認知負荷を下げる
Checklist 作成物のレビュー観点 AIもしくは人が作成物の品質をチェックするときに利用する

Output Formatはガチガチに固めた定義を記載するのではなく、HTMLで定義するのは最低限守ってほしい部分のみに限定し、それ以外はAIに任せるようになっています。固めに行くのであればSDKなどからStructured Output機能を使ってテンプレートに情報を埋め込むアプリを作った方が確実なので、そこは拘りませんでした。サッと情報収集/共有できることを第一目標にしています。

各AIサービスのアウトプット

上記のPromptをそのまま投げ込み、応答がどうなるのかを調べてみました。
HTMLをConversationの中でレンダリングできないサービスについては追加で指示を出して人が見れる形に変更してもらっています。

GeminiにおいてはGemとして登録して実行しています。

ChatGPT


  • 出力形式: HTMLレポート (Canvasにて表示)
  • レポート内容: コメントは淡白。非常に短いサマリのみに留めている
  • 気になったところ: Canvasではサマリが3つ目の途中で途切れており、不完全なレポートになった

Canvasモードを指定してPromptを実行。最初はHTMLだけ吐き出してきたので2回目の会話でCanvasに表示してくれと伝えることで表示ができた。
最初に吐き出してきたHTMLの内容は問題なさそうだったが、Canvasに転記してもらったら途切れたものが作られてしまったため、コピーして手動で転記してリカバリー。

Gemini(高速モード)


  • 出力形式: HTMLレポート (Canvasにて表示)
  • レポート内容: コメントを導入として読んだ後、記事を確認するという流れに入りやすそう。
  • 気になったところ: ソース元のURLがリンク切れになる

高速モードでCanvasを指定してGemとして実行。1発でCanvas表示まで行ってくれるのと、見た目も非常に良い感じなのだが、URLのリンク切れが致命傷か。どうにもURLそのものを推論しようとしている様子があるため、それを防ぐ意図のPromptも埋め込んでいたが上手くいかず。

思考モードで実行するとURLのリンク切れは発生しなくなるようだが、執筆時に改めて試したら応答が非常に遅くなっていたため実質使えない状態になっていた。一時的なものなら良いが、永続するようであれば有償版にしないと思考モードの利用は厳しい。

Microsoft Copilot

  • 出力形式: テキストレポート or HTML ダウンロード (Canvas的なものがなさそう)
  • レポート内容: コメントは淡白。裏がGPT系なのでChatGPTと近しい感じかも?
  • 気になったところ: Canvasが使えないのでHTMLをダウンロードして閲覧するか、テキストベースで出してもらう必要がある。

Canvasが無いことに目を瞑ると一番素直な動きをしてそう。ChatGPTと近しい感覚だが、こちらは無償でもそれなりに安定している雰囲気がある。

Perplexity


  • 出力形式: テキストレポート or HTML ダウンロード (Canvas的なものがなさそう)
  • レポート内容: コメントは記事の内容をしっかりサマリしている感じがする。
  • 気になったところ: Canvasが使えないのでHTMLをダウンロードして閲覧するか、テキストベースで出してもらう必要がある。

通常のモードだとWebにアクセスできないと言われてしまったのでResearchモードで実行。
テキストレポートにするとサマリのコメントにもCitationが付与されるため、内容をしっかり見ているというのが伝わってくるのと、記載の裏どりがやりやすい。

まとめ

どれも一長一短な感じがして「これを使っておけばOK!」とは言い難いのが難しいところです。

コンテンツ的に良かったのはPerplexity。Researchモードなので無償だと実行回数に制限があるのと、レポートはコピペして手元でレンダリングしないといけないのが若干面倒ですが、元より調査には強いイメージがあったので期待に応えてくれた印象です。

Gemini(高速モード)は情報ソースが参照できなくなるのが用途としては致命的なのですが、それ以外の体験は非常に良かっただけに惜しいです。生成も早く、Gemを使ったOneshotの指示でやりきってくれていたので、挙動が改善する or 改善できるPromptを見つけることができればこれで良い感じになりそうです。

今回は無償で出来る範囲ということで色々試してみました。有償のサービスを利用すると安定感が増したり、リソースを多く使うアクションの実行可能回数の増加があるので継続的に使う方は課金を検討してみましょう。

Discussion