Zenn
📘

ChatGPTをうまく使いたい人のためのLLM＆プロンプト入門ガイド

に公開
ChatGPT で書いた
プロンプトエンジニアリング
生成 AI
tech

※本記事はChatGPTによって作成されています。内容には自動生成による情報が含まれており、正確性・網羅性を保証するものではありません。

1. はじめに

前回の記事では、生成AIの技術基盤としてTransformerと自己注意機構の構造を中心に解説しました。これにより、生成AIがどのようにして自然言語を扱い、高度な文章生成を可能にしているのかの基礎的理解を得ることができたと思います。

本記事では、そうした基盤技術の上に構築されている大規模言語モデル（LLM: Large Language Model）の特徴と、その活用に不可欠な技術である「Prompt Engineering（プロンプト設計）」について解説します。LLMは自然言語の理解・生成能力を持つ強力なモデルであり、その性能を引き出すには適切なプロンプト設計が不可欠です。

この記事を通じて、LLMがどのように動作しているのかを理解し、目的に応じたプロンプトを設計・改善するための基礎を身につけることを目指します。

2. LLM（大規模言語モデル）とは

LLM（Large Language Model）は、大量のテキストデータを学習することで、自然言語の理解と生成を可能にする大規模なニューラルネットワークモデルです。これらは数十億〜数千億のパラメータを持ち、非常に柔軟かつ高性能な自然言語処理を実現します。

GPT（Generative Pre-trained Transformer）シリーズをはじめ、BERT、Claude、LLaMAなど、さまざまなLLMが存在し、それぞれ特性や応用範囲が異なります。これらはすべてTransformerアーキテクチャを基盤としており、自然言語の文脈を効率よく捉える能力を備えています。

自己回帰型とマスク型

LLM（大規模言語モデル）は、そのアーキテクチャの設計思想に応じて、主に「自己回帰型」と「マスク型」に分類されます。

自己回帰型（Autoregressive）

過去のトークン列を条件に、次に来るトークンを1つずつ逐次的に予測します。GPTシリーズ（GPT-2, GPT-3, GPT-4など）はこの方式を採用しており、文章生成や対話生成に非常に適しています。自己回帰モデルは、左から右への一方向的な文脈理解を行いながら、自然な流れのあるテキストを構築することが得意です。たとえば、物語や記事、会話文の生成に強みを発揮します。

マスク型（Masked Language Model）

入力文の一部をマスク（隠す）し、そのマスクされた部分のトークンを予測する形式です。BERTに代表されるこの手法は、双方向の文脈を同時に参照することができるため、単語の意味理解や関係性の分析、分類タスクにおいて強力な性能を発揮します。具体的には、感情分析、文書分類、関係抽出などで有用です。

学習プロセス：事前学習とファインチューニング

LLMは、高性能な自然言語処理能力を実現するために、次の2段階の学習プロセスを経て構築されます。

事前学習（Pretraining）

まず、インターネット上のニュース記事、書籍、Wikipediaなど、膨大なテキストデータを使って、言語の一般的な構造や文脈、常識を学習します。

この段階では、「次に来る単語を予測する」といったタスクを繰り返し行うことで、単語同士の関連性や構文構造、さらには因果関係のような高次の概念も含めて学習します。こうして得られた知識が、後のさまざまなタスクの基盤となります。

ファインチューニング（Fine-tuning）

次に、モデルが応答すべきタスク（質問応答や要約、分類など）に適応させるために、特定のデータセットで微調整を行います。これにより、汎用的なモデルが特定の用途に最適化されます。

また近年では、モデルの重みを変更せず、プロンプトだけでタスクを指示する「In-Context Learning」や、少数の仮想トークンだけを訓練する「プロンプトチューニング」が用いられています。これにより、より軽量で柔軟なモデル運用が可能になります。

  • プロンプトチューニング：少数のトークン（仮想プロンプト）だけを学習可能にして効率よくカスタマイズ。
  • In-Context Learning（文脈内学習）：モデルの重みを更新せず、プロンプトだけでタスクの指示と入力例を与えることで適応を図る。

RLHF（人間のフィードバックによる強化学習）

ChatGPTなどのモデルでは、「RLHF（Reinforcement Learning from Human Feedback）」というプロセスを経て、より自然で望ましい応答が得られるよう調整されています。これは、人間が望ましい出力を評価・ランク付けし、それを報酬信号として学習することで実現されます。

LLMの能力と限界

LLMは文法的に正確で流暢な文章を生成できますが、注意すべき制約も存在します。

優れている点

  • 多様なドメインの知識を活用可能（百科事典的知識）
  • 文脈保持と推論能力（複数ターンの対話など）
  • 翻訳・要約・コード生成などのタスクで高精度

限界と課題

  • 知識の更新が難しい（トレーニング時点の情報に依存）
  • 幻覚（hallucination）と呼ばれる誤情報の生成
  • 長文処理におけるトークン制限（コンテキストウィンドウの制約）

LLMは極めて強力な汎用ツールである一方、その性能を正しく引き出すためには、モデルの性質や構造を理解した上で適切な活用方法を選ぶことが重要です。

3. LLMの動作原理を理解する

LLMが自然言語をどのように「理解し、生成するか」を知るためには、その内部の動作原理を把握する必要があります。ここでは、トークン化から生成までの一連の流れと、出力を制御するパラメータについて解説します。

自己回帰モデルにおける逐次生成

GPTのような自己回帰型モデルでは、次のトークンを1つずつ順に予測することでテキストを生成します。具体的なステップは以下のとおりです。

  1. 入力トークン列をEmbedding層でベクトルに変換。
  2. Transformerブロックに通して、文脈情報を反映した出力ベクトルを得る。
  3. 出力ベクトルをSoftmax層に通して、語彙全体に対する確率分布を得る。
  4. 最も確率が高いトークン（または確率的にサンプリングされたトークン）を出力。
  5. 出力されたトークンを次の入力に追加し、繰り返す。

この逐次的な予測により、文脈に整合した自然な文章が生成されていきます。

出力の制御：Temperature、Top-k、Top-p

LLMの出力は確率分布に基づいており、生成の多様性や一貫性を制御するためのパラメータがいくつか存在します。

Temperature

確率分布の鋭さを調整。値が高いほど出力が多様になり、低いほど確実性が高まります。

Top-k Sampling

確率が高い上位k個のトークンからランダムに選択。

Top-p（nucleus）Sampling

累積確率がp以上になるようなトークン集合から選択。

これらのパラメータを適切に調整することで、堅実な応答から創造的な出力まで、生成の特性をコントロールできます。

4. Prompt Engineeringの基礎

大規模言語モデル（LLM）は、プロンプト（入力文）に応じて出力が大きく変わるため、どのように指示を与えるかが極めて重要です。このプロンプトを設計・改善する技術が「Prompt Engineering（プロンプトエンジニアリング）」です。LLMの能力を最大限に引き出すには、モデルの特性に合わせたプロンプトの工夫が不可欠です。

プロンプトの役割と設計の考え方

プロンプトは、LLMに与える「命令」や「質問」のようなものであり、モデルが何をすべきかを伝える唯一の手段です。たとえば、単に「PythonでFizzBuzzを実装して」と入力するだけでも動作はしますが、目的に応じて表現を変えることで、精度や信頼性、出力の構造性を高めることができます。

明示的 vs 暗黙的な指示

プロンプトには明示的にタスクを指定するもの（"次の文章を英語に翻訳してください"）と、暗黙的に期待する出力を誘導するもの（例示だけを与えるFew-shot Promptなど）があります。

明示的（Explicit Prompting）

明確に動作を指示する。

例：「この文を英語に翻訳してください：私は学生です」

暗黙的（Implicit / Few-shot Prompting）

文脈や例示を通じて、望ましい出力パターンをモデルに学ばせる。

例：「日本語：こんにちは → 英語：Hello
日本語：ありがとう → 英語：Thank you
日本語：私は学生です → 」

プロンプト構造の工夫

単純な命令文だけでなく、以下のような工夫を加えることで、モデルの応答精度や安定性を大きく向上させることができます。

  • 箇条書き形式にする：モデルが手順を明確に理解できるようにする。
  • 制約条件を与える：文字数、出力形式、使用する語彙の制限など。
  • 思考プロセスを要求する："まず前提を確認し、次に理由を述べてください" のような段階的誘導。
  • 出力例を与える：フォーマットの一貫性を確保しやすくなる。

システムプロンプトとユーザープロンプト（Chatモデル）

ChatGPTのような対話型のLLMでは、プロンプトは単一の指示文ではなく、複数の役割を担う構造化された形式でやり取りされます。これには主に「システムプロンプト（system prompt）」と「ユーザープロンプト（user prompt）」の2種類があります。

システムプロンプト（system prompt）

モデルに与える“人格”や“振る舞い”の方針を定義する役割を果たします。たとえば、「あなたはフレンドリーなカスタマーサポート担当です」や「論理的で丁寧な回答を行う専門家です」などのように、応答のトーンや視点をコントロールする文が指定されます。

この情報はユーザーには表示されない内部指示として機能し、モデルの出力に一貫性を持たせるために重要です。ドキュメント生成やFAQ応答など、特定のキャラクター性や振る舞いが求められる場面で特に効果を発揮します。

ユーザープロンプト（user prompt）

実際にユーザーが入力する質問や命令であり、モデルがどのような応答を返すかの直接的なトリガーになります。たとえば、「PythonでFizzBuzzを実装してください」といった形式の具体的な問いかけがこれに該当します。

システムプロンプトとユーザープロンプトは対話全体の一貫性を維持するために補完的に機能します。システムプロンプトで前提となるキャラクターやトーンを設定し、ユーザープロンプトで具体的な問いかけを行うことで、意図に合った高品質な出力が得られやすくなります。

さらに、対話の履歴（コンテキスト）を保持することで、複数ターンにまたがる質問にも整合性の取れた応答が可能になります。これがチャットベースのLLMの大きな特徴の一つであり、プロンプト設計時にはこの文脈情報の積み重ねも意識する必要があります。

5. 実践：プロンプト改善による結果の比較

ここでは、実際のプロンプト設計によってLLMの出力がどのように変化するかを、具体的な例を通じて比較・検証していきます。題材として扱うのは、初心者向けプログラミング問題でよく知られている「FizzBuzz」の実装です。

テスト条件

  • モデルGPT-4（または同等のLLM）
  • タスク：1から100までの数を出力し、3の倍数なら「Fizz」、5の倍数なら「Buzz」、15の倍数なら「FizzBuzz」と表示するPythonコードを生成

プロンプト1：ベースライン

PythonでFizzBuzzを実装してください。

出力結果の傾向

  • シンプルなコードは出力されるがコメントやフォーマットはまちまち
  • テストコードの有無は運次第で安定しない

プロンプト2：出力形式を指定

PythonでFizzBuzzを実装してください。コードには適切なコメントを付け、print文で出力結果を確認できるようにしてください。

改善点

  • コメント付きの可読性の高いコードが出力されるようになる
  • 指定通りにprint文が含まれる可能性が高くなる

プロンプト3：ステップバイステップで思考させる

まず、FizzBuzzの仕様を整理し、次にPythonでどのように実装すればよいかを手順で説明し、最後に実装コードを提示してください。

改善点

  • モデルが仕様の理解→設計→実装の順で出力するため、信頼性が高くなる
  • 初学者にも学習効果の高い出力となる。

プロンプト4：追加要件を含める

PythonでFizzBuzzを実装してください。さらに、結果を確認するための簡単なテストコード（assert文）も含めてください。

改善点

  • 単なるコード出力だけでなく、動作確認の観点を含んだ出力が得られる。
  • LLMがより目的に合った出力を生成するようになる。

比較まとめ

プロンプト コメントの有無 出力安定性 学習効果 テストコード
ベースライン △（まちまち） △ △ ×
出力形式指定 ○ ○ △ ×
ステップ誘導 ◎ ◎ ◎ △
テスト含む ○ ○ ○ ◎

このように、プロンプトに具体性や段階的誘導を加えることで、出力の品質・一貫性・実用性が大きく向上することが分かります。LLMは非常に柔軟な応答能力を持っていますが、その力を引き出すのは「どのように問うか」にかかっているのです。

6. プロンプト設計におけるTipsと注意点

LLMの性能を引き出すためには、プロンプトの工夫が重要ですが、それと同じくらい「避けるべき落とし穴」や「注意すべき仕様」を把握しておくことも重要です。ここでは、プロンプト設計を行う上で役立つ実践的なヒントと注意点を紹介します。

文脈長（コンテキストウィンドウ）の制限

LLMは一度に処理できるトークン数に上限があります。これをコンテキストウィンドウと呼び、モデルによって上限は異なります（GPT-3.5では約4,000トークン、GPT-4では最大128,000トークンのモデルも存在）。

  • 長すぎるプロンプトや履歴があると、古い情報が切り捨てられる
  • 出力もトークン数に含まれるため、出力形式をコンパクトにする工夫も必要。

曖昧な表現を避け、具体的に指示する

LLMは文脈から推論できますが、「曖昧な指示」には安定した応答を返さないことがあります。

  • "○○について詳しく教えて" → 「どの観点で？」「どこまでの深さで？」などが曖昧
  • 望むアウトプットがある場合は、形式・制約・文体などを明示的に書く

モデルのバイアスと幻覚（hallucination）

LLMは学習データに基づいた出力を行いますが、それゆえに以下のような誤りを含む場合があります。

  • 事実と異なる内容を自信満々に生成する（＝幻覚）
  • 特定の表現や文化的価値観に偏った出力（＝バイアス）

これらはプロンプトの構造でも多少コントロール可能です。

  • 出典の明示を求める（例："信頼できる情報源に基づいて答えて"）
  • 出力に対して反論・代案も求めることで多角的な視点を促す

安定性のある出力を得る工夫

同じプロンプトでも毎回異なる出力が得られる場合、以下の方法で安定性を高めることが可能です。

  • Temperatureを下げる（0〜0.3など）
  • 出力形式や文体を具体的に指定（"JSON形式で" "敬体で" など）
  • Few-shotプロンプトで一貫した出力形式を示す

プロンプト設計は創造的であると同時に、非常に繊細な技術でもあります。モデルの特性と制限を理解しつつ、必要な制御や誘導を的確に行うことで、LLMの応答は大きく改善されます。

7. まとめ

本記事では、大規模言語モデル（LLM）の基本構造や動作原理、そしてそれを活用するために不可欠な「Prompt Engineering」の基礎について解説しました。

LLMは、Transformerをベースにした強力なモデルであり、事前学習によって豊富な言語知識を獲得しています。しかし、その力を引き出すには「どのように問いかけるか（=プロンプト）」が重要であり、プロンプト設計こそがLLM活用の鍵となります。

プロンプトの工夫一つで、出力の品質、安定性、精度は大きく変わります。特に、出力形式の指定、ステップバイステップの誘導、テストケースの追加などは、実務でLLMを活用する上で非常に有効な手段です。また、コンテキストウィンドウや幻覚、バイアスといった注意点を意識することも忘れてはなりません。

生成AIの可能性を正しく理解し、安全かつ効果的に活用していくために、今回紹介した知識や手法をベースに、実践と検証を重ねていくことが大切です。

Discussion