LlamaIndexモジュールガイドを試してみる: Prompts

from llama_index.prompts import PromptTemplate

template = (
    "以下は提供されたコンテキスト情報です。\n"
    "---------------------\n"
    "{context_str}"
    "\n---------------------\n"
    "これらの情報を元に次の質問に回答してください: {query_str}\n"
)
qa_template = PromptTemplate(template)

context_str = """ドウデュース（欧字名:Do Deuce、2019年5月7日 - ）は、日本の競走馬。主な勝ち鞍は2021年の朝日杯フューチュリティステークス、2022年の東京優駿、2023年の有馬記念。
馬名の意味は「する＋テニス用語（勝利目前の意味）」。愛称は「おドウ」。2021年のJRA賞最優秀2歳牡馬である。"""

query_str = "ドウデュースの馬名の由来は？"

prompt = qa_template.format(context_str=context_str, query_str=query_str)

print(prompt)

以下は提供されたコンテキスト情報です。
---------------------
ドウデュース（欧字名:Do Deuce、2019年5月7日 - ）は、日本の競走馬。主な勝ち鞍は2021年の朝日杯フューチュリティステークス、2022年の東京優駿、2023年の有馬記念。
馬名の意味は「する＋テニス用語（勝利目前の意味）」。愛称は「おドウ」。2021年のJRA賞最優秀2歳牡馬である。
---------------------
これらの情報を元に次の質問に回答してください: ドウデュースの馬名の由来は？

messages = qa_template. format_messages(context_str=context_str, query_str=query_str)

print(messages)

[
  ChatMessage(
    role=<MessageRole.USER: 'user'>,
    content='以下は提供されたコンテキスト情報です。\n---------------------\nドウデュース（欧字名:Do Deuce、2019年5月7日 - ）は、日本の競走馬。主な勝ち鞍は2021年の朝日杯フューチュリティステークス、2022年の東京優駿、2023年の有馬記念。\n馬名の意味は「する＋テニス用語（勝利目前の意味）」[6]。愛称は「おドウ」。2021年のJRA賞最優秀2歳牡馬である。\n---------------------\nこれらの情報を元に質問に回答してください: ドウデュースの馬名の由来は？\n',
    additional_kwargs={}
  )
]

from llama_index.prompts import ChatPromptTemplate, ChatMessage, MessageRole

user_query_str = """
以下は提供されたコンテキスト情報です。
---------------------
{context}
---------------------
これらの情報を元に、ユーザーからの質問に回答してください: {query}
"""

message_templates = [
    ChatMessage(
        content="あなたは競馬専門のチャットボットです。提供されたコンテキストに基づき、ユーザーからの競馬に関する質問に答えます。",
        role=MessageRole.SYSTEM
    ),
    ChatMessage(
        content=user_query_str,
        role=MessageRole.USER,
    ),
]
chat_template = ChatPromptTemplate(message_templates=message_templates)

context_str = """ドウデュース（欧字名:Do Deuce、2019年5月7日 - ）は、日本の競走馬。主な勝ち鞍は2021年の朝日杯フューチュリティステークス、2022年の東京優駿、2023年の有馬記念。
馬名の意味は「する＋テニス用語（勝利目前の意味）」[6]。愛称は「おドウ」。2021年のJRA賞最優秀2歳牡馬である。"""

query_str = "ドウデュースの馬名の由来は？"

messages = chat_template.format_messages(context=context_str, query=query_str)

print(messages)

[
  ChatMessage(
    role=<MessageRole.SYSTEM: 'system'>,
    content='あなたは競馬専門のチャットボットです。提供されたコンテキストに基づき、ユーザーからの競馬に関する質問に答えます。',
    additional_kwargs={}
  ),
  ChatMessage(
    role=<MessageRole.USER: 'user'>,
    content='\n以下は提供されたコンテキスト情報です。\n---------------------\nドウデュース（欧字名:Do Deuce、2019年5月7日 - ）は、日本の競走馬。主な勝ち鞍は2021年の朝日杯フューチュリティステークス、2022年の東京優駿、2023年の有馬記念。\n馬名の意味は「する＋テニス用語（勝利目前の意味）」[6]。愛称は「おドウ」。2021年のJRA賞最優秀2歳牡馬である。\n---------------------\nこれらの情報を元に、ユーザーからの質問に回答してください: ドウデュースの馬名の由来は？\n',
    additional_kwargs={}
  )
]

prompt = chat_template.format(context=context_str, query=query_str)
print(prompt)

system: あなたは競馬専門のチャットボットです。提供されたコンテキストに基づき、ユーザーからの競馬に関する質問に答えます。
user: 
以下は提供されたコンテキスト情報です。
---------------------
ドウデュース（欧字名:Do Deuce、2019年5月7日 - ）は、日本の競走馬。主な勝ち鞍は2021年の朝日杯フューチュリティステークス、2022年の東京優駿、2023年の有馬記念。
馬名の意味は「する＋テニス用語（勝利目前の意味）」[6]。愛称は「おドウ」。2021年のJRA賞最優秀2歳牡馬である。
---------------------
これらの情報を元に、ユーザーからの質問に回答してください: ドウデュースの馬名の由来は？

assistant: 

from pathlib import Path
import requests

# Wikipediaからのデータ読み込み
wiki_titles = ["イクイノックス", "ドウデュース"]
for title in wiki_titles:
    response = requests.get(
        "https://ja.wikipedia.org/w/api.php",
        params={
            "action": "query",
            "format": "json",
            "titles": title,
            "prop": "extracts",
            # 'exintro': True,
            "explaintext": True,
        },
    ).json()
    page = next(iter(response["query"]["pages"].values()))
    wiki_text = page["extract"]

    data_path = Path("data")
    if not data_path.exists():
        Path.mkdir(data_path)

    with open(data_path / f"{title}.txt", "w") as fp:
        fp.write(wiki_text)

from llama_index import ServiceContext, set_global_service_context
from llama_index.embeddings import OpenAIEmbedding
from llama_index import VectorStoreIndex, SimpleDirectoryReader

embed_model = OpenAIEmbedding()
service_context = ServiceContext.from_defaults(embed_model=embed_model)
set_global_service_context(service_context)

documents = SimpleDirectoryReader("./data").load_data()

index = VectorStoreIndex.from_documents(documents)

query_engine = index.as_query_engine()

response = query_engine.query("ダービーを勝ったのは？")
print(response)

from IPython.display import Markdown, display

def display_prompt_dict(prompts_dict):
    for k, p in prompts_dict.items():
        text_md = f"**Prompt Key**: {k}<br>" f"**Text:** <br>"
        display(Markdown(text_md))
        print(p.get_template())
        display(Markdown("<br><br>"))

prompts_dict = query_engine.get_prompts()
display_prompt_dict(prompts_dict)

import logging
import sys

logging.basicConfig(stream=sys.stdout, level=logging.DEBUG, force=True)
logging.getLogger().addHandler(logging.StreamHandler(stream=sys.stdout))

query_engine = index.as_query_engine(response_mode="compact")

response = query_engine.query("ダービーを勝ったのは？")
print(response)

System: You are an expert Q&A system that is trusted around the world.
Always answer the query using the provided context information, and not prior knowledge.
Some rules to follow:
1. Never directly reference the given context in your answer.
2. Avoid statements like 'Based on the context, ...' or 'The context information ...' or anything along those lines.

User: Context information is below.
---------------------
file_path: data/ドウデュース.txt

しかし出馬投票後の同月24日、調教後に左前肢跛行を発症しドバイターフへの出走を取り消した。友道は「調教後に左腕節に違和感を認め、競馬に向けて進めておりましたが、将来のある馬なのでここでは無理をせず、取り消すことを決断いたしました」と語った。
(snip)

file_path: data/ドウデュース.txt

6月10日に国際競馬統括機関連盟が発表した「ロンジンワールドベストレースホースランキング」において、ドウデュースは日本ダービーを勝利した功績を評価され、シャフリヤールやエンブレムロードと並ぶレーティング120で第15位タイに位置づけられた。
(snip)
---------------------
Given the context information and not prior knowledge, answer the query.
Query: ダービーを勝ったのは？
Answer: 

import logging
import sys

logging.basicConfig(stream=sys.stdout, level=logging.DEBUG, force=True)
logging.getLogger().addHandler(logging.StreamHandler(stream=sys.stdout))

query_engine = index.as_query_engine(response_mode="refine")

response = query_engine.query("ダービーを勝ったのは？")
print(response)

User: You are an expert Q&A system that strictly operates in two modes when refining existing answers:
1. **Rewrite** an original answer using the new context.
2. **Repeat** the original answer if the new context isn't useful.
Never reference the original answer or context directly in your answer.
When in doubt, just repeat the original answer.New Context: file_path: data/ドウデュース.txt

6月10日に国際競馬統括機関連盟が発表した「ロンジンワールドベストレースホースランキング」において、ドウデュースは日本ダービーを勝利した功績を評価され、シャフリヤールやエンブレムロードと並ぶレーティング120で第15位タイに位置づけられた。
(snip)
Query: ダービーを勝ったのは？
Original Answer: オルフェーヴルがダービーを勝ちました。
New Answer: 

from llama_index.prompts import PromptTemplate

query_engine = index.as_query_engine()     # response_mode="compact"に一旦戻す

qa_prompt_tmpl_str = (
    "コンテキスト情報は以下です。\n"
    "---------------------\n"
    "{context_str}\n"
    "---------------------\n"
    "与えられたコンテキスト情報を元に、事前知識を使用することなく、質問に答えてください。回答には絵文字をたくさん使って楽しくかつ丁寧に回答してください。\n"
    "質問: {query_str}\n"
    "回答: "
)

qa_prompt_tmpl = PromptTemplate(qa_prompt_tmpl_str)

query_engine.update_prompts(
    {"response_synthesizer:text_qa_template": qa_prompt_tmpl}
)

response = query_engine.query("ダービーを勝ったのは？")
print(response)

ドウデュースがダービーを勝ちました🏆🐎

コンテキスト情報は以下です。
---------------------
file_path: data/ドウデュース.txt

しかし出馬投票後の同月24日、調教後に左前肢跛行を発症しドバイターフへの出走を取り消した。友道は「調教後に左腕節に違和感を認め、競馬に向けて進めておりましたが、将来のある馬なのでここでは無理をせず、取り消すことを決断いたしました」と語った。
その後夏は治療と休養にあて、秋初戦として10月29日に東京競馬場で開催される天皇賞（秋）に出走。当日の第5競走で武豊が騎乗馬に右膝を蹴られ負傷したため、急遽戸崎圭太に乗り替わりとなった。レースは中団6番手からチャンスを狙ったものの、最終直線で伸び切れず7着に終わった。
(snip)

file_path: data/ドウデュース.txt

6月10日に国際競馬統括機関連盟が発表した「ロンジンワールドベストレースホースランキング」において、ドウデュースは日本ダービーを勝利した功績を評価され、シャフリヤールやエンブレムロードと並ぶレーティング120で第15位タイに位置づけられた。
次走として凱旋門賞への出走を表明した。ドウデュースののんびりとした性格上、フランスへ赴いた場合に放牧と勘違いする可能性を踏まえ、日本ダービー直後の時点で友道は直行する予定と語っていたが、のちに松島はニエル賞を前哨戦として使ってから凱旋門賞に出走するプランもあり、その後はアメリカのブリーダーズカップ・ターフへの出走も検討していると述べた。最終的に友道は凱旋門賞に直行ではなくニエル賞を経由して凱旋門賞に出走すると発表した。いずれも後方からの競馬となったが休み明けや重馬場の影響もあり十分なパフォーマンスを発揮出来ず、それぞれ4着、19着に終わった。
(snip)
---------------------
与えられたコンテキスト情報を元に、事前知識を使用することなく、質問に答えてください。回答には絵文字をたくさん使って楽しくかつ丁寧に回答してください。
質問: ダービーを勝ったのは？
回答: 

from llama_index.prompts import ChatPromptTemplate
from llama_index.llms import ChatMessage, MessageRole

# System prompt
system_prompt_content=(
    "あなたは、世界中で信頼されているエキスパートQ&Aシステムです。\n"
    "事前知識ではなく、常に提供されたコンテキスト情報を使って質問に答えてください。\n"
    "守るべきルール:\n"
    "1. 回答の中で、与えられた文脈を直接参照してはいけません。\n"
    "2. 「コンテキスト情報によると・・・」や「コンテキスト情報では・・・」というような文章を回答に含めないでください\n"
    "3. 回答には絵文字をたくさん使って楽しくかつ丁寧に回答してください。"
)

# Text QA Prompt
chat_text_qa_msgs = [
    ChatMessage(
        role=MessageRole.SYSTEM,
        content=system_prompt_content,
    ),
    ChatMessage(
        role=MessageRole.USER,
        content=(
            "コンテキスト情報は以下です。\n"
            "---------------------\n"
            "{context_str}\n"
            "---------------------\n"
            "与えられたコンテキスト情報を元に、事前知識を使用することなく、質問に答えてください。\n"
            "質問: {query_str}\n"
            "回答: "
        ),
    ),
]

text_qa_template = ChatPromptTemplate(chat_text_qa_msgs)

# Refine Prompt
chat_refine_msgs = [
    ChatMessage(
        role=MessageRole.SYSTEM,
        content=system_prompt_content,
    ),
    ChatMessage(
        role=MessageRole.USER,
        content=(
            "あなたは2つのモードで厳密に動作するエキスパートQ&Aシステムです。\n"
            "以下に従って既存の回答を改善してください:\n"
            "1. 新しいコンテキストを使って、既存の回答を**書き直す**。\n"
            "2. 新しいコンテキストが有用でない場合は、既存の回答をそのまま**繰り返す**。\n"
            "回答の中で、既存の回答やコンテキストを直接参照してはいけません。\n"
            "迷ったら、既存の回答をそのまま繰り返してください。\n"
            "新しいコンテキスト: {context_msg}\n"
            "質問: {query_str}\n"
            "既存の回答: {existing_answer}\n"
            "新しい回答: "
        ),
    ),
]
refine_template = ChatPromptTemplate(chat_refine_msgs)

query_engine = index.as_query_engine(response_mode="refine")

query_engine.update_prompts(
    {"response_synthesizer:text_qa_template": text_qa_template, "response_synthesizer:refine_template": refine_template}
)

response = query_engine.query("ダービーを勝ったのは？")
print(response)

System: あなたは、世界中で信頼されているエキスパートQ&Aシステムです。
事前知識ではなく、常に提供されたコンテキスト情報を使って質問に答えてください。
守るべきルール:
1. 回答の中で、与えられた文脈を直接参照してはいけません。
2. 「コンテキスト情報によると・・・」や「コンテキスト情報では・・・」というような文章を回答に含めないでください
3. 回答には絵文字をたくさん使って楽しくかつ丁寧に回答してください。

User: コンテキスト情報は以下です。
---------------------
file_path: data/ドウデュース.txt

しかし出馬投票後の同月24日、調教後に左前肢跛行を発症しドバイターフへの出走を取り消した。友道は「調教後に左腕節に違和感を認め、競馬に向けて進めておりましたが、将来のある馬なのでここでは無理をせず、取り消すことを決断いたしました」と語った。
その後夏は治療と休養にあて、秋初戦として10月29日に東京競馬場で開催される天皇賞（秋）に出走。当日の第5競走で武豊が騎乗馬に右膝を蹴られ負傷したため、急遽戸崎圭太に乗り替わりとなった。レースは中団6番手からチャンスを狙ったものの、最終直線で伸び切れず7着に終わった。
(snip)
---------------------
与えられたコンテキスト情報を元に、事前知識を使用することなく、質問に答えてください。
質問: ダービーを勝ったのは？
回答: 

System: あなたは、世界中で信頼されているエキスパートQ&Aシステムです。
事前知識ではなく、常に提供されたコンテキスト情報を使って質問に答えてください。
守るべきルール:
1. 回答の中で、与えられた文脈を直接参照してはいけません。
2. 「コンテキスト情報によると・・・」や「コンテキスト情報では・・・」というような文章を回答に含めないでください
3. 回答には絵文字をたくさん使って楽しくかつ丁寧に回答してください。

User: あなたは2つのモードで厳密に動作するエキスパートQ&Aシステムです。
以下に従って既存の回答を改善してください:
1. 新しいコンテキストを使って、既存の回答を**書き直す**。
2. 新しいコンテキストが有用でない場合は、既存の回答をそのまま**繰り返す**。
回答の中で、既存の回答やコンテキストを直接参照してはいけません。
迷ったら、既存の回答をそのまま繰り返してください。
新しいコンテキスト: file_path: data/ドウデュース.txt

6月10日に国際競馬統括機関連盟が発表した「ロンジンワールドベストレースホースランキング」において、ドウデュースは日本ダービーを勝利した功績を評価され、シャフリヤールやエンブレムロードと並ぶレーティング120で第15位タイに位置づけられた。
次走として凱旋門賞への出走を表明した。ドウデュースののんびりとした性格上、フランスへ赴いた場合に放牧と勘違いする可能性を踏まえ、日本ダービー直後の時点で友道は直行する予定と語っていたが、のちに松島はニエル賞を前哨戦として使ってから凱旋門賞に出走するプランもあり、その後はアメリカのブリーダーズカップ・ターフへの出走も検討していると述べた。最終的に友道は凱旋門賞に直行ではなくニエル賞を経由して凱旋門賞に出走すると発表した。いずれも後方からの競馬となったが休み明けや重馬場の影響もあり十分なパフォーマンスを発揮出来ず、それぞれ4着、19着に終わった。(snip)
質問: ダービーを勝ったのは？
既存の回答: ダービーを勝ったのは、タイトルホルダーです！🏆
新しい回答: 

ダービーを勝ったのは、ドウデュースです！🏆

query_engine = index.as_query_engine(
  response_mode="refine",
  text_qa_template=text_qa_template,
  refine_template=refine_template, 
)

from llama_index import get_response_synthesizer
from llama_index.query_engine import RetrieverQueryEngine

retriever = index.as_retriever()
response_synthesizer = get_response_synthesizer(
  response_mode="refine",
  text_qa_template=text_qa_template,
  refine_template=refine_template
)
query_engine = RetrieverQueryEngine(retriever, response_synthesizer)

response = query_engine.query("ダービーを勝ったのは？")
print(response)