ベクトルデータベース「Weaviate」を試す 1:Quickstart

!pip install -U weaviate-client

Successfully installed (snip) weaviate-client-4.5.1

import weaviate
import weaviate.classes as wvc
import os
import requests
import json
from google.colab import userdata

client = weaviate.connect_to_wcs(
    cluster_url=userdata.get('WEAVIATE_CLUSTER_URL'),
    auth_credentials=weaviate.auth.AuthApiKey(userdata.get('WEAVIATE_API_KEY')),
    headers={
        "X-OpenAI-Api-Key": userdata.get('OPENAI_API_KEY')
    }
)

faq = client.collections.create(
    name="FAQ",
    vectorizer_config=wvc.config.Configure.Vectorizer.text2vec_openai(),  # If set to "none" you must always provide vectors yourself. Could be any other "text2vec-*" also.
    generative_config=wvc.config.Configure.Generative.openai()  # Ensure the `generative-openai` module is used for generative queries
)

!wget https://d.line-scdn.net/stf/linecorp/ja/csr/dataset_.zip
!unzip dataset_.zip

import pandas as pd

df = pd.read_excel("dataset_.xlsx")
df.drop(columns=["ID","サンプルID", "カテゴリ2","出典","<参考>UMカテゴリタグ","<参考>ＵＭサービスメニュー\n（標準的な行政サービス名称）"], inplace=True)
df.rename(columns={
    'サンプル 問い合わせ文': 'question',
    'サンプル 応答文': 'answer',
    'カテゴリ1': 'category',
}, inplace=True)
df

faq_objs = df.to_dict(orient='records')
print(len(faq_objs))
print(faq_objs[0])

662
{'question': '母子手帳を受け取りたいのですが、手続きを教えてください。', 'answer': '窓口で妊娠届をご記入いただき、母子手帳をお渡しします。\n住民票の世帯が別の方が代理で窓口に来られる場合は、委任状が必要になります。\n\n▼詳しくはこちら\n（自治体HP内関連ページのURL）', 'category': '妊娠・出産'}

faq = client.collections.get("FAQ")
faq.data.insert_many(faq_objs)

BatchObjectReturn(
    all_responses=[UUID('a46ed57a-0361-431d-a076-f77b28fd504f'), ...snip..., UUID('d0cb5142-08d4-4b15-b351-b9cf8a25fd86')],
    elapsed_seconds=5.962344408035278,
    errors={},
    uuids={0: UUID('f30c1069-6632-45f6-b949-7655f86a45b1'), 1: UUID('b173426e-edb2-4bf6-ae07-33a1ea312a48'), ...snip..., 661: UUID('d0cb5142-08d4-4b15-b351-b9cf8a25fd86')},
    has_errors=False
) 

response = faq.query.near_text(
    query="妊娠したのですが、どういう手続が必要ですか？",
    limit=5,
)

for r in response.objects:
    print(r.properties)

{'answer': '妊娠したら妊娠届を○○課窓口（または支所・出張所窓口）に提出し、母子手帳を受け取ってください。\n\n▼詳しくはこちら\n（自治体HP内関連ページのURL）', 'question': '妊娠したので、必要な手続きを教えてください。', 'category': '妊娠・出産'}
{'answer': '産前は母子手帳以外の手続きは特にありません。\n産後に、出生の届出や出生通知書の提出、（自治体が行う出産助成等）の申請をお願いします。', 'question': '母子手帳の他に産前に市役所でやるべき手続きはありますか？', 'category': '妊娠・出産'}
{'answer': '母子手帳の申請には診断書はいりませんが、妊娠届に診断を受けた病院名・医師名を記入していただきます。', 'question': '母子手帳の申請には医師の診断書が必要ですか？', 'category': '妊娠・出産'}
{'answer': '出産後に必要な手続きは出生届・出生通知票の提出、児童手当、子ども医療費助成の申請等があります。\n\n▼詳しくはこちら\n（自治体HP内関連ページのURL）', 'question': '子どもが生まれたら、どんな手続きが必要ですか。', 'category': '妊娠・出産'}
{'answer': '窓口で妊娠届をご記入いただき、母子手帳をお渡しします。\n住民票の世帯が別の方が代理で窓口に来られる場合は、委任状が必要になります。\n\n▼詳しくはこちら\n（自治体HP内関連ページのURL）', 'question': '母子手帳を受け取りたいのですが、手続きを教えてください。', 'category': '妊娠・出産'}

response = faq.query.near_text(
    query="子どもが生まれたら、どのような手当がありますか。",
    limit=5,
)

for r in response.objects:
    print(r.properties["category"], " -- ", r.properties["question"])

妊娠・出産  --  子どもが生まれたら、どのような手当がありますか。
子どもの手当・助成  --  子どもの手当にはどんなものがありますか？
子どもの手当・助成  --  児童育成手当について教えてください。
妊娠・出産  --  子どもが生まれたら、どんな手続きが必要ですか。
子どもの手当・助成  --  児童手当の支給額を教えてください。

response = faq.query.near_text(
    query="子どもが生まれたら、どのような手当がありますか。",
    limit=5,
    filters=wvc.query.Filter.by_property("category").equal("妊娠・出産")
)

for r in response.objects:
    print(r.properties["category"], " -- ", r.properties["question"])

妊娠・出産  --  子どもが生まれたら、どのような手当がありますか。
妊娠・出産  --  子どもが生まれたら、どんな手続きが必要ですか。
妊娠・出産  --  出産育児一時金について教えてください。
妊娠・出産  --  母子手帳の他に産前に市役所でやるべき手続きはありますか？
妊娠・出産  --  出生届の届出に必要なものは何ですか？

query = "妊娠したのですが、どういう手続が必要ですか？"

response = faq.generate.near_text(
    query=query,
    limit=5,
    single_prompt="{answer}を踏まえて次の質問に回答して下さい： " + query,
)

for r in response.objects:
    print("コンテキスト: ", r.properties['answer'].replace("\n",""))
    print("回答: ", r.generated)
    print()

コンテキスト:  妊娠したら妊娠届を○○課窓口（または支所・出張所窓口）に提出し、母子手帳を受け取ってください。▼詳しくはこちら（自治体HP内関連ページのURL）
回答:  妊娠した場合、妊娠届を提出し、母子手帳を受け取る手続きが必要です。妊娠届は、○○課窓口（または支所・出張所窓口）に提出する必要があります。母子手帳は、妊娠届を提出した後に受け取ることができます。詳細な手続きや必要書類については、自治体HP内関連ページのURLをご確認ください。

コンテキスト:  産前は母子手帳以外の手続きは特にありません。産後に、出生の届出や出生通知書の提出、（自治体が行う出産助成等）の申請をお願いします。
回答:  妊娠した場合、まずは妊娠を医療機関で確認し、妊娠届を提出する必要があります。その後、母子手帳を取得するために妊婦健診を受けることが必要です。また、出産に備えて出産費用や出産手続きについての情報を収集し、準備をしておくことも重要です。出産予定日が近づいたら、出産施設の選定や入院手続きなども行う必要があります。その他、妊娠中の健康管理や栄養管理にも注意を払い、定期的な健診や検査を受けることが大切です。

コンテキスト:  母子手帳の申請には診断書はいりませんが、妊娠届に診断を受けた病院名・医師名を記入していただきます。
回答:  妊娠した場合、まずは妊娠届を提出する必要があります。妊娠届には、診断を受けた病院名や医師名を記入する必要があります。その後、母子手帳の申請を行うことが推奨されます。母子手帳は妊娠中から出産後までの健康管理や子育てのサポートに役立つ重要な書類です。手続きに関する詳細は、地域の保健所や役所に問い合わせることをお勧めします。

コンテキスト:  出産後に必要な手続きは出生届・出生通知票の提出、児童手当、子ども医療費助成の申請等があります。▼詳しくはこちら（自治体HP内関連ページのURL）
回答:  妊娠した場合、出産後に必要な手続きとしては、出生届・出生通知票の提出が主なものです。また、出産後には児童手当や子ども医療費助成の申請も必要になります。自治体によって手続きの方法や必要書類が異なる場合があるので、自治体のHP内関連ページを確認して詳細な情報を入手することが重要です。

コンテキスト:  窓口で妊娠届をご記入いただき、母子手帳をお渡しします。住民票の世帯が別の方が代理で窓口に来られる場合は、委任状が必要になります。▼詳しくはこちら（自治体HP内関連ページのURL）
回答:  妊娠した場合、住民票の所在地に妊娠届を提出する必要があります。妊娠届を提出することで、母子手帳を受け取ることができます。また、住民票の世帯が別の方が代理で窓口に来る場合は、委任状が必要になります。詳細な手続きや必要書類については、自治体のHP内関連ページをご確認ください。

query = "妊娠したのですが、どういう手続が必要ですか？"

response = faq.generate.near_text(
    query=query,
    limit=5,
    grouped_task="提供されたコンテキストを踏まえて回答してください。回答は可能な限り丁寧に詳しいものである必要があります。",
)

for r in response.objects:
    print("コンテキスト: ", r.properties['answer'].replace("\n",""))

print()
print("回答: ", response.generated)

コンテキスト:  妊娠したら妊娠届を○○課窓口（または支所・出張所窓口）に提出し、母子手帳を受け取ってください。▼詳しくはこちら（自治体HP内関連ページのURL）
コンテキスト:  産前は母子手帳以外の手続きは特にありません。産後に、出生の届出や出生通知書の提出、（自治体が行う出産助成等）の申請をお願いします。
コンテキスト:  母子手帳の申請には診断書はいりませんが、妊娠届に診断を受けた病院名・医師名を記入していただきます。
コンテキスト:  出産後に必要な手続きは出生届・出生通知票の提出、児童手当、子ども医療費助成の申請等があります。▼詳しくはこちら（自治体HP内関連ページのURL）
コンテキスト:  窓口で妊娠届をご記入いただき、母子手帳をお渡しします。住民票の世帯が別の方が代理で窓口に来られる場合は、委任状が必要になります。▼詳しくはこちら（自治体HP内関連ページのURL）

回答:  妊娠した場合、まずは妊娠届を○○課窓口（または支所・出張所窓口）に提出し、母子手帳を受け取る必要があります。母子手帳の申請には診断書は必要ありませんが、妊娠届に診断を受けた病院名・医師名を記入する必要があります。産前には母子手帳以外の特別な手続きは必要ありませんが、産後には出生の届出や出生通知書の提出、出産助成等の申請が必要です。子どもが生まれた後には、出生届・出生通知書の提出や児童手当、子ども医療費助成の申請などが必要です。窓口で妊娠届を記入し、母子手帳を受け取る際には、住民票の世帯が別の方が代理で窓口に来る場合は委任状が必要になります。詳細な手続きや必要書類については、自治体HP内の関連ページをご確認ください。

faq = client.collections.create(
    name="FAQ",
    vectorizer_config=wvc.config.Configure.Vectorizer.text2vec_openai(),
    generative_config=wvc.config.Configure.Generative.openai(),
)

client = weaviate.connect_to_wcs(
    cluster_url=userdata.get('WEAVIATE_CLUSTER_URL'),
    auth_credentials=weaviate.auth.AuthApiKey(userdata.get('WEAVIATE_API_KEY')),
    headers={
        "X-OpenAI-Api-Key": userdata.get('OPENAI_API_KEY')
    }
)