ベクトルデータベース「Weaviate」を試す 2:複数のセットアップ方式

import weaviate
import weaviate.classes as wvc
import os
from google.colab import userdata

client = weaviate.connect_to_embedded(
    version="1.24.1",
    headers={
        "X-OpenAI-Api-Key": userdata.get('OPENAI_API_KEY')
    },
)

Binary /root/.cache/weaviate-embedded did not exist. Downloading binary from https://github.com/weaviate/weaviate/releases/download/v1.24.1/weaviate-v1.24.1-Linux-amd64.tar.gz
Started /root/.cache/weaviate-embedded: process ID 9647

!ps auxw | grep weaviate

root        9647  0.2  0.4 1335460 57640 ?       Sl   07:19   0:00 /root/.cache/weaviate-embedded/weaviate-v1.24.1-2a293e7ef4467d602
root       10511  0.0  0.0   7376  3428 ?        S    07:23   0:00 /bin/bash -c ps auxw | grep weaviate
root       10513  0.0  0.0   6484  2336 ?        S    07:23   0:00 grep weaviate

faq = client.collections.create(
    name="FAQ",
    vectorizer_config=wvc.config.Configure.Vectorizer.text2vec_openai(),
    generative_config=wvc.config.Configure.Generative.openai(),
)

!wget https://d.line-scdn.net/stf/linecorp/ja/csr/dataset_.zip
!unzip dataset_.zip

import pandas as pd

df = pd.read_excel("dataset_.xlsx")
df.drop(columns=["ID","サンプルID", "カテゴリ2","出典","<参考>UMカテゴリタグ","<参考>ＵＭサービスメニュー\n（標準的な行政サービス名称）"], inplace=True)
df.rename(columns={
    'サンプル 問い合わせ文': 'question',
    'サンプル 応答文': 'answer',
    'カテゴリ1': 'category',
}, inplace=True)
faq_objs = df.to_dict(orient='records')

faq = client.collections.get("FAQ")
faq.data.insert_many(faq_objs)

query = "妊娠したのですが、どういう手続が必要ですか？"

response = faq.generate.near_text(
    query=query,
    limit=5,
    grouped_task="提供されたコンテキストを踏まえて回答してください。回答は可能な限り丁寧に詳しいものである必要があります。",
)

for r in response.objects:
    print("コンテキスト: ", r.properties['answer'].replace("\n",""))

print()
print("回答: ", response.generated)

コンテキスト:  妊娠したら妊娠届を○○課窓口（または支所・出張所窓口）に提出し、母子手帳を受け取ってください。▼詳しくはこちら（自治体HP内関連ページのURL）
コンテキスト:  産前は母子手帳以外の手続きは特にありません。産後に、出生の届出や出生通知書の提出、（自治体が行う出産助成等）の申請をお願いします。
コンテキスト:  母子手帳の申請には診断書はいりませんが、妊娠届に診断を受けた病院名・医師名を記入していただきます。
コンテキスト:  出産後に必要な手続きは出生届・出生通知票の提出、児童手当、子ども医療費助成の申請等があります。▼詳しくはこちら（自治体HP内関連ページのURL）
コンテキスト:  窓口で妊娠届をご記入いただき、母子手帳をお渡しします。住民票の世帯が別の方が代理で窓口に来られる場合は、委任状が必要になります。▼詳しくはこちら（自治体HP内関連ページのURL）

回答:  妊娠した場合、まずは妊娠届を○○課窓口（または支所・出張所窓口）に提出し、母子手帳を受け取る必要があります。母子手帳の申請には診断書は必要ありませんが、妊娠届に診断を受けた病院名・医師名を記入する必要があります。産前には母子手帳以外の特別な手続きは必要ありませんが、産後には出生の届出や出生通知書の提出、出産助成等の申請が必要です。子どもが生まれた後には、出生届・出生通知書の提出や児童手当、子ども医療費助成の申請などが必要です。窓口で妊娠届を記入し、母子手帳を受け取る際には、住民票の世帯が別の方が代理で来られる場合は委任状が必要になります。詳細な手続きや必要書類については、自治体のHP内関連ページをご確認ください。

client.close()

!ps auxw | grep weaviate

root       16433  0.0  0.0   7376  3484 ?        S    07:48   0:00 /bin/bash -c ps auxw | grep weaviate
root       16435  0.0  0.0   6484  2336 ?        S    07:48   0:00 grep weaviate

import weaviate
from weaviate.embedded import EmbeddedOptions
import weaviate.classes as wvc
import os

client = weaviate.WeaviateClient(
    embedded_options=EmbeddedOptions(
        additional_env_vars={
            "ENABLE_MODULES": "backup-filesystem,text2vec-openai,text2vec-cohere,text2vec-huggingface,ref2vec-centroid,generative-openai,qna-openai",
            "BACKUP_FILESYSTEM_PATH": "/content/weaviate-backup"
        }
    ),
    additional_headers={
        "X-OpenAI-Api-Key": userdata.get('OPENAI_API_KEY')
    },
)

client.connect()

Binary /root/.cache/weaviate-embedded did not exist. Downloading binary from https://github.com/weaviate/weaviate/releases/download/v1.23.7/weaviate-v1.23.7-Linux-amd64.tar.gz
Started /root/.cache/weaviate-embedded: process ID 19508

!ls -lt ~/.local/share/weaviate

total 140
-rw------- 1 root root 131072 Mar  8 08:01 schema.db
-rw------- 1 root root  32768 Mar  8 08:01 tx.db
-rw------- 1 root root  32768 Mar  8 08:01 classifications.db
drwxr-xr-x 3 root root   4096 Mar  8 07:36 faq
-rw-r--r-- 1 root root      0 Mar  8 07:19 migration1.19.filter2search.skip.flag
-rw-r--r-- 1 root root      0 Mar  8 07:19 migration1.19.filter2search.state
-rw-r--r-- 1 root root      0 Mar  8 07:19 migration1.22.fs.hierarchy
-rw------- 1 root root  16384 Mar  8 07:19 modules.db

faq = client.collections.get("FAQ")

query = "妊娠したのですが、どういう手続が必要ですか？"

response = faq.generate.near_text(
    query=query,
    limit=5,
    grouped_task="提供されたコンテキストを踏まえて回答してください。回答は可能な限り丁寧に詳しいものである必要があります。",
)

for r in response.objects:
    print("コンテキスト: ", r.properties['answer'].replace("\n",""))

print()
print("回答: ", response.generated)

コンテキスト:  妊娠したら妊娠届を○○課窓口（または支所・出張所窓口）に提出し、母子手帳を受け取ってください。▼詳しくはこちら（自治体HP内関連ページのURL）
コンテキスト:  産前は母子手帳以外の手続きは特にありません。産後に、出生の届出や出生通知書の提出、（自治体が行う出産助成等）の申請をお願いします。
コンテキスト:  母子手帳の申請には診断書はいりませんが、妊娠届に診断を受けた病院名・医師名を記入していただきます。
コンテキスト:  出産後に必要な手続きは出生届・出生通知票の提出、児童手当、子ども医療費助成の申請等があります。▼詳しくはこちら（自治体HP内関連ページのURL）
コンテキスト:  窓口で妊娠届をご記入いただき、母子手帳をお渡しします。住民票の世帯が別の方が代理で窓口に来られる場合は、委任状が必要になります。▼詳しくはこちら（自治体HP内関連ページのURL）

回答:  妊娠した場合、まずは妊娠届を○○課窓口（または支所・出張所窓口）に提出し、母子手帳を受け取る必要があります。母子手帳の申請には診断書は必要ありませんが、妊娠届には診断を受けた病院名・医師名を記入する必要があります。産前には母子手帳以外の特別な手続きは必要ありませんが、産後には出生届・出生通知書の提出や出産助成等の申請が必要です。子どもが生まれた後には、さらに出生届・出生通知書の提出や児童手当、子ども医療費助成の申請などが必要になります。窓口で妊娠届を記入し、母子手帳を受け取る際には、住民票の世帯が別の方が代理で来る場合は委任状が必要です。詳細な手続きや必要書類については、自治体のHP内関連ページをご確認ください。

result = client.backup.create(
    backup_id="backup-faq-20240308",
    backend="filesystem",
    include_collections=["FAQ"],
    wait_for_completion=True,
)
print(result)

status=<BackupStatus.SUCCESS: 'SUCCESS'> path='/content/weaviate-backup/backup-faq-20240308' collections=['FAQ']

!tree /content/weaviate-backup

/content/weaviate-backup
└── backup-faq-20240308
    ├── backup_config.json
    └── Embedded_at_8079
        ├── backup.json
        └── FAQ
            └── chunk-1

3 directories, 3 files

$ docker run -p 8080:8080 -p 50051:50051 cr.weaviate.io/semitechnologies/weaviate:1.24.1

$ curl http://localhost:8080

{"links":{"href":"/v1","name":"api v1","documentationHref":"https://weaviate.io/developers/weaviate/current/"}}

---
version: '3.4'
services:
  weaviate:
    command:
    - --host
    - 0.0.0.0
    - --port
    - '8080'
    - --scheme
    - http
    image: cr.weaviate.io/semitechnologies/weaviate:1.24.1
    ports:
    - 8080:8080
    - 50051:50051
    volumes:
    - ./weaviate_data:/var/lib/weaviate
    restart: on-failure:0
    environment:
      QUERY_DEFAULTS_LIMIT: 25
      AUTHENTICATION_ANONYMOUS_ACCESS_ENABLED: 'true'
      PERSISTENCE_DATA_PATH: '/var/lib/weaviate'
      DEFAULT_VECTORIZER_MODULE: 'text2vec-openai'
      ENABLE_MODULES: 'text2vec-openai,ref2vec-centroid,generative-openai,generative-aws,reranker-cohere'
      CLUSTER_HOSTNAME: 'node1'

$ docker compose up -d

$ curl http://localhost:8080
{"links":{"href":"/v1","name":"api v1","documentationHref":"https://weaviate.io/developers/weaviate/current/"}}

OPENAI_API_KEY=XXXXXXXXXX
COHERE_API_KEY=XXXXXXXXXX
AWS_ACCESS_KEY_ID=XXXXXXXXXX
AWS_SECRET_ACCESS_KEY=XXXXXXXXXX

!pip install -U weaviate-client pandas openpyxl python-dotenv

from dotenv import load_dotenv

load_dotenv(verbose=True)

import weaviate
import weaviate.classes as wvc
import os

client = weaviate.connect_to_local(
    headers={
        "X-OpenAI-Api-Key": os.environ['OPENAI_API_KEY'],
        "X-Cohere-Api-Key": os.environ['COHERE_API_KEY'],
        "X-AWS-Access-Key": os.environ['AWS_ACCESS_KEY_ID'],
        "X-AWS-Secret-Key": os.environ['AWS_SECRET_ACCESS_KEY'],
    }
)

faq = client.collections.create(
    name="FAQ",
    vectorizer_config=wvc.config.Configure.Vectorizer.text2vec_openai(),
    generative_config=wvc.config.Configure.Generative.openai(),
)

!wget https://d.line-scdn.net/stf/linecorp/ja/csr/dataset_.zip
!unzip dataset_.zip

import pandas as pd

df = pd.read_excel("dataset_.xlsx")
df.drop(columns=["ID","サンプルID", "カテゴリ2","出典","<参考>UMカテゴリタグ","<参考>ＵＭサービスメニュー\n（標準的な行政サービス名称）"], inplace=True)
df.rename(columns={
    'サンプル 問い合わせ文': 'question',
    'サンプル 応答文': 'answer',
    'カテゴリ1': 'category',
}, inplace=True)
faq_objs = df.to_dict(orient='records')

faq = client.collections.get("FAQ")
faq.data.insert_many(faq_objs)

faq = client.collections.get("FAQ")

query = "妊娠したのですが、どういう手続が必要ですか？"

response = faq.generate.near_text(
    query=query,
    limit=5,
    grouped_task="提供されたコンテキストを踏まえて回答してください。回答は可能な限り丁寧に詳しいものである必要があります。",
)

for r in response.objects:
    print("コンテキスト: ", r.properties['answer'].replace("\n",""))

print()
print("回答: ", response.generated)