!pip install docetl[parsing]
!pip freeze | grep docetl

docetl==0.1.5

!docetl version

DocETL version: 0.1.5

import os
from google.colab import userdata

os.environ["OPENAI_API_KEY"] = userdata.get('OPENAI_API_KEY')

%%writefile medical_transcripts.json
[
    {
        "src": "医師: こんにちは、ジョンソンさん。新しい薬、リシノプリルを飲み始めてから、体調はいかがですか?\n患者: ええ、先生。血圧は改善されたように感じますが、乾いた咳が続いています..."
    },
    {
        "src": "医師: おはようございます、スミスさん。今日はメトフォルミン処方の経過観察ですね。\n患者: はい、先生。規則正しく服用していますが、いくつかの副作用が気になっています..."
    }
]

%%writefile pipeline.yaml
datasets:
  transcripts:
    path: medical_transcripts.json
    type: file

default_model: gpt-4o-mini

operations:
  - name: extract_medications
    type: map
    #sample: 1  #与えられたデータを減らしたい場合は以下のように指定すると、指定された数でランダムでサンプリングされる
    output:
      schema:
        medication: list[str]
    prompt: |
      以下の医師と患者の会話の記録を分析してください:
      {{ input.src }}
      会話記録に記載されているすべての薬剤を抽出し、リスト化してください。
      薬剤が記載されていない場合は、空のリストを返してください。

  - name: unnest_medications
    type: unnest
    unnest_key: medication

  - name: resolve_medications
    type: resolve
    blocking_keys:
      - medication
    blocking_threshold: 0.6162
    comparison_prompt: |
      以下の2つの薬剤のエントリーを比較してください:
      エントリー1: {{ input1.medication }}
      エントリー2: {{ input2.medication }}
      これらの薬剤が同じまたは密接に関連している可能性があるかどうかを判断してください。
    embedding_model: text-embedding-3-small
    output:
      schema:
        medication: str
    resolution_prompt: |
      以下の一致した薬剤のエントリーに基づいて:
      {% for entry in inputs %}
      エントリー{{ loop.index }}: {{ entry.medication }}
      {% endfor %}
      このグループのエントリーを最もよく表す標準化された薬剤名を決定してください。
      標準化された名前は、すべての一致したエントリーを最もよく表す、広く認識された薬剤名であるべきです。

  - name: summarize_prescriptions
    type: reduce
    reduce_key:
      - medication
    output:
      schema:
        side_effects: str
        uses: str
    prompt: |
      以下は、医師と患者の間の会話の記録です:

      {% for input in inputs %}
      会話記録 {{ loop.index }}:
      {{ input.src }}
      {% endfor %}

      薬剤{{ reduce_key }}について、上記の会話に基づいて以下の情報を提供してください:

      1. 副作用: {{ reduce_key }}に関して言及されたすべての副作用を要約してください。
      2. 治療用途: {{ reduce_key }}が処方または推奨された医療条件や症状を説明してください。

      要約する際には以下を守ってください:
      - 提供された記録の情報にのみ基づく
      - {{ reduce_key }}にのみ焦点を当て、他の薬剤には触れない
      - すべての記録から関連する詳細を含む
      - 明確で簡潔に書く
      - 記録からの引用を含める

pipeline:
  steps:
    - name: medical_info_extraction
      input: transcripts
      operations:
        - extract_medications
        - unnest_medications
        - resolve_medications
        - summarize_prescriptions
  output:
    type: file
    path: medication_summaries.json
    intermediate_dir: intermediate_results

(snip)
  - name: summarize_prescriptions
    (snip)
    prompt: |
      以下は、医師と患者の間の会話の記録です:

      {% for value in values %}     # ここ！
      Transcript {{ loop.index }}:
      {{ value.src }}
      {% endfor %}

      (snip)

!docetl run pipeline.yaml

─────────────────────────────────────────── Syntax Check ───────────────────────────────────────────
Performing syntax check on all operations...
Syntax check passed for all operations.
──────────────────────────────────────── Pipeline Execution ────────────────────────────────────────
───────────────────────────────────────── Loading Datasets ─────────────────────────────────────────
Loaded dataset: transcripts
───────────────────────────── Executing Step: medical_info_extraction ──────────────────────────────
Running Operation:
  Type: map
  Name: extract_medications
/usr/local/lib/python3.10/dist-packages/pydantic/main.py:390: UserWarning: Pydantic serializer 
warnings:
  Expected `PromptTokensDetails` but got `dict` with value `{'audio_tokens': None, 'cached_tokens': 
0}` - serialized value may not be as expected
  return self.__pydantic_serializer__.to_python(
Processing map items: 100%|██████████| 2/2 [00:02<00:00,  1.27s/it]
[13:14:26]         Operation extract_medications completed. Cost: $0.00

import json

with open('medication_summaries.json', 'r', encoding='utf-8') as file:
    print(json.dumps(json.load(file), indent=2, ensure_ascii=False))

[
  {
    "side_effects": "リシノプリルの副作用として、患者は「乾いた咳が続いています」と述べています。",
    "uses": "リシノプリルは、患者が血圧の改善を感じていることから、高血圧の治療目的で処方されています。",
    "medication": "リシノプリル"
  },
  {
    "side_effects": "医師と患者の会話では、メトフォルミンに関して具体的な副作用が言及されていませんでしたが、患者は「いくつかの副作用が気になっています」と述べています。",
    "uses": "メトフォルミンは、患者が規則正しく服用していることから、糖尿病の治療に用いられる薬剤であると考えられます。",
    "medication": "メトフォルミン"
  }
]

datasets:
  transcripts:
    path: medical_transcripts.json
    type: file

default_model: gpt-4o-mini

operations:
  - name: extract_medications    # 薬名を抽出する処理
    type: map
    (snip)

  - name: unnest_medications   # 薬名の配列を辞書に変換する
    type: unnest
    (snip)

  - name: resolve_medications   # 薬名を標準化する処理
    type: resolve
    (snip)

  - name: summarize_prescriptions   # 薬の用途と副作用の要約を生成する処理
    type: reduce
    (snip)

pipeline:
  steps:
    - name: medical_info_extraction
      input: transcripts
      operations:
        - extract_medications
        - unnest_medications
        - resolve_medications
        - summarize_prescriptions
  output:
    type: file
    path: medication_summaries.json
    intermediate_dir: intermediate_results

  - name: extract_medications
    type: map
    output:
      schema:
        medication: list[str]
    prompt: |
      以下の医師と患者の会話の記録を分析してください:
      {{ input.src }}
      会話記録に記載されているすべての薬剤を抽出し、リスト化してください。
      薬剤が記載されていない場合は、空のリストを返してください。

datasets:
  transcripts:
    path: medical_transcripts.json
    type: file

(snip)

pipeline:
  steps:
    - name: medical_info_extraction
      input: transcripts
      operations:
        - extract_medications   # これ
(snip)

[
    {
        "src": "医師: こんにちは、ジョンソンさん。新しい薬、リシノプリルを飲み始めてから、体調はいかがですか?\n患者: ええ、先生。血圧は改善されたように感じますが、乾いた咳が続いています..."
    },
    {
        "src": "医師: おはようございます、スミスさん。今日はメトフォルミン処方の経過観察ですね。\n患者: はい、先生。規則正しく服用していますが、いくつかの副作用が気になっています..."
    }
]

    prompt: |
      以下の医師と患者の会話の記録を分析してください:
      {{ input.src }}
      会話記録に記載されているすべての薬剤を抽出し、リスト化してください。
      薬剤が記載されていない場合は、空のリストを返してください。

以下の医師と患者の会話の記録を分析してください:
医師: こんにちは、ジョンソンさん。新しい薬、リシノプリルを飲み始めてから、体調はいかがですか?
患者: ええ、先生。血圧は改善されたように感じますが、乾いた咳が続いています...
会話記録に記載されているすべての薬剤を抽出し、リスト化してください。
薬剤が記載されていない場合は、空のリストを返してください。

以下の医師と患者の会話の記録を分析してください:
医師: おはようございます、スミスさん。今日はメトフォルミン処方の経過観察ですね。
患者: はい、先生。規則正しく服用していますが、いくつかの副作用が気になっています...
会話記録に記載されているすべての薬剤を抽出し、リスト化してください。
薬剤が記載されていない場合は、空のリストを返してください。

    output:
      schema:
        medication: list[str]

{
    "medication": ["リシノプリル"]
}

{
    "medication": ["メトフォルミン"]
}

[
  {
    "medication": "リシノプリル",
    "src": "医師: こんにちは、ジョンソンさん。新しい薬、リシノプリルを飲み始めてから、体調はいかがですか?\n患者: ええ、先生。血圧は改善されたように感じますが、乾いた咳が続いています..."
  },
  {
    "medication": "メトフォルミン",
    "src": "医師: おはようございます、スミスさん。今日はメトフォルミン処方の経過観察ですね。\n患者: はい、先生。規則正しく服用していますが、いくつかの副作用が気になっています..."
  }
]

  - name: summarize_prescriptions
    type: reduce
    reduce_key:
      - medication
    output:
      schema:
        side_effects: str
        uses: str
    prompt: |
      以下は、医師と患者の間の会話の記録です:

      {% for input in inputs %}
      会話記録 {{ loop.index }}:
      {{ input.src }}
      {% endfor %}

      (snip)

validate:
  - len(output["insights"]) >= 2
  - all(len(insight["supporting_actions"]) >= 1 for insight in output["insights"])

gleaning:
  num_rounds: 1
  validation_prompt: |
    抽出されたデータについて、完全性と関連性を評価してください:
    1. ログから得られたすべての主要なユーザー行動と問題点は、インサイトで取り上げられているか?
    2. 補足的な行動は実際的であり、インサイトに関連しているか?
    3. 重要な情報が抜け落ちていたり、関連性のない情報が含まれていたりしていないか?

output:
  schema:
    summary: string
    sentiment: string
    include_item: boolean  # `filter`オペレータで使える

output:
  schema:
    insights: "list[{insight: string, confidence: number}]"
    metadata: "{timestamp: string, source: string}"

(snip)

operations:
  - name: extract_medications
    optimize: true
    (snip)

  - name: unnest_medications
    optimize: true
    (snip)

  - name: resolve_medications
    optimize: true
    (snip)


  - name: summarize_prescriptions
    optimize: true
    (snip)

(snip)

!docetl build pipeline.yaml

───────────────────────────────────── Optimizer Configuration ──────────────────────────────────────
[05:23:47] Sample Size: {'reduce': 40, 'map': 5, 'resolve': 100, 'equijoin': 100,     

$ ls -lt pipeline*
-rw-r--r-- 1 root root 4505 Oct  3 06:44 pipeline_opt.yaml
-rw-r--r-- 1 root root 3252 Oct  3 06:44 pipeline.yaml

import yaml

with open('pipeline_opt.yaml', encoding='utf-8')as file:
    print(yaml.dump(yaml.safe_load(file), default_flow_style=False, allow_unicode=True))

datasets:
  transcripts:
    path: medical_transcripts.json
    type: file
default_model: gpt-4o-mini
operations:
- name: extract_medications
  optimize: true
  output:
    schema:
      medication: list[str]
  prompt: '以下の医師と患者の会話の記録を分析してください:

    {{ input.src }}

    会話記録に記載されているすべての薬剤を抽出し、リスト化してください。

    薬剤が記載されていない場合は、空のリストを返してください。

    '
  type: map
- name: unnest_medications
  optimize: true
  type: unnest
  unnest_key: medication
- blocking_keys:
  - medication
  blocking_threshold: 0.9899
  comparison_prompt: '以下の2つの薬剤のエントリーを比較してください:

    エントリー1: {{ input1.medication }}

    エントリー2: {{ input2.medication }}

    これらの薬剤が同じまたは密接に関連している可能性があるかどうかを判断してください。

    '
  embedding_model: text-embedding-3-small
  name: resolve_medications
  optimize: true
  output:
    schema:
      medication: str
  resolution_prompt: '以下の一致した薬剤のエントリーに基づいて:

    {% for entry in inputs %}

    エントリー{{ loop.index }}: {{ entry.medication }}

    {% endfor %}

    このグループのエントリーを最もよく表す標準化された薬剤名を決定してください。

    標準化された名前は、すべての一致したエントリーを最もよく表す、広く認識された薬剤名であるべきです。

    '
  type: resolve
- name: summarize_prescriptions
  optimize: true
  output:
    schema:
      side_effects: str
      uses: str
  prompt: '以下は、医師と患者の間の会話の記録です:


    {% for input in inputs %}

    会話記録 {{ loop.index }}:

    {{ input.src }}

    {% endfor %}


    薬剤{{ reduce_key }}について、上記の会話に基づいて以下の情報を提供してください:


    1. 副作用: {{ reduce_key }}に関して言及されたすべての副作用を要約してください。

    2. 治療用途: {{ reduce_key }}が処方または推奨された医療条件や症状を説明してください。


    要約する際には以下を守ってください:

    - 提供された記録の情報にのみ基づく

    - {{ reduce_key }}にのみ焦点を当て、他の薬剤には触れない

    - すべての記録から関連する詳細を含む

    - 明確で簡潔に書く

    - 記録からの引用を含める

    '
  reduce_key:
  - medication
  type: reduce
  verbose: true
pipeline:
  output:
    intermediate_dir: intermediate_results
    path: medication_summaries.json
    type: file
  steps:
  - input: transcripts
    name: medical_info_extraction
    operations:
    - extract_medications
    - unnest_medications
    - resolve_medications
    - summarize_prescriptions

  blocking_threshold: 0.9899

from docetl.api import Pipeline, Dataset, MapOp, ReduceOp, UnnestOp, ResolveOp, PipelineStep, PipelineOutput

# Define datasets
datasets = {
    "transcripts": Dataset(type="file", path="medical_transcripts.json"),
}

# Define operations
extract_medications_prompt = """\
以下の医師と患者の会話の記録を分析してください:
{{ input.src }}
会話記録に記載されているすべての薬剤を抽出し、リスト化してください。
薬剤が記載されていない場合は、空のリストを返してください。
"""

resolve_medications_comparison_prompt = """\
以下の2つの薬剤のエントリーを比較してください:
エントリー1: {{ input1.medication }}
エントリー2: {{ input2.medication }}
これらの薬剤が同じまたは密接に関連している可能性があるかどうかを判断してください。
"""

resolve_medications_resolution_prompt = """\
以下の一致した薬剤のエントリーに基づいて:
{% for entry in inputs %}
エントリー{{ loop.index }}: {{ entry.medication }}
{% endfor %}
このグループのエントリーを最もよく表す標準化された薬剤名を決定してください。
標準化された名前は、すべての一致したエントリーを最もよく表す、広く認識された薬剤名であるべきです。
"""

summarize_prescriptions_prompt = """\
以下は、医師と患者の間の会話の記録です:

{% for input in inputs %}
会話記録 {{ loop.index }}:
{{ input.src }}
{% endfor %}

薬剤{{ reduce_key }}について、上記の会話に基づいて以下の情報を提供してください:

1. 副作用: {{ reduce_key }}に関して言及されたすべての副作用を要約してください。
2. 治療用途: {{ reduce_key }}が処方または推奨された医療条件や症状を説明してください。

要約する際には以下を守ってください:
- 提供された記録の情報にのみ基づく
- {{ reduce_key }}にのみ焦点を当て、他の薬剤には触れない
- すべての記録から関連する詳細を含む
- 明確で簡潔に書く
- 記録からの引用を含める
"""

operations = [
    MapOp(
        name="extract_medications",
        type="map",
        prompt=extract_medications_prompt,
        output={"schema": {"medication": "list[string]"}}
    ),
    UnnestOp(
        name="unnest_medications",
        type="unnest",
        unnest_key="medication",
    ),
    ResolveOp(
        name="resolve_medications",
        type="resolve",
        blocking_keys=["medication"],
        blocking_threshold=0.6162,
        comparison_prompt=resolve_medications_comparison_prompt,
        embedding_model="text-embedding-3-small",
        output={"schema": {"medication": "string"}},
        resolution_prompt=resolve_medications_resolution_prompt,
    ),
    ReduceOp(
        name="summarize_prescriptions",
        type="reduce",
        reduce_key="medication",
        prompt=summarize_prescriptions_prompt,
        output={"schema": {"side_effects": "string", "side_effects": "string"}}
    )

]

# Define pipeline steps
steps = [
    PipelineStep(name="extract_step", input="transcripts", operations=["extract_medications"]),
    PipelineStep(name="unnest_step", input="extract_step", operations=["unnest_medications"]),
    PipelineStep(name="resolve_step", input="unnest_step", operations=["resolve_medications"]),
    PipelineStep(name="summarize_step", input="resolve_step", operations=["summarize_prescriptions"]),
]

# Define pipeline output
output = PipelineOutput(type="file", path="medication_summaries.json", intermediate_dir="intermediate_results")

# Create the pipeline
pipeline = Pipeline(
    name="medical_info_extraction",
    datasets=datasets,
    operations=operations,
    steps=steps,
    output=output,
    default_model="gpt-4o-mini"
)

# Optimize the pipeline
optimized_pipeline = pipeline.optimize()

# Run the optimized pipeline
result = optimized_pipeline.run() # Saves the result to the output path

print(f"Pipeline execution completed. Total cost: ${result:.2f}")

───────────────────────────────────────────── Optimizer Configuration ─────────────────────────────────────────────
[07:32:40] Sample Size: {'reduce': 40, 'map': 5, 'resolve': 100, 'equijoin': 100, 'filter': 5,       builder.py:209
           'split': 100, 'gather': 100}                                                                            
           Max Threads: 8                                                                            builder.py:210
           Model: gpt-4o-2024-08-06                                                                  builder.py:211
           Timeout: 60 seconds                                                                       builder.py:212
───────────────────────────────────────── Beginning Pipeline Optimization ─────────────────────────────────────────
           Syntax check passed for all operations.                                                   builder.py:194
Processing map items: 100%|██████████| 2/2 [00:00<00:00,  2.87it/s]
[07:32:41] Flushing cache to disk...                                                                   utils.py:116
           Cache flushed to disk.                                                                      utils.py:118
           Saved intermediate results to disk at                                                      builder.py:56
           /root/.docetl/cache/medical_info_extraction/5ddc93c6b1435fcbf6d0b91bdc6bf1bd.json                       
           Loading dataset from disk... 5ddc93c6b1435fcbf6d0b91bdc6bf1bd.json                         builder.py:50
           Flushing cache to disk...                                                                   utils.py:116
           Cache flushed to disk.                                                                      utils.py:118
           Saved intermediate results to disk at                                                      builder.py:56
           /root/.docetl/cache/medical_info_extraction/2b624ec44d6ac8d6578e4224bcebc630.json                       
           Loading dataset from disk... 2b624ec44d6ac8d6578e4224bcebc630.json                         builder.py:50
[07:32:42] Comparisons saved by blocking: 0 (0.00%)                                                  resolve.py:343
Processing batches of 100 LLM comparisons: 100%|██████████| 1/1 [00:00<00:00, 1268.31it/s]
           Number of keys before resolution: 2                                                       resolve.py:440
           Number of distinct keys after resolution: 1                                               resolve.py:441
Determining resolved key for each group of equivalent keys: 100%|██████████| 1/1 [00:00<00:00,  1.30it/s]
           Self-join selectivity: 1.0000                                                             resolve.py:468
           Flushing cache to disk...                                                                   utils.py:116
           Cache flushed to disk.                                                                      utils.py:118
           Saved intermediate results to disk at                                                      builder.py:56
           /root/.docetl/cache/medical_info_extraction/60f974a12282ee10a47d86b0f19d1abe.json                       
           Loading dataset from disk... 60f974a12282ee10a47d86b0f19d1abe.json                         builder.py:50
Processing reduce items: 100%|██████████| 1/1 [00:00<00:00,  1.01it/s]
[07:32:43] Flushing cache to disk...                                                                   utils.py:116
           Cache flushed to disk.                                                                      utils.py:118
           Saved intermediate results to disk at                                                      builder.py:56
           /root/.docetl/cache/medical_info_extraction/d407cd2b255730461564914952847093.json                       
           Total agent cost: $0.00                                                                   builder.py:596
           Total operations cost: $0.00                                                              builder.py:599
           Total cost: $0.00                                                                         builder.py:602
────────────────────────────────────────────────── Syntax Check ───────────────────────────────────────────────────
Performing syntax check on all operations...
Syntax check passed for all operations.
─────────────────────────────────────────────── Pipeline Execution ────────────────────────────────────────────────
──────────────────────────────────────────────── Loading Datasets ─────────────────────────────────────────────────
Loaded dataset: transcripts
────────────────────────────────────────── Executing Step: extract_step ───────────────────────────────────────────
Running Operation:
  Type: map
  Name: extract_medications
Processing map items: 100%|██████████| 2/2 [00:00<00:00, 347.17it/s]
[07:32:43]         Operation extract_medications completed. Cost: $0.00                               runner.py:245
✓ Intermediate saved for operation 'extract_medications' in step 'extract_step' at 
intermediate_results/extract_step/extract_medications.json
           Flushing cache to disk...                                                                   utils.py:116
[07:32:44] Cache flushed to disk.                                                                      utils.py:118
           Step extract_step completed. Cost: $0.00                                                   runner.py:137
─────────────────────────────────────────── Executing Step: unnest_step ───────────────────────────────────────────
Running Operation:
  Type: unnest
  Name: unnest_medications
                   Operation unnest_medications completed. Cost: $0.00                                runner.py:245
✓ Intermediate saved for operation 'unnest_medications' in step 'unnest_step' at 
intermediate_results/unnest_step/unnest_medications.json
           Flushing cache to disk...                                                                   utils.py:116
           Cache flushed to disk.                                                                      utils.py:118
           Step unnest_step completed. Cost: $0.00                                                    runner.py:137
────────────────────────────────────────── Executing Step: resolve_step ───────────────────────────────────────────
Running Operation:
  Type: resolve
  Name: resolve_medications

           Comparisons saved by blocking: 1 (100.00%)                                                resolve.py:343
Processing batches of 100 LLM comparisons: 0it [00:00, ?it/s]
           Number of keys before resolution: 2                                                       resolve.py:440
           Number of distinct keys after resolution: 2                                               resolve.py:441

Determining resolved key for each group of equivalent keys: 100%|██████████| 2/2 [00:00<00:00, 3572.66it/s]
           Self-join selectivity: 0.0000                                                             resolve.py:468
                   Operation resolve_medications completed. Cost: $0.00                               runner.py:245
✓ Intermediate saved for operation 'resolve_medications' in step 'resolve_step' at 
intermediate_results/resolve_step/resolve_medications.json
           Flushing cache to disk...                                                                   utils.py:116
           Cache flushed to disk.                                                                      utils.py:118
           Step resolve_step completed. Cost: $0.00                                                   runner.py:137
───────────────────────────────────────── Executing Step: summarize_step ──────────────────────────────────────────
Running Operation:
  Type: reduce
  Name: summarize_prescriptions

Processing reduce items:   0%|          | 0/2 [00:00<?, ?it/s]
Processing reduce items: 100%|██████████| 2/2 [00:02<00:00,  1.01s/it]
[07:32:46]         Operation summarize_prescriptions completed. Cost: $0.00                           runner.py:245
✓ Intermediate saved for operation 'summarize_prescriptions' in step 'summarize_step' at 
intermediate_results/summarize_step/summarize_prescriptions.json
           Flushing cache to disk...                                                                   utils.py:116
           Cache flushed to disk.                                                                      utils.py:118
           Step summarize_step completed. Cost: $0.00                                                 runner.py:137

────────────────────────────────────────────────── Saving Output ──────────────────────────────────────────────────
💾 Output saved to medication_summaries.json
──────────────────────────────────────────────── Execution Summary ────────────────────────────────────────────────
Total cost: $0.00
Total time: 2.49 seconds
Pipeline execution completed. Total cost: $0.00

$ tree intermediate_results/
intermediate_results/
└── medical_info_extraction
    ├── extract_medications.json
    ├── resolve_medications.json
    ├── summarize_prescriptions.json
    └── unnest_medications.json

1 directory, 4 files

[
  {
    "medication": [
      "リシノプリル"
    ],
    "src": "医師: こんにちは、ジョンソンさん。新しい薬、リシノプリルを飲み始めてから、体調はいかがですか?\n患者: ええ、先生。血圧は改善されたように感じますが、乾いた咳が続いています..."
  },
  {
    "medication": [
      "メトフォルミン"
    ],
    "src": "医師: おはようございます、スミスさん。今日はメトフォルミン処方の経過観察ですね。\n患者: はい、先生。規則正しく服用していますが、いくつかの副作用が気になっています..."
  }
]

[
  {
    "medication": "リシノプリル",
    "src": "医師: こんにちは、ジョンソンさん。新しい薬、リシノプリルを飲み始めてから、体調はいかがですか?\n患者: ええ、先生。血圧は改善されたように感じますが、乾いた咳が続いています..."
  },
  {
    "medication": "メトフォルミン",
    "src": "医師: おはようございます、スミスさん。今日はメトフォルミン処方の経過観察ですね。\n患者: はい、先生。規則正しく服用していますが、いくつかの副作用が気になっています..."
  }
]

[
  {
    "medication": "リシノプリル",
    "src": "医師: こんにちは、ジョンソンさん。新しい薬、リシノプリルを飲み始めてから、体調はいかがですか?\n患者: ええ、先生。血圧は改善されたように感じますが、乾いた咳が続いています..."
  },
  {
    "medication": "メトフォルミン",
    "src": "医師: おはようございます、スミスさん。今日はメトフォルミン処方の経過観察ですね。\n患者: はい、先生。規則正しく服用していますが、いくつかの副作用が気になっています..."
  }
]

[
  {
    "side_effects": "この会話において、リシノプリルの副作用として「乾いた咳」が言及されています。",
    "uses": "リシノプリルは血圧を改善するために処方されており、患者は「血圧は改善されたように感じます」と述べています。",
    "medication": "リシノプリル"
  },
  {
    "side_effects": "メトフォルミンに関して、スミスさんは「いくつかの副作用が気になっています」と述べていますが、具体的な副作用の詳細は記録には明記されていません。",
    "uses": "メトフォルミンはスミスさんに処方され、経過観察が行われています。これは主に糖尿病治療に用いられる薬剤です。",
    "medication": "メトフォルミン"
  }
]

!docetl clear

13種類の書き換えディレクティブについて教えて

DocETLは文書処理パイプラインのように思えるのだが、なぜタイトルに「Query Rewriting」とあるのだろう？

LLMにあたえるプロンプト≒クエリっていうわけではないってことかな？