🐬

TypeScriptでZodを使ってLLMに型定義を教える

に公開

先日、同僚がPythonのPydanticを使用したLLMへの型定義設定の記事を書いていました。私も個人的に好きな言語であるTypeScriptで同じ内容を作成してみました。Pythonがどうしても好きでやめられない止まらないという方は、ぜひPydanticで実現している記事をご覧ください。
https://zenn.dev/aiforall/articles/50e48655500813

LangChainとZodで実現する型安全なLLMの構造化出力

LLMをアプリケーションに組み込む際、最も頭を悩ませるのが 「出力の構造化」。
LLM から返ってくる回答をそのまま画面に表示するだけなら良いのですが、データベースに保存したり、後続の処理に渡したりする場合、JSON 形式で、かつ特定のスキーマに従っている必要があります。

TypeScript環境においてZodを使い、型安全にLLMの出力を制御する2つのアプローチを紹介します。

LangChainのwithStructuredOutputを使う

まずは、LangChainを利用した最もモダンで簡単な方法です。
LangChainには、モデルの出力をZodスキーマに強制するwithStructuredOutputというメソッドが用意されています。
これは前述のPythonでの記事で使用しているメソッドと同様です。

実装例

まずは、出力させたいデータの形をZodで定義します。
簡単なものとして料理のスキーマを用意してみます。

import { z } from "zod";

const recipeSchema = z.object({
  recipeName: z.string().describe("料理の名前"),
  ingredients: z.array(z.string()).describe("必要な材料のリスト"),
  steps: z.array(z.string()).describe("調理工程"),
  cookingTimeMinutes: z.number().describe("目安の調理時間(分)"),
});

これさえあれば、あとは、これをそのままモデルに設定してあげます。

import { ChatBedrockConverse } from "@langchain/aws";

async function main() {
  const model = new ChatBedrockConverse({
    // 環境に合わせて値を設定(この例ではBedrockでclaude-3-5-haikuを使用しています)
    model: "anthropic.claude-3-5-haiku-20241022-v1:0",
  });

  // ここでZodの定義を設定
  const structuredModel = model.withStructuredOutput(recipeSchema);
  // LLMにメッセージを送信
  const response = await structuredModel.invoke("カレーの作り方を教えて");

  // Zodで定義したオブジェクトの値が取得できる
  console.log(response.steps);
}

main();

出力した結果は以下の通りで、しっかりとzodで定義した形式通りの値が得られます。
(個人的にはお米が唐突に登場するのが気になりますが)

[
  '野菜と肉を一口大に切る',
  '鍋にサラダ油を熱し、肉を炒める',
  '肉の色が変わったら、玉ねぎ、にんじん、じゃがいもを加えて炒める',
  '野菜に油が回ったら、水を加えて中火で20分ほど煮込む',
  '野菜が柔らかくなったら火を弱め、カレールーを加えてよく混ぜる',
  'とろみがつき、味が馴染んだら完成',
  'ご飯の上にかけて完成'
]

この優れている点は、LLMの出力を頑張ってパースする必要もなければ、返却値の内容が自動的に推論されるため、型ガードのロジックも必要ない点です。ただ、時にはLLMも人間と同様に間違いを犯すので、ZodのDescribeで詳細な説明を加えたり、Try-catchによる制御を行ったほうが、最適です。
便利ではありますが、完璧ではないということを理解して扱えるといいかもしれません。

LangChainを使わず、自前でスキーマを注入する

LangChainは便利ですが、世の中には、一般のフレームワークやライブラリを使用することが許されないプロジェクトや、その製品でしか使えない独自フレームワークを作りたい人もいるかも知れません(心中お察しいたします)。

そのような状況では、ZodのスキーマからJSON Schema(またはそれに類する文字列表現) を生成し、システムプロンプトに挿入します。
(LangChainが使えないところがZodを使えるとは思えませんがZod相当のバリデーターであれば頑張って作れると思うので、Zodの再現については割愛)

実装例

ここでは、zod-to-json-schemaを使用して、Zodの定義をLLMが理解しやすい形式に変換します。
Zodのスキーマは先程と同様に料理に関するスキーマを使用します。

ZodのスキーマからJSONの構造を文字列として取得するのは簡単で、以下のように文字列化が可能です。あとはこれをLLMに渡してあげるだけです。

import { zodToJsonSchema } from "zod-to-json-schema";

const jsonSchemaString = JSON.stringify(zodToJsonSchema(recipeSchema), null, 2);

LLMにJSONの文字列を渡すだけでは意味がわからないため、システムプロンプトも適当に設定します。

const systemPrompt = `
入力されたテキストから料理のレシピを作成し、以下の JSON スキーマに従って JSON 形式で出力してください。

<schema>
${jsonSchemaString}
</schema>

必ず有効な JSON のみを出力してください。
`;

なんというか、親の顔よりもみたプロンプトという感じですね。

最後にBedrockへの接続を行い、それぞれプロンプトを設定し実行します。

import { BedrockRuntimeClient, ConverseCommand } from "@aws-sdk/client-bedrock-runtime";

const client = new BedrockRuntimeClient({
  // 接続クライアントの作成(この例ではBedrockを使用)
});
const command = new ConverseCommand({
  modelId: "anthropic.claude-3-5-haiku-20241022-v1:0",
  // 前述のシステムプロンプトを設定
  system: [{ text: systemPrompt }],
  messages: [{
    role: "user",
    content: [{ text: "カレーの作り方を教えて" }],
  }],
  inferenceConfig: { temperature: 0 },
});

// LLMを実行
const response = await client.send(command);
// Bedrock (Converse API) のレスポンスからテキストを取り出す
const content = response.output?.message?.content?.[0]?.text;

if (content) {
  // パースしてバリデーションを行う
  const rawData = JSON.parse(content);
  const validatedData = recipeSchema.parse(rawData);
  // 生成した内容を表示(LangChainの結果と同じ)
  console.log(validatedData.steps);
}

これで、LangChainを使用しなくても、前述と同様に構造化されたデータが取得できました。
ただ、先程も書いた通り、LangChainなどOSSが使用できない環境の場合、Zodと同等のバリデーターを開発する必要もあるし、LLMへの接続にHTTPリクエストなども行わなければならないため、骨が折れそうです。しかし、この例は単純にLLMへの問い合わせを強制したい以外に自動的なプロンプト生成にも役立つので、LangChainのそれとは使い方や用いる場面は広くあるかもしれません。

まとめ

今回は、TypeScriptでLLMの出力を構造化する2つの方法を紹介しました。

どちらの手法でもZodを中心に据えること(使えればの話だが)で、スキーマ定義がそのまま TypeScriptの型定義として機能し、開発効率を大幅に高めてくれます。
皆さんのプロジェクトの規模や要件に合わせて、最適な手法を選択してみてください。
Pythonよりも普通にTSがすっきー。

株式会社メンバーズ AIフォーオールカンパニー

Discussion