Open2
『LangSmith入門―トレース／評価／プロンプト管理などを担うLLMアプリ開発プラットフォーム』に参加してみた🌟
まさぴょん🐱LangSmith入門―トレース／評価／プロンプト管理などを担うLLMアプリ開発プラットフォーム
発表資料 & SampleCode
発表資料
SampleCode - GitHub
講座概要
大規模言語モデル（LLM）を活用したアプリケーション開発への取り組みが活発になり、最近ではプロダクショングレードなLLMアプリの開発で生じる様々な課題が議論されるようになってきました。
プロダクショングレードなLLMアプリ開発のためのプラットフォームの1つが「LangSmith」です。
LangSmithは、LLMアプリ開発のフレームワーク「LangChain」の開発元が提供しており、LangChainと非常に簡単に統合してトレースを収集できることで有名です。
しかし実は、LangSmithの機能はさらに多岐に渡っており、データセットの管理やアノテーションキューといった評価のための機能、プロンプトの管理・共有のための機能など、LLMアプリ開発の様々な場面で活用することができます。
この勉強会では、LangSmithの入門としてTracing / Evaluation / Prompt HubといったLangSmithの各種機能を解説していきます。
アジェンダ
- LangSmithの概要
- LangSmithの機能解説 (Tracing / Evaluation / Prompt Hubなど)
主な対象者
- LangSmithに興味がある方
- 前提とする知識
- Pythonの基礎知識
- OpenAIのChat Completions APIの基礎知識
- LangChainの基礎知識 (PromptTemplateやChainの概念を理解している程度) ※1
※1 LangChainの基礎知識のための参考資料
- LangChainの基礎知識のための参考資料としては、過去の勉強会「プロンプトエンジニアリングから始めるLangChain入門」の発表資料・アーカイブ動画を参照いただくのがおすすめです。
発表資料: https://speakerdeck.com/os1ma/puronputoenziniaringukarashi-merulangchainru-men
アーカイブ動画: https://youtube.com/live/8FPgoCjoenI
または、書籍『ChatGPT/LangChainによるチャットシステム構築［実践］入門』をおすすめします。
まさぴょん🐱LangSmith 基礎
