https://github.com/hwchase17/langchain

読んで良かった資料
https://zenn.dev/umi_mori/books/prompt-engineer/viewer/langchain_overview#langchainとは？

LlamaIndex（旧GPT Index）

https://note.com/npaka/n/n8c3867a55837

https://dev.classmethod.jp/articles/llamaindex-overview/

https://github.com/emptycrown/llama-hub

https://github.com/jerryjliu/llama_index

日本語のPDFをデータを使う場合

https://qiita.com/keitomatsuri/items/4c848d58ea5f9b3ebe42

https://llamahub.ai/l/file-cjk_pdf

https://qiita.com/shimajiroxyz/items/aa1e22e19d690a3944ba

https://note.com/npaka/n/n414cee0722ac

chain の種類に関して書いてある
https://note.com/mega_gorilla/n/n6f46fc1985ca

試してみたいやつ
https://qiita.com/hiroki_okuhata_int/items/7102bab7d96eb2574e7d
https://qiita.com/hiroki_okuhata_int/items/5dc6149ded35c5c3a40f

ドキュメント要約系のタスクに関して
ドキュメントの章を特定して分割して、章毎の要約をしなくいとあまり意味がない。

Sequential Chain

https://python.langchain.com/en/latest/modules/chains/generic/sequential_chains.html

https://note.com/search?q=from%3A%40npaka langchain&context=note&mode=search

https://note.com/npaka/n/n561e597ac5c4

https://note.com/mahlab/n/n0fcc82f4691f

https://speakerdeck.com/chokkan/20230327_riken_llm?slide=25

https://gihyo.jp/article/2023/05/programming-with-chatgpt-03

embedding はこのあたりが役立った
https://github.com/hwchase17/langchain/issues/1560#issuecomment-1491146930
https://github.com/hwchase17/langchain/issues/1560#issuecomment-1541703342

https://python.langchain.com/en/latest/modules/indexes/getting_started.html#one-line-index-creation

https://www.sato-susumu.com/entry/2023/04/30/131338

回答できるようにchunkを作る。

https://qiita.com/akiraak/items/92df97e6627a636e4b59

書きたい記事を書かせるには embeddingによる元文章の取得 + チェーン で積み上げる感じになると思っています。
MLやプロンプトエンジニアリング領域よりは、アプリ寄りの努力が必要だと思っています。

ex. 会社の強みをアピールする記事を書いてください。

• 会社の強みを教えてください -> embeddingによる強み文章の取得 + question に沿った整形
• 1 を具体的に説明してください。 -> チェーン + embeddingによる強み文章の取得 + question に沿った整形
• 1 によって、サクセスした事例を教えてください。 -> チェーン + embeddingによるサクセスした事例の文章の取得
• 1 ~ 3 を踏まえて、アピールする記事を書いてください。 -> チェーン + question に沿った整形

説明ジェネレーター

機能

• サービスの機能を書いた文章をアップロードしたら以下を生成する
  • 機能によってどんなメリットがもたらされるか
  • どんな人にぴったりなのか
  • ユースケース
  • 使ってみた体験談
• 生成した説明文から説明動画を生成する

監査機能の実装

• API マネジメントと監査ログの両方の実装の必要がある

• 質問(LLM)の token 数

• embedding 利用料金

  • https://github.com/hwchase17/langchain/issues/2762

参考:
https://learn.microsoft.com/ja-jp/azure/ai-services/openai/how-to/monitoring
https://zenn.dev/microsoft/articles/azure-openai-nocode-logging#ログ設定
https://learn.microsoft.com/ja-jp/azure/architecture/ai-ml/openai/architecture/log-monitor-azure-openai
https://blog.jbs.co.jp/entry/2023/05/12/105522

オプトアウト

• 無印OpenAIのAPIを使って送った情報に関してはデフォルトで学習されない
  • https://and-engineer.com/articles/ZN3MKBAAAB0AX4wU

MS の監視

• 「マイクロソフトが監視していないという証明」が出してもらえるのか -> ない
  • https://logmi.jp/tech/articles/329039

faiss で id 付与 (できたけれど、その先に問題がある。)
https://github.com/hwchase17/langchain/pull/5190

faiss から id 削除 (langchain) できるけれど、idがずれてしまうらしい。
既存のidがずれてしまったら、削除できないのでアプリで担保。
https://github.com/hwchase17/langchain/issues/2699
https://github.com/hwchase17/langchain/pull/5190

they support removal with remove. Note that this shrinks the index and changes the numbering.
https://github.com/facebookresearch/faiss/wiki/Faiss-indexes

https://crumbjp.hateblo.jp/entry/2021/05/05/Faiss解説シリーズ（第一回）

https://crumbjp.hateblo.jp/entry/2021/05/06/Faiss解説シリーズ（第二回）ハマりポイント集

https://qiita.com/sakasegawa/items/16714fa132e874cab069

chat 機能の実装

https://github.com/AI-Yash/st-chat
https://zenn.dev/kentarok/articles/5e326b627c1b2c
https://github.com/kentaro/research_assistant/blob/main/assistant.py

https://tech-blog.abeja.asia/entry/retrieval-and-llm-20230703

Function Calling

https://qiita.com/sakue_103/items/49d894f1edaa7e995b8c
https://qiita.com/sakue_103/items/d733ee832d880f2686b9
https://platform.openai.com/docs/guides/gpt/function-calling
https://note.com/hamachi_jp/n/nbcaa7cff259d
https://note.com/hamachi_jp/n/n964e2d0e7175
https://zenn.dev/onikarubi/articles/bbb235defa740b

何となく使っているので理解したいやつ
https://note.com/npaka/n/n403fc29a02c7

function calling と stream

https://platform.openai.com/docs/guides/gpt/function-calling
https://zenn.dev/codehex/articles/4b22a01e0b7592

Agent実装

https://zenn.dev/nassy/scraps/c603b6e32be554
https://note.com/nyosubro/n/nc4067b1cfb14#40e2bfdc-de1c-4fcf-bf48-64d09578b8bc
https://recruit.gmo.jp/engineer/jisedai/blog/react-custom-agent/

token数・推薦数

• 上から回答5つを使えば良い

https://techcommunity.microsoft.com/t5/azure-ai-services-blog/azure-cognitive-search-outperforming-vector-search-with-hybrid/ba-p/3929167#generated

loop する function call を止める
https://community.openai.com/t/function-call-loops-on-gpt3-5/314625

function calling の引数を nest する
https://community.openai.com/t/schema-for-defining-arrays-in-function/271690/4
https://community.openai.com/t/function-calling-parameter-types/268564

指示に従わせる

https://aitechworld.info/chatgpt-word/
https://n-v-l.co/blog/chat-gpt-long-sentences

蒸留

https://note.com/gentle_quince437/n/nb12c4ac963f6

RecursiveRetriever

https://note.com/npaka/n/na4cd2e644a32
https://speakerdeck.com/mkazutaka/she-nei-qing-bao-jian-suo-sisutemudeyong-irareruragno4tunoshi-zhuang-fang-fa?slide=24

評価
https://note.com/npaka/n/nc70d33764018
https://qiita.com/nohanaga/items/95a4780757e89b29e93e#4-セマンティックハイブリッド検索が最も欲しいチャンクを返す
https://nttdocomo-developers.jp/entry/20231211_1
https://zenn.dev/microsoft/articles/llm-testing-using-prompt-flow
https://tech.gunosy.io/entry/promptfoo

Agent

https://blog.brainpad.co.jp/category/技術エントリー?page=1687329039

ReAct実装

• https://note.com/npaka/n/n99153644e550
• https://logmi.jp/tech/articles/329010
• https://qiita.com/sakue_103/items/49d894f1edaa7e995b8c#応用編react
• https://qiita.com/kash203/items/91e1cd45f5b0ef41b3d0
• thought, action, action_input, observation, result から変にカスタムすると action してくれなくなった
  • observation を action_result とかに変更したら...
• question に対しての result が安定した
• observation に嘘つかれることが多い

https://qiita.com/YutaroOgawa2/items/aca32f8fd7d551596cf8#05-zero-shot-cot-step-by-step
https://qiita.com/fuyu_quant/items/157086987bd1b4e52e80

ReActとCoT-SCを状況に応じて切り替えることが最も望ましい

https://qiita.com/kzkymn/items/de4e3a17db6e5363705d#主張３reactとcot-scを状況に応じて切り替えることが最も望ましい
https://book.st-hakky.com/data-science/llm-prompt-engineering-react/
https://book.st-hakky.com/data-science/llm-prompt-engineering-self-consistency/

内部知識と外部知識を組み合わせる：
CoT-SCには内部知識によって誤りを犯してしまうため、ReActとCoT-SCの組み合わせを提案する。
ReActで所定のステップ以内に回答を返せなかった場合はReAct→CoT-SCに切り替えて、CoT-SCが所定の回数以下で過半数の回答にならなかった場合、CoT-SC→ReActに切り替える、といった方法で組み合わせる。

CoT-SCをpromptとして与えたLLMとReActをpromptとして与えたLLMを用意しておいて、上記の条件に応じて制御していたのではないでしょうか。

https://zenn.dev/ryo1443/articles/d727b2b9a6d08c#意思決定タスク

debate

同じLLM を使ったり、異なるLLMを使ったりする方法がある。
https://qiita.com/sergicalsix/items/344bd8d5c34df1a731b3#同じ種類のllmのディスカッション
https://github.com/dinobby/ReConcile
https://ai-scholar.tech/articles/agent-simulation/chateval
https://ai-scholar.tech/articles/agent-simulation/reconcile

function calling の実行結果の型がPydanticModelであることににこだわる理由:

• json 化して結果をmessageの中に入れることができる
• テキスト化された状態からparseできる
• 関数1つでjson化できることを保証できる

プロンプト評価
https://qiita.com/fuyu_quant/items/d90c7d69b143d59a7b84

RAG
https://note.com/makunugi/n/n1661507618d5?sub_rt=share_pw
https://tech.explaza.jp/entry/2023/12/04/162659
https://speakerdeck.com/mkazutaka/gptsyorijing-du-nogao-iragsisutemunogou-zhu

プロンプト
https://zenn.dev/zuma_lab/articles/openai-prompt-engineering-guide#雑なプロンプトに１行付け足す

Azure Seach AI の RAG
https://learn.microsoft.com/ja-jp/azure/search/retrieval-augmented-generation-overview

OpenAI ポリシー

	OpenAI API	Azure OpenAI	Azure OpenAI 乱用モニタリング申請
モデルの改善に用いられる	いいえ ※1	いいえ ※4	いいえ ※4
監査用途に30日保持される	はい ※2	はい ※5	いいえ ※5
監査用途で確認される可能性	あり得る ※2	あり得る ※5	ない ※5
安全性のためのフィルタリングが用いられる	ある ※3	ある ※5	ある ※5

※1

https://help.openai.com/en/articles/7039943-data-usage-for-consumer-services-faq
https://help.openai.com/en/articles/5722486-how-your-data-is-used-to-improve-model-performance
https://openai.com/enterprise-privacy

API_privacy_1.png

API_privacy_2.png

API_privacy_3.png

※2

https://platform.openai.com/docs/models/how-we-use-your-data

API_privacy_4.png

※3

https://platform.openai.com/docs/models/how-we-use-your-data

API_privacy_5.png

※4

https://learn.microsoft.com/ja-jp/legal/cognitive-services/openai/data-privacy

AOAI_privacy_1.png

※5

https://learn.microsoft.com/en-us/legal/cognitive-services/openai/data-privacy#preventing-abuse-and-harmful-content-generation

AOAI_privacy_2.png

OpenAI ポリシー 公式以外の参考

https://cloudnative.co.jp/AzureOpenAI

https://www.goatman.co.jp/media/chatgpt-optout/

https://zenn.dev/microsoft/articles/azure-openai-faq

https://zenn.dev/knowledgesense/articles/bb5e15abb3c547

vision のtoken
https://kakaku-techblog.com/entry/2024/02/issue_153/article

プロンプト組み立て
https://github.com/microsoft/prompty/tree/main

https://assured.jp/column/knowledge-soc2

評価:

https://speakerdeck.com/shuntaito/llmops-dmlops

OpenAI model の挙動に関して書いてある

https://cdn.openai.com/spec/model-spec-2024-05-08.html

Reasoning に関して
https://platform.openai.com/docs/guides/reasoning

深いRAG

https://zenn.dev/knowledgesense/articles/034b613c9fd6d3

Corrective RAG が回答するとよさそう。
https://zenn.dev/knowledgesense/articles/64975fb9377f82