Closed10
ChatGPT memo
プロンプトデザインの流れで見かけるプログラム逐次実行は本当に"シミュレータ"なのか問題
参考:
試しに紛らわしい事例をPythonで命じてみる
Pythonにおける型ヒントはあくまでヒントに過ぎず、型を制約するものではない。
.pyやコンソールで試してみるとわかるが、実行時によしなにcastされて出力結果は"333"となる。
オチはこれか?
出力されたのは "pythonのような何か" だった
「正しく実行する」よりも「正しく意図を汲み取る」方を優先しているようにみえる
- 厳密なプログラミング用途で使うのは難しそう
- とはいえこの分野ではすぐに実行しエラーで確認できるのでそこは大した障壁ではない
- どちらかというと「自然言語によりプログラミングができる」ことのほうがアドがでかい
- しかもプログラミング言語的な正しさはあまり重要ではない
- ChatGPTが"よしなに"解釈してくれるから
webアプリケーションで稼働済みのChatbotに対し、過去ログ参照機能をつけたい
後に記事にまとめる
ベースはこのあたりを参考にさせていただいた
pythonのほうが事例が豊富、かつtsもたいして変わらない
- dbから記事データを抽出
- 簡略のためHTMLタグやURLを除去する正規表現でクレンジング
- text splitterに渡す
-> ここまでで無限に時間溶かした
ひたすらにエラーが続いたがText Splittersが問題だった模様
出力された Document オブジェクトを見てもさほど違いがわからなかったが、最終的にはTokenTextSplitter
に落ち着いた
https://js.langchain.com/docs/modules/indexes/text_splitters/examples/
vector storesも注意が必要、と言ってもドキュメントの "選定基準" を読めば問題はない
今回は HNSWLib
を選定(私自身は下記を読んでおらずしばらくChromaで沼った)
このスクラップは2023/05/06にクローズされました