OpenAI functionパラメタは、入力トークンにカウントされるか？

概要

ChatCompletionのFunction Calling機能で、
functionパラメタは、入力トークンにカウントされるかについて調べました。

結論

される。

コード

https://github.com/crandim-rd/23_study_OpenAI/blob/93240dedfd7a36cf2260f8f897ddba64bed0622a/231007_Does_the_functions_parameter_count_as_input_tokens.ipynb

メモ

• 通常のプロンプトと同様のカウント方法だと想像する。
• エージェントのように繰り返しfunctionパラメタを入力する場合の挙動が気になるが、functionsパラメタは、messagesに含めるわけではない。
  • 会話が長くなっても、functionパラメタは、最後の1回分しかカウントされないだろうから、少々長いfunctionsパラメタで長い会話をしても過剰に大きな問題にはならない。
  • もちろんfunctionsのトークン分、会話に使えるトークンは減るが、何倍にもなったりはしない。