o1-previewモデルのAPIドキュメントを読む

OpenAIドキュメント

https://platform.openai.com/docs/guides/reasoning

感想（2024/10/27時点の情報）

• この日時点でOpenAIのtier1ではo1モデル使用できない
• streamingやfunction callingは使用できない
• 回答前の推論部分はトークンとしてコスト計算されるが、APIとしては推論部分のテキストは出力されない（確認できない）
• レスポンス内のcompletion_tokens_detailsで推論部分のトークンのみでどれくらい利用されたかはわかる
• max_completion_tokensというパラメータを新たに設定でき、これを設定すると推論トークンと回答トークンを含めた合計のトークン値を制限できる。max_tokensパラメータは以前同様に利用でき、回答のトークンを制限できる。
• max_completion_tokensには推論と出力のために少なくとも25000トークン以上を設定することを推奨している。
• （プロンプト）「ステップバイステップで考えて」のようなCoTの文言は与えなくても、推論部分でやってくれるし、むしろ妨げになるかもしれないからプロンプトに入れない方がいい。
• （プロンプト）RAGをするときは複雑な推論ステップにならないように与える情報を絞った方がいい