Closed3
OpenAI Token数推定

経験則に基づいてトークン数は計算される
各モデルごとに
・Input/OupPutのトークン数の制限が異なる場合はある(GPT-4-turbo)
・言語ごとに消費数が異なる
・公式的にも推定にはtiktokenを使えらしい

TypeScript Tiktoken

import { encoding_for_model } from 'tiktoken'
const e = encoding_for_model('gpt-4-turbo-preview')
const i = `
『古今和歌集』(こきんわかしゅう)とは、平安時代の歌集。
全二十巻。勅撰和歌集として最初に編纂されたもの[注 1]。
醍醐天皇の命により編纂され、905年に奏上された。
後世の勅撰和歌集の範となり、国風文化・日本文学に影響をのこした。略称を『古今集』(こきんしゅう)という。
`
console.log('input', i.length)
//139
const tokens = e.encode(i)
// トークン長
console.log('output', tokens.length)
//156
const text = e.decode(tokens)
console.log('復元', new TextDecoder().decode(text))
このスクラップは2024/05/09にクローズされました