Closed3

OpenAI Token数推定

sugar-catsugar-cat
import { encoding_for_model } from 'tiktoken'

const e = encoding_for_model('gpt-4-turbo-preview')

const i = `
『古今和歌集』(こきんわかしゅう)とは、平安時代の歌集。
全二十巻。勅撰和歌集として最初に編纂されたもの[注 1]。
醍醐天皇の命により編纂され、905年に奏上された。
後世の勅撰和歌集の範となり、国風文化・日本文学に影響をのこした。略称を『古今集』(こきんしゅう)という。
`
console.log('input', i.length)
//139
const tokens = e.encode(i)

// トークン長
console.log('output', tokens.length)
//156

const text = e.decode(tokens)

console.log('復元', new TextDecoder().decode(text))
このスクラップは2024/05/09にクローズされました