跳到正文
Simon Willison·· 4 天前AI 评分38

ttok 1.0 发布:默认切换到 GPT-5/GPT-6 tokenizer

ttok 1.0

AI 导读

Simon Willison 发布 ttok 1.0,将默认 tokenizer 从 GPT-4 切换为 GPT-5/GPT-6。OpenAI 尚未确认 GPT-6 与 GPT-5 家族使用相同 tokenizer,但 William Liu 的实验显示 7 个 GPT 模型在 31 个 fixtures 上均为 44,794 tokens,结果完全匹配。

来源:Simon Willison · simonwillison.net