GPT 中 Token 是怎么计算的?中英文 Token 计算方式的区别

2023年5月12日上午9:58 • 教程 • 阅读 826

GPT 中 Token 是怎么计算的，能否在不发送请求之前就进行相对准确的计算？中英文 Token 计算方式的区别之类的。

OpenAI 确实提供了这样的工具，可以直接在线体验：

https://t.co/sgMlKVTDDE

也提供了一个 Python 包 github.com/openai/tiktoken 支持多种模型，包括GPT4

本文地址：https://www.163264.com/3347

上一篇 2023年5月11日下午8:39

下一篇 2023年5月15日下午8:37