Token 收费举例
在使用大模型服务时，计费通常基于 Token 消耗。例如：
-
推理输入：0.6 元/百万 tokens
- 含义：向大模型提问、上传文档、粘贴上下文等'给模型看的内容'，每消耗 100 万个 tokens，收费 0.6 元。
- 通俗例子：发送一段 1000 字的文章给模型，大约 ≈ 1300 tokens（按 1 字 ≈ 1.3 tokens 粗算）。费用 ≈ 0.6 元 / 1,000,000 × 1,300 ≈ 0.00078 元，几乎可以忽略不计。
-
推理输出：3.6 元/百万 tokens
- 含义：模型生成的回答、代码、文案等'给你的内容'，每消耗 100 万个 tokens，收费 3.6 元。
- 通俗例子：模型生成一篇 1000 字的回答，同样约 1300 tokens。费用 ≈ 3.6 / 1,000,000 × 1,300 ≈ 0.00468 元，比输入贵一些。
Token 到底是什么？
Token 是大语言模型（LLM）处理文本的最小单位，可理解为模型'读'和'写'的'单词/字符/子词'。它并非单一技术点，而是一套贯穿模型训练、推理和部署的核心机制。
1. 本质：文本的'数字化编码'
- Token 是模型将人类可读的文本（中文、英文、数字、符号等）切分并编码后得到的数字 ID。
- 模型不直接处理'汉字'或'字母'，而是处理这些数字 ID。
- 切分规则由模型的**分词器（Tokenizer）**决定，不同模型（如 GPT、Doubao、Claude）的分词规则略有差异。
2. 常见的 Token 类型
- 英文/拉丁语言：通常是子词（Subword），例如
unhappiness会被切分为un,happiness。 - 中文：通常是单字或双字词，例如'我爱中国'可能被切分为
我,爱,中,国或我爱,中国。 - 特殊符号：空格、标点、换行符等也会被编码为独立的 Token。
3. 一个直观的例子
以 Doubao/OpenAI 的分词器为例：
- 输入文本：
Hello, 我是豆包，一个 AI 助手。 - 分词结果（Token）：
Hello,,,我,是,豆,包,，,一,个,AI,助,手,。 - 每个 Token 对应一个唯一的数字 ID，例如
Hello→15496，我→1770。
Token 对应的核心技术点
1. 分词器（Tokenizer）：文本到 Token 的桥梁
- 技术角色：负责将输入文本切分为 Token，并将 Token 映射为模型可处理的数字 ID。
- 关键技术：
- BPE（Byte Pair Encoding）：最主流的分词算法，通过统计语料中高频出现的字符组合，逐步合并为子词，平衡词汇表大小和分词效率。
- Unigram 模型：从一个大的初始词汇表中，通过概率模型逐步移除低频 Token，优化分词效果。
- 字节级分词：直接对 UTF-8 字节进行编码，避免处理生僻字或 emoji 时出现'未知 Token'的问题。
- 技术意义：分词器的质量直接影响模型对文本的理解能力。好的分词器能准确切分专业术语、方言词汇，避免语义丢失。
2. 嵌入层（Embedding Layer）：Token 到向量的转换
- 技术角色：将每个 Token 的数字 ID 转换为一个高维向量（Embedding），这个向量包含了 Token 的语义信息。
- 关键技术：
- 词嵌入（Word Embedding）：通过训练学习到的向量，例如
猫和狗的向量在空间中距离较近，因为它们都是动物。 - 位置编码（Positional Encoding）：Transformer 模型本身不具备时序感知能力，位置编码会为每个 Token 添加位置信息，让模型知道'我'在'爱'之前。
- 词嵌入（Word Embedding）：通过训练学习到的向量，例如
- 技术意义：嵌入层是模型理解文本语义的第一步，高质量的嵌入能让模型更好地捕捉文本中的上下文关系。
3. 上下文窗口（Context Window）：Token 的'记忆容量'
- 技术角色：模型在一次推理中能处理的最大 Token 数量，包括输入和输出。
- 关键技术：
- 注意力机制（Attention Mechanism）：Transformer 模型的核心，通过计算 Token 之间的注意力权重，让模型关注文本中的关键信息。注意力机制的计算复杂度是 O(n²)，n 是 Token 数量，因此上下文窗口越大，计算成本越高。
- 滑动窗口（Sliding Window）：为了突破上下文窗口的限制，一些模型会采用滑动窗口技术，只关注当前窗口内的 Token。
- KV 缓存（KV Cache）：在多轮对话中，模型会缓存之前的 Key 和 Value 向量，避免重复计算，提高推理效率。
- 技术意义：上下文窗口决定了模型能'记住'多少信息。256k 的上下文窗口意味着模型可以处理长达 19 万字的文本，这对于长文档理解、代码生成等场景至关重要。
4. 推理成本（Cost）：Token 的'经济价值'
- 技术角色：Token 是计算和存储成本的基本单位。
- 关键技术：
- 计算成本：每个 Token 都需要经过多层 Transformer 块的计算，Token 数量越多，计算时间越长，GPU 资源消耗越大。
- 存储成本：KV 缓存需要存储之前的 Key 和 Value 向量，Token 数量越多，占用的显存越大。
- 缓存命中（Cache Hit）：如果输入 Token 序列与之前的请求高度相似，模型可以直接复用之前的计算结果，大幅降低成本。
- 技术意义：Token 数量直接决定了模型的使用成本。优化 Token 数量（例如使用更高效的分词器、压缩文本）是降低大模型部署成本的关键。
Token 技术栈的完整流程
- 文本输入：用户输入
Hello, 我是豆包。 - 分词：Tokenizer 将文本切分为
Hello,,,我,是,豆,包,。，并映射为数字 ID。 - 嵌入：嵌入层将数字 ID 转换为高维向量，并添加位置编码。
- 推理：Transformer 模型通过注意力机制处理这些向量，生成新的 Token 序列。
- 解码：Tokenizer 将生成的 Token 序列转换回人类可读的文本。
- 计费：根据输入和输出的 Token 数量，计算使用成本。
总结：Token 为什么重要？
- 它是模型的'语言'：模型通过 Token 来理解和生成文本。
- 它是成本的'标尺'：Token 数量直接决定了模型的计算和存储成本。
- 它是能力的'边界'：上下文窗口的大小决定了模型能处理的文本长度和复杂程度。
