看懂大模型参数
参数量、Token、上下文窗口是衡量大模型的三大核心指标,分别对应模型的「知识容量」「语言单位」和「记忆长度」,直接决定了模型的能力边界、使用成本和体验。
参数量:模型的知识容量
参数量是模型中可训练参数的个数,单位通常用 B(十亿)表示,比如 7B、70B、130B。
直观理解:参数量越大,模型能存储的知识、规律、模式就越多,复杂推理能力越强;但对应的算力需求越大、推理速度越慢、使用成本越高。
常见误区:不是参数量越大效果就一定越好。在垂直专业场景,经过数据优化的小模型,效果可能比通用大模型更好,性价比高几十倍。选型要匹配场景,不要盲目追大。
Token:大模型的语言单位
Token 是大模型处理文本的最小单位,它不是一个字,也不是一个词。中文里大约 1 个 Token 对应 1.5~2 个汉字,英文里 1 个 Token 对应 0.75 个单词。
为什么要用 Token:模型不直接识别文字,需要先把文字转换成数字编号的 Token 才能处理;同时大模型的计费、长度限制,都是按 Token 计算的。
实际意义:调用 API 的成本、输出长度限制、上下文窗口大小,全部以 Token 为单位。理解 Token,才能准确核算成本、控制输出长度、评估模型规格。
上下文窗口:模型的短期记忆
上下文窗口(Context Window),指模型一次能记住的文本总长度,单位是 Token,常见的有 8K、32K、128K、1M。
直观理解:窗口越大,一次性能给模型看的资料越长,就能直接处理长文档问答、整段代码修改、长对话等场景,不需要分段拆分投喂。
注意事项:窗口越大,推理成本越高、速度越慢;而且不是窗口越大准确率越高,过长的上下文反而可能稀释关键信息,导致模型抓不住重点。
其他关键实用指标
推理速度:每秒生成的 Token 数,直接决定用户的等待时长,一般每秒 30~60Token 属于流畅体验;
并发量:同时能承载的请求路数,决定了应用能支持多少用户同时使用;
幻觉率:输出虚假信息的概率,决定了内容的可靠性,是专业场景的核心指标。

