Transformers 核心功能
三、核心功能
| 能力 | 说明 | 关键配置 |
|---|---|---|
| 统一加载 | Auto 系列按名加载模型与分词器 | 模型名、精度、device_map、是否允许远程代码 |
| 对话模板 | 按模型的 chat template 构造输入，保证角色标记正确 | system/user/assistant 角色、是否 add_generation_prompt |
| 生成控制 | 贪心、采样、束搜索、约束生成 | max_new_tokens、temperature、top_p、repetition_penalty |
| 批处理 | 多请求合并推理，提升吞吐 | padding 方向（左侧填充用于生成）、batch size |
| 训练封装 | Trainer 接管训练循环 | 学习率、warmup、评估间隔、checkpoint 策略、混合精度 |
| 参数高效微调 | LoRA 等只训练少量参数 | 秩 r、alpha、目标模块、dropout |
| 量化 | 降低显存占用 | 量化后端、位宽、是否量化 KV cache |
| 多模态 | 图文、语音等模型统一接口 | 处理器类型、图像分辨率 |
| 导出 | 转 ONNX 等格式做部署 | 算子集版本、动态轴 |
其中对话模板最容易被忽略却最容易出问题：同一个基座模型，用错模板会让输出质量断崖式下跌，表现为回答跑题、角色混乱、停不下来。排查生成质量问题时，第一件事就是打印真正送进模型的 token 串看一眼。
