Transformers 常见问题

六、常见问题

• transformers 能直接做高并发服务吗？能跑，但吞吐远低于专用推理引擎。真上量建议换引擎。
• 为什么我的模型加载后输出质量很差？先检查对话模板与分词器是否配套，再看精度设置与生成参数。九成问题出在输入构造上。
• LoRA 微调后效果不明显？检查 target_modules 是否真的匹配到了层，用 print_trainable_parameters() 确认可训练参数量不是零。
• 怎么判断该不该开 trust_remote_code？先读模型仓库里的建模代码；生产环境优先选择不需要远程代码的架构。
• 显存不够怎么办？按「降精度 → 降 batch → 梯度检查点 → 量化 → 多卡切分」的顺序依次尝试，每一步都用显存统计确认收益。
• 具体的兼容矩阵、缓存环境变量名、量化后端支持范围以官方文档为准，版本迭代快，不要照抄旧文章的写法。