Llama 常见问题

常见问题

• 许可证到底能不能商用？可以，但有附加条件。必须读 Meta 官方发布的 Llama Community License 原文与可接受使用政策，重点确认月活阈值条款与分发时的署名要求。条款以官方文本为准，不要以二手转述为依据。
• 选哪个尺寸？先按可用显存反推：权重显存 ≈ 参数量 × 每权重比特数 ÷ 8，再给 KV cache 和运行时留余量。宁可选小一档跑得稳，也不要靠极低量化硬撑大尺寸。
• Q4_K_M 和 Q5_K_M 差多少？差异体现在长文本与复杂推理任务上，短问答常常感知不到。正式上线前用你的真实业务样本跑一轮盲测，别只看通用榜单。
• Ollama 和 llama.cpp 什么关系？Ollama 底层就是 llama.cpp，外面包了一层模型管理与服务编排，方便换模型和打包分发；需要精细控制参数时直接开 llama-server 更透明。
• 怎么判断是不是模板问题？把同一段 prompt 用 llama-cli 的原始补全模式跑一遍：如果补全正常、对话模式异常，基本可以确定是 chat template 或 stop token 配错了。
• 多卡怎么用？vLLM 通过张量并行（--tensor-parallel-size）切分模型；llama.cpp 用 -ngl 配合 --split-mode 控制层在多卡间的分布。具体可用组合以各项目官方文档为准。
• 输出可复现吗？固定 seed 并把 temperature 设为 0 可得到基本确定的输出；但不同硬件、不同引擎、不同量化档位之间仍可能有细微差异，跨环境严格逐字复现不可保证。