Appearance
第 11 章:调参——草稿、翻书、发散、花心
11.1 四个旋钮,管住模型的嘴
模型每次写下一个字,都是从一堆候选字里抽一个。这个过程叫采样。
有四个参数可以影响采样结果:
| 参数 | 一句话 | 管什么 |
|---|---|---|
| Reasoning Budget | "允许打多久草稿" | 想多久再回答 |
| Temperature | "选菜时有多花心" | 敢不敢选冷门 |
| Top-K | "一题多解还是死磕一种" | 考虑几条路径 |
| Top-P | "解题时允许翻哪几本书" | 圈定候选范围 |
处理顺序分两个阶段:
草稿阶段: Reasoning Budget 决定想多久再动笔 采样阶段: Temperature 调分数差距 → Top-K 截前几名 → Top-P 凑够比例就停 → 从最终候选池里抽一个
草稿阶段在采样之前——先想清楚,再下笔。采样阶段内部,Temperature 先把候选人之间的分数差距拉大或压平,然后 Top-K 和 Top-P 在调整后的分布上做截断。
11.2 Reasoning Budget——允许打多久草稿
11.2.1 什么是推理预算
还记得第 8 章说的吗?C 端只有一个"思考模式"开关,API 端把控制权还给了你。Reasoning Budget 就是那个旋钮——不是开/关,而是五档可调。
有些问题张嘴就能答。有些得想一想。
"今天天气怎么样?" → 不用想,直接答 "这道竞赛题怎么解?" → 得打草稿
| 等级 | 一句话 | 什么时候用 |
|---|---|---|
| None | 不想,直接写 | "今天几号" |
| Low | 稍微想想 | 日常问答 |
| Medium | 认真想 | 技术问题 |
| High | 深入推演 | 复杂推理、数学题 |
| X-High / Max | 死磕到底 | 竞赛题、长链推理 |
草稿打得越久,答案越稳——但别忘了第 10 章的结论:token 就是钱。草稿上的每一个思考 token 都在你的账单上,只是不一定显示给你看。
11.2.2 CoT 的本质
CoT(Chain of Thought,思维链)不是什么神秘技术。
CoT = 拿时间和 token 换质量。 多打草稿 = 多烧钱。但草稿写得好,誊上去的答案就稳。
11.2.3 草稿怎么打?各有门派
同样是"允许打草稿",草稿纸上的写法各不一样:
| 风格 | 特征 | 代表 |
|---|---|---|
| 模拟人类解题 | "首先……其次……最后……"一步步推,像真人做题 | DeepSeek |
| 排除法 | "是 A 吗?不对……那是 B 吗?也不对……"逐一排除 | Doubao |
| 自我对话 | 反复推敲、反诘自己、重写 | Claude Opus |
| 结构化拆解 | 先列大纲再填细节,像写提纲 | GPT |
| 分段推演 | 多步思考,每段都列出小标题,层层递进 | Gemini |
方法不同,消耗的 token 也不同。DeepSeek 的草稿纸顺着推,Doubao 的草稿纸横着划——同样的题,花的钱不一样。
Kimi 在某些场景下的草稿输出量明显高于同类模型——具体倍数取决于任务和版本,但"草稿特别长"是社区的普遍反馈。
以上是社区观察到的大致倾向,不是官方标注。同一个模型在不同版本、不同 prompt 下的思考风格也会变化。
11.2.4 草稿和答卷不一样怎么办
有一种情况你可能会遇到:模型在草稿里明明推理正确了,誊到答卷上却写了个不一样的结论。
这个现象叫做 Faithfulness(忠诚度)——思维链和最终输出是否一致。
打个比方:考试的时候,你在草稿纸上算出答案是 B,结果填答题卡的时候手一抖涂成了 C。草稿过程是对的,最终输出是错的。
为什么会这样?因为草稿(思维链)和正式输出是两段独立的生成过程。模型先生成思考 token,再生成回答 token——回答阶段的采样并不是从草稿里"抄答案",而是重新走一遍采样流水线。大部分时候两者一致,但不保证。
根据社区反馈,不同模型的忠诚度差异明显。遇到"草稿对了答案错了"的情况别慌——把思考过程贴出来让模型重新输出一遍,通常第二次就对了。
11.3 Top-P——解题时允许翻哪几本书
模型预测下一个词时,会对所有可能的词打分排序。Top-P 的做法:从最高分往下数,累计分数达到 P 就停,后面的不看。
text
所有候选词按分数排:
标准解法 40% → 变体一 25% → 变体二 15% → 偏方一 8% → 偏方二 5% → 玄学 3% → ...
P=0.9 → 40+25+15+8=88 ✅ +5=93 ✅ → 纳入前 5 个,玄学排除
P=0.5 → 40+25=65 ✅ → 只纳入前 2 个,偏方全排除| P 值 | 效果 | 场景 |
|---|---|---|
| 0.1~0.3 | 候选极少,高度确定 | 事实问答、法律条款 |
| 0.5~0.7 | 平衡稳定与多样 | 技术写作、邮件 |
| 0.8~0.95 | 候选丰富 | 创意写作、诗歌 |
Top-P 定义了解法池的边界。P 越大,允许翻的书越多。
11.4 Top-K——一题多解还是死磕一种
Top-K 不管分数分布,固定只看前 K 名。
text
K=1 → 永远只用标准解法,等价于贪心
K=3 → 标准、变体一、变体二,各凭本事
K=10 → 连玄学都可能被抽到| K 值 | 效果 | 场景 |
|---|---|---|
| 1 | 完全确定 | 需要绝对一致 |
| 10~30 | 保守稳定 | 代码生成、技术文档 |
| 50~100 | 适度多样 | 对话、摘要 |
| 200+ | 强多样性 | 创意写作、头脑风暴 |
Top-K 决定了你考虑几条解题路径。K=1 是死磕,K=200 是广撒网。
Top-P 和 Top-K 的区别:
| Top-K | Top-P | |
|---|---|---|
| 方式 | 固定取前 K 个 | 累加到 P 就停 |
| 候选数量 | 固定 | 动态变化 |
| 一句话 | "只看菜单前 K 名" | "凑够人气就停" |
如果两个同时设了怎么办?先 Top-K 截一刀,再 Top-P 截一刀。最终候选池取两者重叠的部分——谁更严格听谁的。大部分情况下设一个就够了,新手建议只调 Top-P,把 Top-K 留默认值。
11.5 Temperature——选菜时有多"花心"
Temperature 不是"敢不敢冒险"。它改变的是候选人之间的分数差距有多大。
text
低温 T=0.3(永远点招牌菜):
标准解法 95%,偏门解法 0.1%
→ "招牌菜几乎必点,我从不换"
常温 T=1.0(正常点菜):
标准解法 40%,偏门也有 5%
→ "大概率点招牌,偶尔换个口味"
高温 T=1.5(花心食客):
标准解法降到 25%,偏门涨到 18%
→ "没有固定爱好,冷门新菜我都想尝尝"Temperature = 你对菜单排名有多较真。低温只点第一名,高温觉得大家都差不多。
11.6 实用模板速查
| 场景 | 推荐配置 | 说明 |
|---|---|---|
| 🔬 代码生成 | Budget=Low, T=0.2, P=0.5, K=30 | 高确定性,语法严格 |
| 📄 技术文档 | Budget=Medium, T=0.4, P=0.6, K=40 | 抑制发散,术语准确 |
| 💬 日常对话 | Budget=None/Low, T=0.7, P=0.85 | 自然流畅 |
| ✍️ 创意写作 | Budget=Medium, T=1.0~1.2, P=0.9~0.95 | 鼓励非常规表达 |
| 🧠 复杂推理 | Budget=High/X-High | 先让草稿写满,采样参数次要 |
调参建议:先固定三个,单独调一个,逐步找到适合你场景的组合。不要四个同时改——调乱了都不知道是谁的锅。
本章要点
| 概念 | 一句话 |
|---|---|
| 处理顺序 | 先打草稿(Budget),再调分数(Temperature),再截候选(Top-K → Top-P),最后抽一个 |
| Reasoning Budget | 打多久草稿——None 最省钱,X-High 最稳 |
| CoT 本质 | 拿时间和 token 换质量 |
| CoT 风格 | 顺推、排除、自问、拆解、分段推演——门派不同,消耗不同 |
| Faithfulness | 草稿和答卷可能不一致——遇到了让模型重新输出一遍 |
| Top-P | 翻哪几本书——凑够人气就停 |
| Top-K | 死磕还是发散——固定看前几名;和 Top-P 同时设则取更严格的 |
| Temperature | 选菜时有多花心——低温只点招牌,高温什么都想试 |