API 账单滚雪球与 KV Cache 效果对比

对话轮次演示
注意看右侧每次发送时,模型需要处理的数据量。
❌ 无缓存 (每次从头算)
累计消耗 (铜币)
0
等待发送...
✅ KV Cache (从冰箱拿货)
累计消耗 (铜币)
0
等待发送...