大模型吐字为什么忽快忽慢？聊聊投机解码

生产队队长

⌨看着大模型一个字一个字往外蹦，你有没有想过：为什么它不能一次蹦一整句？其实 GPU 一次只能算一个字，是显存带宽卡住了脖子，而"投机解码"就是给这条流水线开的挂。
🔍 瓶颈在哪：串行的逐字生成
自回归生成每出一个 token，就要完整读一遍模型权重，算力大量闲置，时间几乎全耗在"搬权重"上。
💡 投机解码怎么干：小模型猜，大模型验

• ✔ 用一个小得多的草稿模型一次连猜 3~5 个 token
• ✔ 大模型并行验证这串草稿，一次前向就出结果
• ✔ 接受正确的部分，遇到分歧从分歧处重新生成
• ✔ 数学上保证输出分布与大模型逐字生成完全一致，纯赚不亏

⚠️ 不是万能药

• ❌ 草稿模型猜得太差，验证全部作废，反而更慢
• ❌ 与任务强相关：代码、重复文本接受率高，天马行空的创作收益低
• 🔒 主流推理框架已内置该能力，实测吞吐常有 2 倍上下提升

---

一句话：投机解码不减少计算，而是把串行的"搬权重"变成并行的"一次验一段"。

互动一下：你用的推理框架开投机解码了吗？加速比有多少？评论区报个数 💬