通过协同设计与推测解码加速大模型推理

NVIDIA 开发者博客介绍了一种利用推测解码（Speculative Decoding）协同设计 AI 模型的方法，可在不降低输出质量的前提下加快大语言模型（LLM）的推理速度。该方案在 Hacker News 上获得少量关注，讨论尚不活跃。