热点事件持续更新
AWS 为 vLLM 实现双向 KV 传输
1 篇报道1 个报道来源2 小时前更新
先了解这件事
AI 综述
2026年10月20日，AWS Machine Learning Blog 发文称，AWS 在 vLLM 中实现了双向 KV 传输。该机制让解码节点在后续轮次把已计算的 KV 缓存回传给预填充节点，避免重复预填充计算，以降低多轮智能体工作负载的 TTFT。在基于 Amazon EC2 P5en 实例、由 EFA 连接的一台预填充节点加一台解码节点（1P1D）部署上测试，最长提示长度下 Qwen3-32B 的 TTFT 降低约 1.6 倍，GLM-5-FP8 降低约 3.3 倍；报道指出结果随工作负载和配置变化。目前为该机制的技术发布阶段，尚无后续进展报道。
AI 根据报道生成 · 2 小时前更新
最新进展10月20日 00:03
AWS 在 vLLM 实现双向 KV 传输，1P1D 部署下降低多轮 TTFT。报道时间线
沿着报道，了解事件的不同侧面。
10月20日
- AWS Machine Learning BlogAWS 在 vLLM 中实现双向 KV 传输，降低多轮智能体工作负载的 TTFT
AWS 在 vLLM 中实现双向 KV 传输，让解码节点在后续轮次把已计算的 KV 缓存回传给预填充节点，避免重复预填充计算。在基于 Amazon EC2 P5en 实例、由 EFA 连接的一台预填充节点加一台解码节点（1P1D）部署上，最长提示长度下 Qwen3-32B 的 TTFT 降低约 1.6 倍，GLM-5-FP8 降低约 3.3 倍，结果随工作负载和配置变化。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。