跳到正文
热点事件持续更新

联想存算融合池化应对KV Cache存储墙

1 篇报道1 个报道来源2 小时前更新

先了解这件事

AI 综述

2026年10月23日,钛媒体报道联想研究院提出存算融合池化系统,将内存池化与近存计算结合,同时应对KV Cache容量不足与GPU访问外部存储开销大两个痛点。测试显示,内存池卸载使首Token延迟降低3.5倍;KV跨实例共享相比完全重算,首Token延迟最高加速12~28倍;端到端系统吞吐随上下文变长提升6~20倍。团队目前实现G2.5层次方案,下一步将借助超节点scale-up互连向G1.5演进。

AI 根据报道生成 · 1 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月23日
  1. 钛媒体
    每天500万亿Token背后,联想存算融合池化如何应对KV Cache存储墙

    联想研究院提出将内存池化与近存计算结合的存算融合池化系统,同时应对KV Cache容量不足与GPU访问外部存储开销大两个痛点。测试显示内存池卸载使首Token延迟降低3.5倍,KV跨实例共享相比完全重算首Token延迟最高加速12~28倍,端到端系统吞吐随上下文变长提升6~20倍。团队目前实现G2.5层次方案,下一步将借助超节点scale-up互连向G1.5演进。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。