天数智芯天垓300实测对标H200，国产GPU转向系统效率与软件适配

在实测场景中达到H200的性能水平后，国产GPU的竞争，开始进一步转向系统效率、软件适配与实际交付。

本周的天数智芯媒体开放日上，最新一代天垓300与H200的实机对比，是最直观的性能展示。让GPU与专用芯片组成异构系统，是对推理效率的新探索。软件栈引入Agent与Skills，则试图解决客户部署、适配和优化的工程难题。

天数智芯表示，今年完成的一组第三方测试中，在典型PD分离部署下，天垓300折算单卡端到端吞吐达到H200的1.05倍。这表明国产通用GPU在特定高端推理负载中，已经拥有与H200直接竞争的性能基础。

但从性能接近到客户采购，再到持续扩容，中间仍隔着系统效率、软件适配和稳定交付。当硬件具备竞争力，国产GPU怎样把这种能力转化为客户持续使用的理由？当推理催生更多专用芯片，通用GPU的独特价值是什么？

从云端天垓300到端侧彤央系列，天数智芯也在拓展产品布局，将竞争延伸到不同形态的算力需求中。

天垓300对比H200实测，性能小幅领先

过去很长一段时间，峰值算力是国产AI芯片受到关注的重要指标。但对最终用户而言，设备每秒真正产出多少有效Token，比参数表上的理论算力更接近采购决策。

天数智芯披露的第三方测试覆盖四大主流模型、三类场景。其中，1.05倍指典型PD分离部署下，折算单卡的整体端到端吞吐，反映的是特定模型与部署条件下的系统表现。

另外，根据天数智芯性能实验室的数据，在GLM-5.3的64K长上下文场景下，保障同等用户体验时，天垓300的MoE吞吐达到H200的1.15倍。在8K至128K长上下文的Agent场景中，首字延迟较H200降低约10%至30%。

前者关系到系统能够承接多少请求，后者关系到用户发出请求后需要等待多久，它们对应不同工作负载与性能指标。

天垓300能够在这些场景中取得性能领先，一个关键是针对实际负载进行了架构优化。

基于天枢架构的天垓300，单卡显存容量达到144GB，并围绕Attention、MoE等计算环节进行优化。长上下文需要容纳更多状态，也增加了Attention计算压力。MoE虽然通过激活部分专家控制计算量，却带来了小规模矩阵计算、专家分配和数据交换等新问题。

为此，天垓300让Tensor Core与Vector Core并行处理Attention中的矩阵运算和Softmax等向量操作，同时针对MoE中的小规模矩阵、低精度计算与通信协同进行优化。

这些针对性设计，有助于减少不同计算环节之间的等待，把更多硬件资源转化为实际产出。

此次披露的测试与现场演示，展现了天垓300进入高端推理实际竞争区间的能力。对客户而言，下一步要比较的，是在同样的响应要求下，系统能承接多少请求、持续运行表现如何，以及需要付出多少设备、电力和运维成本。

推理需求催生专用芯片，GPU的价值会被削弱吗？

随着推理需求快速增加，以LPU为代表的专用推理芯片备受关注，不同计算环节对硬件的要求也进一步分化。

Prefill处理输入，通常更偏向计算密集型任务；Decode逐步生成Token，更容易受到访存、任务启动和同步开销的影响。进一步拆开，Attention与FFN对计算、带宽和存储的需求也不相同。

当某类任务足够稳定、规模足够大，专用芯片就有机会通过针对性设计，获得更好的性能或能效。让一种通用GPU处理所有环节，未必始终对应最低的成本。

天数智芯展示的AFD分离方案，就是对这种分工的回应。

它在Prefill与Decode分离的基础上，继续拆分Decode阶段的Attention与FFN：天垓300承担Prefill全流程计算，以及Decode中的Attention；合作厂商的XPU承担FFN专家网络计算。

运行过程中，GPU把中间激活数据发送给XPU，XPU完成计算后返回结果，继续推进模型生成。天数智芯给出的对比结果显示，在所展示的方案中，Decode推理延迟降低60%。

天数智芯AI与加速计算负责人单天逸表示：“未来的AI算力系统，不一定由一种芯片包打天下。关键是如何把它们高效组织起来，让整个系统发挥更大的价值。”

异构分工为不同芯片提供了合作空间，GPU的通用性则关系到系统能否持续适应模型变化。

天数智芯副总裁邹翾对雷峰网(公众号：雷峰网)表示，专用硬件可以在固定工作负载中实现较大的性能提升，但模型与算法仍在快速迭代，公司坚持以通用框架为基础，结合专用加速能力。

客户采购设备后，需要持续使用，模型结构、算子和精度需求却可能不断变化。GPGPU平台的通用性提供了继续适配的空间，减少设备与单一计算路径绑定的风险。

强化学习、科学计算和物理仿真，也让计算需求超出了单一推理任务。天数智芯此次展示这些应用，同样体现了GPGPU通用架构更广的使用范围。

推理时代，专用芯片可能分走GPU的部分计算任务，GPU仍能凭借通用性参与更广泛的计算。对国产GPU而言，找到高效分工的位置，通过互联、调度和软件巩固这种价值，成为持续吸引客户的关键。

从性能展示走向商业化，借AI降低软件门槛

异构分工越细，软件需要承担的工作就越多。硬件提供了选择，软件决定这些选择能否变成可交付的服务。

据天数智芯介绍，其已服务300多个客户、覆盖20多个行业。按照积累的项目经验，客户应用迁移通常在小时以内，性能优化则可能需要数天至一周。

模型跟进与迁移效率，也是影响客户复购的重要条件。为此，天数智芯的软件栈引入了Agent与Skills，降低部署和优化过程中的工程成本。

Skills把经过验证的步骤、判断方法和验收要求组织起来，Agent调用已有工具，读取执行反馈，再推进下一步。原本依赖工程师查文档、配环境、读日志和反复试错的工作，有机会部分转化为可复用的流程。

PD分离部署是一个具体例子。它需要分别配置Prefill和Decode实例，传递KV Cache，并打通请求路由与调度。单个组件运行正常，并不意味着整条服务链路已经可用。

按照现场介绍，在所展示的完整模型服务部署案例中，从环境准备到模型正常提供服务，用时由约一小时缩短至约20分钟，人工操作减少为两次目标输入。

进一步，Agent可以结合性能工具提供的轨迹与指标，协助判断瓶颈来自计算、访存、同步还是调度，再选择优化动作。需要修改Kernel时，则通过与FlyDSL协同，生成候选实现，完成编译、正确性检查和目标硬件上的性能测试。

在软件栈中引入AI的重要意义，是让原厂专家的经验能够服务更多开发者。客户规模扩大之后，如果每个项目都依赖专家逐一处理，交付和支持能力就容易成为增长瓶颈。

天数智芯副总裁石加圣强调：“编译器、运行时、算法库和性能工具仍然是技术底座。”

Agent让这些积累更容易调用，也需要依靠它们提供真实反馈。对国产GPU而言，软件研发方式的变化，有机会缩短新模型适配与性能优化的周期，并将这些能力更快交到客户手中。

端侧600T算力的下一代产品已在路上

云端之外，天数智芯此次也展示了彤央端侧产品，并将英伟达Thor T5000作为现场实测对比对象。

天数智芯展示的测试结果显示，在Qwen3.8-27B、Qwen3.6-35B-A3B等大语言模型中，彤央TY1200的性能达到Thor T5000的1.2倍。在英伟达开源的世界基础模型Cosmos-R2-8B测试中，其性能达到Thor T5000的1.8倍。

彤央TY1200提供300 TOPS的INT8稠密算力。与云端产品类似，端侧竞争也在从标称算力，转向具体模型的运行表现，以及设备能否满足现场业务需求。

现场，TY1200展示了离线视频生成、合同审核和物理仿真等应用。其中，在1056×608分辨率下，生成一段5秒视频用时约6分钟，全程在本地完成。围绕MicroDuck机器鸭的演示，则展示了在本地终端上进行物理仿真、策略训练与动作验证的能力。

这些应用对应着不同的部署诉求，企业合同和科研资料需要留在本地，机器人需要在现场完成感知与决策，部分模型任务也开始具备端侧运行的条件。

天数智芯彤央产品市场负责人宋远盈表示：“云端GPU厂商做端侧，不是把芯片做小，而是把能力下沉。”云端积累的模型压缩、量化和软硬件协同能力，以及编译器、算子库和性能工具，成为其拓展端侧市场的基础。

目前，彤央系列通过算力模组与算力终端两种形态，分别面向自主集成和成品部署需求。天数智芯还预告了下一代端侧产品彤央TY2000，稠密算力将达到600T，进一步扩展端侧产品的性能空间。

从云端天垓300，到天数智算软件栈，再到端侧彤央系列，天数智芯已经形成从云到端的产品布局。云端承载大规模训练与推理，端侧贴近数据和业务现场，软件则将模型适配与优化能力延伸到不同产品形态。

天垓300与H200的对比，展现了国产GPU在部分高端负载中的竞争能力。彤央与Thor的对比，则将这种竞争延伸到了端侧。

更完整的产品布局，为天数智芯打开了更多应用入口。能否把性能、软件和交付能力持续转化为客户的实际产出，将决定这套从云到端的布局能够走多远。雷峰网

雷峰网原创文章，未经授权禁止转载。详情见转载须知。