Meta 发布首款内置网卡的训练芯片 MTIA 300

• MTIA 300 是 Meta 自研训练与推理加速器系列中的首款产品，专为训练排序和推荐模型而优化。
• 我们将分享 MTIA 300 内置的 NIC 芯粒如何使其满足训练推荐模型相关的通信需求，并展现出优于通用 GPU 的性能。
• 通过将 MTIA 的通信库 HCCL 与芯片协同设计，我们采取了一种根本不同的芯片设计方法，让通信成为一等公民。

深度学习模型可以向应用上的人们推送个性化内容——从短视频到好友动态。随着这些模型复杂度的增长，训练它们的算力以及连接这些加速器的网络也变得愈发重要。

训练推荐模型是一项独特的基础设施挑战。与需要巨大浮点吞吐量的大语言模型不同，推荐模型的瓶颈在于训练它们的加速器之间需要快速高效的通信。其嵌入表可包含模型 99% 以上的参数，需要混合并行，从而在数百个加速器之间频繁产生 AllReduce、AllToAll 和 AllGather 集合通信。在 GPU 等芯片上，这些通信操作与训练计算争抢相同的资源，常常导致昂贵的硬件利用率不足。

我们从 Meta 训练与推理加速器（MTIA）——我们的自研 AI 芯片系列——入手解决了这一挑战，推出了 MTIA 300，这是 MTIA 系列中首款针对训练推荐和排序模型优化的产品。通过将 MTIA 300 与 HCCL——一个与硬件从零开始协同设计的通信库——协同设计，我们让通信成为芯片设计中的一等公民，而非由通用计算核心事后处理的附带事项。

将网络直接集成到芯片上

在 MTIA 300 中，网络接口位于芯片封装内部（见图 1）。两个网络芯粒各包含六个定制的 800 Gbps RDMA NIC，提供总计 1.2 TB/s 的 I/O 带宽，且无需跨越 PCIe 总线。这消除了传统 GPU 架构中存在的主机-设备-NIC 瓶颈，即 CPU 必须在加速器与网络之间进行中介。（有关硅设计的更多细节可参阅我们在 ISCA 26 会议上发表的近期论文。）

由于我们使用相同的 12 个基于以太网的 NIC 进行纵向扩展通信（在 16 节点的机架内，速率高达 1 TB/s）和横向扩展通信（跨机架，速率为 200 GB/s），我们可以灵活地划分这些 NIC，以适应不断变化的需求。 

随着模型需求的变化，我们可以通过重新配置网络而非更换硬件来重新划分这一分配。为最小化每次事务的延迟，我们引入了快速门铃。工作请求写入本身即充当门铃，省去了一次额外的内存读取，每次操作可节省约 800 ns。

将通信从计算网格中卸载

在 GPU 上，NCCL 等库将集合通信作为 GPU 内核来执行，这些内核会占用流式多处理器——而训练计算同样需要这些硬件资源。当集合通信与训练内核同时运行时，两者都会变慢。

MTIA 300 采用了不同的方法。除了用于计算的 12×6 处理单元（PE）网格外，该芯片还包含 16 个专用消息引擎（ME），独立处理所有通信。

每个 ME 包含： 

• 一个用于编排 w 的 RISC-V 核心
• 一个 NIC 接口，将请求路由到正确的 NIC
• 一个近内存计算（NMC）模块，以 128 字节/周期的速度执行归约操作 

NMC 位于芯片边缘、紧邻 HBM 和缓存，它们共同提供超过 2.8 TB 的归约吞吐量——是 I/O 带宽的两倍多——使得 AllReduce 和 ReduceScatter 集合通信能够以线速执行，而无需触碰计算网格。

其结果是近乎完美的隔离。将大型 GEMM 与集合通信操作并发运行，对计算吞吐量的影响不到 0.5%，而传统 GPU 由于通信由相同的 GPU 资源处理，性能下降可能超过 20%。

编译式通信模型

我们的通信库 HCCL 与 MTIA 300 协同设计。HCCL 不在执行期间由主机驱动通信，而是将每个集合通信编译为一整套子图——带有显式依赖关系的工作队列条目数组——并分派给 ME 以实现完全自主执行。一旦工作到达设备，主机就不再参与。图 2 展示了将指令复制到 HBM 后 CPU 不再参与的过程。

这种编译模型与 PyTorch 的 c10d 和 torchcomms 接口自然集成。通过 torch.compile 追踪的集合通信会与计算算子一起被编译为单个图。HCCL 选择拓扑感知算法，利用 scale-up 与 scale-out 之间的非对称带宽，在带宽受限时最大限度地减少跨机架流量。对于推理工作负载，我们开发了额外的路径：单边通信，其中 PE 通过快速门铃直接提交工作；以及设备触发的集合通信，其中计算内核在并行流上向硬件卸载的通信发出信号，而不中断图执行。

生产环境中的性能

HCCL 在单个机架内可实现高达 940 GB/s 的通信带宽。在一个跨 40 个加速器运行的 1500 亿参数生产推荐模型上，MTIA 300 的总通信时间比同等 GPU 集群快 3.9 倍。

MTIA 300 的设计支持进一步的协同设计策略：其 216 GB 的 HBM3E 允许更大的本地批大小（减少训练器数量和通信开销）；其 1:1 的 CPU 与加速器比例支持将数值密集型优化器操作卸载到 CPU；其高网络带宽让我们能够使用更高精度的数据类型来保持精度。 

展望未来

虽然 MTIA 300 是为训练推荐模型而设计的，但其架构原则——集成网络、卸载式集合通信执行，以及计算与通信的系统级协同设计——使其能够胜任更广泛的工作负载。随着 AI 推理向推理、代理和长上下文用例演进，通信需求发生了转变：消息变得更小、更频繁且对延迟敏感，每次集合通信的预算也更紧张。 

将网络视为一等系统约束、不仅优化带宽还优化延迟和消息速率的架构，非常适合满足这些新兴需求。MTIA 300 和 HCCL 中确立的模式，是 Meta 下一代 AI 芯片 的基础。

进一步了解 MTIA 300 

如需进一步了解 MTIA 300 的芯片设计及本文详述的工作，请阅读我们的论文：

• “MTIA 300：Meta 首款内置 NIC 和集合通信卸载引擎的训练芯片 “（来自 ISCA '26）
• “HCCL：面向 Meta 训练和推理加速器的集合通信”（将在 SC26 上发表）。

文章 MTIA 300：Meta 首款内置 NIC 和通信卸载引擎的训练芯片 首次发表于 Engineering at Meta。