一半的活已经不归 GPU 管了

平头哥算力峰会上，我连续听了两场演讲，一场聚焦 CPU，一场聚焦网卡。

返程途中一直在想，为什么留给 CPU 和网卡？复盘后发现，台上两位绕了一大圈，核心其实就一点：GPU 之外的战场。

如何理解？我试着说清楚。

先谈 CPU 那场，主讲人是平头哥半导体产品总监黄伟，他开场就定调：agent 时代，CPU 的角色发生了根本变化。原因在于任务类型变了。

过去大模型推理是一问一答，主要由 GPU 承担。

但 agent 不同，它要完成一个任务，需要不断循环：推理一步，调用工具，查看结果，再推理下一步，直到任务完成。

调用工具这一步，无论跑代码、查网页还是读文件，都是 CPU 的工作。

还有那份必须始终保留的长上下文——模型处理你这单任务的来龙去脉，每轮推理都要以此为原料，主要由 CPU 侧的内存来维持。

他给出了三个数据。

在 agent 场景中，仅工具执行一项，就占整个请求响应时间的约 60%；编码 agent 场景中，容器初始化加工具执行，在 CPU 侧要占 55% 到 60%，总体算下来，CPU 已经承载了过半的负载。

数据是现场给出的，实验条件未详细说明，但结论很明确：CPU 重新回到了 AI 计算的关键路径。

他将任务分为两类，这是整场演讲中我印象最深的框架。

一类是贴近 GPU 工作的，他称之为 head node，即机头。GPU 负责重体力活，机头处理杂务，就像司机带了个副驾，请求进来先由它预处理。

KV cache 由它管理，这是模型顺手记的草稿，记录之前计算的内容，回答下一句时无需从头再算，笔记存放、搬运都是它的职责。

何时唤醒加速器开工，最终结果如何拼接回去，也由它调度和收尾。这项工作卡在关键路径上，机头慢一步，按小时计费的 GPU 就只能空等。

因此，针对机头改进 CPU，处处追求单核速度。

前端做宽，相当于把进料的单行道拓宽，一个节拍能处理更多指令。

乱序窗口放大，好比老师傅炒菜不会等一道菜出锅再准备下一道，窗口大，就能往后看几十步，哪条能先算就先算。

KV cache 在 CPU 和加速器之间频繁传输，地址翻译常找不到目标，就像每次翻字典一页页找，解法是页表预取，教 CPU 提前翻好下一页。

还有一个隐蔽问题：两个本不相关的操作，被系统误判为占用同一地址，明明可并行却被排成队列，内存重命名就是拆穿这种误判，让路畅通。

软件层面，连 Python 解释器派发指令的开销都一条条地优化。

缓存方面，把 KV cache 的元数据在三级缓存和内存之间分层存放，常用的放近处，避免加速器等待本该到手边的笔记。

另一类是与推理脱钩的，agent rack，即一排 agent 机房。

一个机柜里塞进几百个沙箱，每个沙箱里一个 agent 在工作，调用工具、运行代码、规划步骤、编排任务链、管理自身状态。

这些全不涉及 GPU，全在 CPU 上。这类工作不求快，求多，一个机柜尽量多塞 agent，还得让几百个实例互不干扰。

解法是另一套方案。

agent 的循环中有大量不规则跳转，CPU 依赖预判下一步，传统预判法在 agent 身上常出错，于是引入神经分支预测，让 CPU 靠经验积累直觉。

RAG 检索、图数据遍历这类任务，是顺着一条线索挖出一串数据，数据在依赖链的下一环，CPU 别等用到再找，图预取就是顺着链提前挖掘。

几百个沙箱共享缓存，等于几百户抢一个储藏室，动态缓存替换根据各户活跃度勤换货，把无人使用的腾出去。

MPAM 则是给每个沙箱设定水电表配额，核的周期、带宽各用各的，谁也不能挤瘫公共区域。

他给这两类工作一句原话，很形象：机头看内存，看能否搬得快；机房看内存，看能否装得多。

全场还有两个数字容易被忽略，我觉得才是基础。

一个是 41%。他说在机头场景下一次迭代任务中，41% 的工作无法靠并行分摊，尤其是调度控制面这部分。

这数字背后是阿姆达尔定律：串行部分加人没用，一锅水烧开后，再多人往灶里添柴也快不了。

整个系统的响应时间下限由这 41% 的串行段决定，想让机器快，只有一条路：单核本身变快。机头对单核性能的执着，根源在此。

另一个是 28GB。

机房实测显示，单个 agent 实例到峰值时，所需内存可达这个量级。一个机柜要装几百个实例，内存不堆到天上，根本不可能。

这也是为什么这颗 CPU 光有核不够，容量本身就是竞争力。

这些分析并非空谈，第二天云栖主论坛上，平头哥首次公布倚天 CPU 路线图：2027 年推出倚天 720 和 730，之后是 750，第二代自研核，自研片间互联直连真武 AI 芯片。

黄伟在页尾只提了一句路标，实际上他就是给那份路标写的说明书。

第二场，网卡。主讲人是阿里云智能集团高性能网络研发负责人付斌章，他一上台先算账。

他说前面好几场嘉宾都提到，现在到了推理阶段，往往是通信决定一半以上的性能。但网卡本身的成本，在集群中占不到 20%，有的甚至才一成。

意思是，整个机房投入产出比最高的，是大家不太回头看第二眼的小板子。

他列出了三件麻烦事。

第一件，混跑。集群租出去后，租户跑什么你无法控制，训练、推理、强化学习三种流量挤在同一张网上；训练的流量像高速上匀速的大货车，推理的流量是不断变道的小轿车，货车一被打断，整个车队跟着降速。

第二件，长距。

现在的推理流行 PD 分离。一道题拆成两段处理：读懂题、打好草稿算一段，把答案一个字一个字输出算一段，两段分别用不同的 GPU 跑，以节省资源。

麻烦在于，两段一旦不放在同一批机柜，数据就得跑出机房，上广域网。机房里跑一个来回需一百微秒，跨城市则需 5 到 10 毫秒，慢了两个数量级。

网络传数据本质像车队行军，先派探路车报告路况，大部队才敢加速。探路回报慢一百倍，大部队只能降速，有效带宽大幅下降。

第三件，弹性。

agent 的任务说来就来，容器秒级拉起，干完就销毁。但 RDMA 这种快车道（机器绕开 CPU 直接互读内存的高速通信方式），需要提前把整条通路的资源、地址都安排妥当才肯工作，像包专线货运，发车前先排时刻表。

只存活几十秒的容器等不起，所以很多人最后退回 TCP 这种随叫随到的通用方案，性能损失自己承受。

对付这三件麻烦，他先铺开一张地图，这块信息密集，记住一句就行：分场景修路。

训练走 HPN（高性能网络），一代比一代能接入更多设备。上一代靠 51.2T 的交换芯片支撑 7.0 版本，主力 8.0 用 102.4T，在研的 9.0 上 200T，T 是万亿比特，芯片吞吐的单位。

卖点是两层网络就能挂几十万个 800G 的接入端口，相当于立交桥只修两层，却能上下几万台车。

推理走新架构 TPN（按 token 性能设计的网络），核心任务是一句话：把两张从未打通的网连成一张。

机房里原本有两张网，机头网络负责业务进出，机尾网络连接 GPU 之间的高速数据，互不相通。

没有机尾的小卡做 PD 分离，只能挤机头那条道，机尾空着；TPN 在两道墙中间开了门，同一个集群里各组机器（行话叫 pod）能互相传输数据，分离的两端不出机房就能对接，长距传输直接省掉。

真要跨集群，流量走骨干网里的智算专线，阿里给它起名叫 ECORE，带宽比普通骨干高一个数量级以上，全程支持 RDMA。

超节点内部的互联另有单独一张，叫 UPN（超节点网络），光互联，机器物理上不用绑死，一层能铺得下千卡。

然后，是主角，磐脉 920。他公布的规格是 400G 带宽，一秒能通过 4000 亿比特的数据，面向智算和存储两个场景。

他讲得最起劲的倒是另一个设计。

这张网卡里内置了一个交换机，等于自带一块分电板。各家 CPU 对 PCIe 这条数据通道的响应不同，没有这块板子，换个计算平台就可能踩一次坑。

有了它，同一张卡插到不同平台上，都能稳定输出 GPU 直接读写网卡、不绕 CPU 的那套性能。

协议它跑两套：业界标准的 RoCEv2，加上阿里自研的 SolarRDMA。

自研这套最早在存储场景里打磨，后来才用到智算，他的原话是把存储和计算的坑都趟完了；最值钱的功能是按连接逐条自动选路，新卡碰新卡，自动走自研的快道；碰上老卡，退回标准协议。

老集群不用拆了重建，一张一张换就行，业务不停。他说这种无感的增量部署，工程价值非常大。

四张成绩单，口径都是现场给出的实测。

第一张之前，他先拆解了一个流传很广的误区。他说两年以前，你要说预训练用不上好协议，没毛病。大模型训练就是单一大任务，环形算法轮着传，每张网卡只跟自己的邻居说话，带宽就是一切。

今天这话过期了，现在是训推一体的集群，推理的流量随时闯入，预训练被搅得跟着降速。

千卡任务实测：把大传输拆成小包、多条路同时飞，哪条拥塞或哪台硬件坏了就自己绕行，数据并行的通信耗时降低 43.2%，端到端性能提升 12%。

第二张，跨集群长距。

端侧给流量打标，广域交换机根据标选择更优的路，丢包只补丢的那几张，不用整摞重发。端到端吞吐提升 55%。

第三张，弹性。

新的虚拟化技术把资源分配移到软件控制路径，连接密度是传统网卡虚拟化的 64 倍，容器拉起时间最少节省 35%，最多节省 93.4%。

他撂了句狠话：这个弹性不拿性能换，套了虚拟化跑通信，速度和硬件直通几乎一样；按他的说法，专线的速度和网约车的灵活，目前只有这张卡能同时给齐。

第四张，小包。高性能计算传输的数据正文很小，包裹没封箱带厚。这张卡走「以太网+」协议，削前导码、绕开链路层开销，正儿八经的内容能占到 85.4%，他说这是业界最高。

落地的交代很短：磐脉 920 已经跟着灵骏真武 M890 超节点上线，超节点配的就是这张卡。

两场演讲，单听各管一摊，放一起看，挺有意思。

黄伟说，agent 场景里 CPU 扛起了过半的负载。付斌章说，推理阶段过半的性能由通信决定。两个过半，口径不同：一个量时间，一个量性能。

但指向是同一个。请求进来之后，GPU 算完的那一段，在整条路上越来越不稀罕了，剩下的大头，落在 CPU、内存、网络上。

模型有多聪明，看 GPU；agent 把活干得多利索，看这些地基。

黄伟下台前收尾，希望倚天为 Agentic AI 时代的普惠算力贡献一份计算底座。付斌章没说场面话，他只留了个落地，就是前面那句超节点上线。

倒是串场的主持人，给了句不错的总结。

人工智能的竞技场，已经从参数规模角逐，转向工程落地的深水区，单点的突破，撑不起智能体时代的系统级负载。

台上两个人讲了四十分钟，都在给这句话当证词。

我这趟带回来的，其实是个记账方式的变更。过去聊算力，问你有几张卡？往后可能得问，一个请求进来，你的时间花哪了，带宽堵哪了，内存够谁用。

卡多不等于活好，这个账，行业刚开始认真算。 实际上，无论是 CPU 还是网卡，这些组件在系统级负载中扮演的角色越来越关键，甚至可以通过像九游体育APP下载这样的工具来更好地监控和优化资源分配。

注释：

[1].本文内容来自我 2026 年 9 月 23 日在平头哥算力峰会分论坛的现场记录，演讲实测数字均为现场披露口径

本文来自微信公众号 “王智远”（ID：Z201440），作者：王智远，36氪经授权发布。