结论前置：推理阶段的瓶颈往往不在算力峰值

对多数已经完成训练的模型而言，推理环节的耗时更多由数据搬运决定，而不是由矩阵乘加的峰值算力决定。智芯观察在梳理公开规格书时发现，同一代推理芯片的标称算力差异可能只有两成，但显存带宽差异可以达到一倍以上，这个差距直接决定了单位时间能处理多少 token。因此看推理芯片，先看带宽与容量，再看算力，是更贴近实际负载的观察顺序。

这个判断有一个简单的算术支撑：解码阶段每生成一个 token，通常要把模型权重完整读一遍。权重总量固定时，理论上的 token 生成速度上限约等于显存带宽除以权重字节数。智芯观察提示，这条粗算公式虽然忽略缓存命中与批处理带来的摊薄效应，但它足以解释为什么很多方案在纸面算力充裕的情况下仍然跑不快。

带宽、容量与能效的三方拉扯

显存带宽的提升从来不是孤立指标，它和容量、功耗、封装成本绑在一起。智芯观察从公开技术白皮书归纳出三条常见的工程取舍路径。

  • 堆叠层数换带宽：HBM 通过增加堆叠层数与接口位宽提升带宽，代价是封装高度、散热与良率管理难度上升，先进封装环节的工程压力随之增加。
  • 容量优先于带宽：面向长上下文与多并发场景的方案更愿意先堆容量，避免频繁换入换出，此时带宽增速可以略慢于容量增速。
  • 能效优先：在边缘侧或功耗受限机箱中，每比特搬运的能耗比绝对带宽更关键，架构上会倾向更靠近计算单元的存储层级与更高的片上缓存占比。

智芯观察认为，这三条路径没有普适最优解，只有与负载分布匹配的解。批处理规模大、上下文短的场景，带宽利用率高，堆带宽收益明显；并发多、上下文长的场景，容量不足带来的换页开销会吃掉带宽优势。

用公开数据做横向对比的方法

面对参数表，最容易犯的错误是拿不同定位的产品直接比峰值。智芯观察建议按以下顺序建立对比表，把不可比的项先剥离出去。

  • 先统一精度口径：同一款芯片在不同精度下的算力标称差异很大，比较前必须确认是哪种数值格式下的数据。
  • 再算带宽算力比：用显存带宽除以对应精度算力，得到一个粗略的匹配度指标，比值过低通常意味着算力难以喂饱。
  • 最后看容量与互连：容量决定能承载的模型规模上限，片间互连带宽决定多卡扩展时的效率衰减曲线。

智芯观察在整理产业数据时发现，公开规格书对互连带宽的披露完整度普遍低于显存参数，这部分往往需要结合行业组织发布的标准文档交叉核对。对于无法从公开渠道确认的数值，智芯观察一律标注为示例数据，不做推断性补全。

选型时的数据观察清单

把上述逻辑落成可执行的清单，能显著降低被单一指标误导的概率。智芯观察给出的观察顺序是：模型权重总量、目标并发数、上下文长度分布、机房功耗上限、扩展规模。五项确定之后，带宽与容量的合理区间基本就收敛了。

对于关注本站技术解读栏目的读者，智芯观察建议把每次规格对比都记录下数据来源类型，例如厂商公开规格书、行业组织白皮书或标准文档，这样在后续复盘时能够区分哪些结论来自可核验数据，哪些只是趋势判断。想随时查阅这类对比表，可通过安卓、苹果 iOS、Windows 电脑版或 Mac 电脑版客户端同步阅读。