结论先行：在AI推理场景中，决定能效上限的往往不是峰值算力，而是数据搬运的代价。本文以一位架构师沈亦舟的取舍笔记为线索，从结论出发，解释推理芯片为何普遍走向近存计算、低精度数据通路与可重构数据流，并说明这些选择背后的工程逻辑。智芯观察技术解读栏目坚持每篇附公开资料来源类型与术语释义，帮助读者把架构名词还原成可理解的工程决策。

一、为什么推理芯片先算“搬运账”

沈亦舟在笔记里写的第一句话是：算力是买来的，带宽是省出来的。推理任务的访存强度远高于训练中的大矩阵乘，权重读取、激活值写回、中间结果暂存都会反复占用片上与片外带宽。当计算单元等待数据的时间超过实际运算时间，峰值算力就变成纸面数字。

因此架构选择的第一步是判断数据流形态：权重是否可长期驻留、激活值能否在片上复用、batch维度是否稳定。智芯观察在梳理公开规格书与架构白皮书时发现，多数推理芯片会把“每瓦可支持的并发请求数”作为核心指标，而非单纯比较TOPS数值。

  • 权重驻留：把高频使用的权重放在靠近计算阵列的存储层级，减少片外往返。
  • 激活复用：通过片上缓存与数据重排，让同一份激活值服务多个计算单元。
  • 带宽匹配：按实际访存模式配置存储层级，而不是盲目堆叠容量。

二、低精度不是妥协，而是数据通路的重新设计

结论是：低精度带来的收益主要来自数据通路变窄，而非单纯的乘法器缩小。位宽下降后，总线宽度、寄存器堆、缓存行、片外接口都能同步收敛，搬运能耗随之下降。沈亦舟的笔记把这一过程称为“整条链路的瘦身”，而不是只在计算单元上做文章。

工程上的难点在于精度损失的控制。公开的量化研究表明，推理阶段对权重与激活值采用不同精度策略，配合校准与异常值处理，可以在多数任务上保持可用精度。智芯观察提醒读者，具体精度策略需要结合模型结构与任务容忍度评估，不能一概而论。

  • 混合精度：对敏感层保留较高位宽，对冗余层压缩位宽。
  • 校准流程：用代表性数据统计分布，确定缩放因子与截断范围。
  • 异常值处理：对离群激活值单独保留通道，避免整体精度被拉低。

三、可重构数据流：一套硬件适配多种模型

结论是：推理芯片面对的是持续变化的模型结构，固定数据流难以长期适配。可重构数据流的思路，是让片上网络、计算阵列的连接方式与调度策略在编译阶段按模型裁剪，从而在通用性与能效之间取得平衡。

沈亦舟在笔记中把这一取舍描述为“把灵活性放在编译期，把效率留在运行期”。编译期完成算子融合、分块与调度，运行期尽量少做动态判断，减少控制开销。智芯观察认为，这种思路对边缘侧与数据中心侧都成立，只是约束条件不同：前者更在意面积与功耗，后者更在意吞吐与并发。

  • 编译期调度：把模型图映射为分块执行计划，减少运行时决策。
  • 片上网络重构：按数据流方向配置路由，降低拥塞与冲突。
  • 算子融合：把相邻算子合并执行，减少中间结果落盘。

四、术语释义与资料来源类型

为方便读者继续阅读，智芯观察对本篇涉及的术语做简要释义：近存计算指把计算单元尽量靠近存储层级，以减少数据搬运；访存强度指单位计算量对应的数据搬运量；可重构数据流指硬件连接与调度可按模型需求在编译阶段调整。

资料来源类型说明：本篇结论依据公开的芯片架构白皮书、厂商公开规格书、行业组织技术报告与公开学术论文的综述性内容整理，不涉及未公开流片数据与商业机密。智芯观察技术解读栏目将持续以“结论前置”的方式，把架构选择背后的工程逻辑讲清楚。