一颗权重只有 4 bit，大模型每生成一个 Token，却要让数十亿颗权重重新“跑”一遍。寒序科技给出的答案很直接：让权重留在片内，让计算来到它身边。
当 DeepSeek、豆包在屏幕上逐字回答，用户看到的是一个个 Token 接连出现；芯片背后发生的，却是大批模型权重被一遍遍读取。一次搬运微不足道，数十亿颗权重为每个 Token 反复移动，最终就变成带宽、延迟、功耗、散热，以及越来越高的推理成本。近日，这家成立三年的中国芯片公司正式公布 uHBM®与 uLPU™ 推理计算架构，并一次性亮出从裸 Die、Chip、Module，到 2U Tray 和 Rack 的完整产品路线。首代架构的片内权重读取带宽设计值达到 24 TB/s；面向 4B 多模态主干模型的 Decode 阶段，uLPU™ 提出超过 2,000 Tokens/s 的工程目标。一家中国创业公司，真的要同时做“HBM”和“LPU”？uHBM®沿用HBM“以高带宽服务计算”的产品逻辑，底层则换成 Persistent MRAM、权重驻留与片内矩阵向量计算；uLPU™ 则进一步把uHBM®继续组合成端侧、云端和机架级推理系统。
两款产品，底层一条路线：权重留下，计算靠近。
寒序此次公布的路线，从一颗 Compute-Memory Die 开始。
uHBM® 将 Persistent MRAM 与矩阵向量计算集成在同一颗 Die 内。模型权重完成加载后长期驻留；进入 Decode 阶段，系统主要送入激活向量，在片内完成权重读取、矩阵向量乘和局部归约，再把结果输出。寒序希望减少的，并非系统中的所有数据移动。模型首次加载时，权重仍要写入；运行过程中，激活向量、KV Cache 和归约结果仍会流动。真正被截断的，是 FFN/GEMV 等带宽敏感路径中，权重为每个 Token 反复跨越片外接口的长途搬运。权重留在原地，计算在旁边完成。这就是寒序所说的 Weight-Resident Compute，权重驻留计算。uHBM® 名字里的“u”，取自 Ultra。它指向的不只是 Ultra-High Bandwidth，也指向高带宽发生位置的改变：从存储器与计算芯片之间，进一步进入权重所在的 Die 内。寒序把这项产品主张概括成一句话：重新发明 HBM。uHBM®-Die
为什么要重新发明 HBM？答案藏在大模型逐字生成的过程里。Prefill 更像一次集中阅读：用户的问题被整体送入模型。Decode 则像连续写作：模型每生成一个新 Token，都要重新访问大批权重。对于 FFN/GEMV 这类典型 memory-bound 负载，一轮计算往往只输入一个激活向量，却需要读取庞大的权重矩阵。过去十年，行业的主流办法是把路修宽。从 DDR 到 HBM3E，从 PCIe 到 NVLink，存储器与 GPU 之间可以一次通过更多数据。道路越来越宽，权重仍要为每一个 Token 上路。也就是说，过去每回答一个字，都要把一整座书库里的相关书籍运到计算台；现在书留在原地，问题被送进去，答案再被送出来。这也是行业正在集体转向的方向。今年，三星展示了 LPDDR5X-PIM，把计算进一步推入 DRAM；Hot Chips 2026 期间，NVIDIA 公布 Groq 3 LPX 的最新进展，在其公开的一种 Attention-FFN 解耦模式中，Rubin 侧执行 Attention、保存 KV Cache，LPX 侧以片上 SRAM 驻留权重并执行 FFN。三星选择 DRAM-PIM，Groq 选择 SRAM LPU，寒序押注 Persistent MRAM。器件、工艺和系统形态各不相同，三条路线都在追问同一件事：为什么每生成一个 Token，权重都要重新搬一次？MRAM 以磁态保存数据，断电后仍能保留权重；相较用大面积 SRAM 堆出容量，寒序希望借助 MRAM 的密度潜力，在容量、带宽和片内计算之间寻找新的平衡点。三、24 TB/s、>2,000 Tokens/s，两把尺子摆上台面
首代 uHBM®架构最醒目的数字，是 24 TB/s。这个数字描述片内权重读取能力，并直接服务于片内 GEMV；行业常见的 HBM3E 带宽，描述的则是 HBM Stack 与 GPU 之间的外部接口能力。但它们指向同一个矛盾：高维权重矩阵究竟要不要持续穿过片外接口。一个数字发生在路上，一个数字发生在权重所在的地方。寒序给 uLPU™ 定下的工程目标，是在 4B 多模态主干模型的 Decode 阶段冲击超过 2,000 Tokens/s。作为端侧速度的量级参照，NVIDIA 官网公布的 Jetson AGX Thor 在 Qwen2.5-VL 3B、最大并发 1 下达到 71.7 Tokens/s。这两组数字采用不同模型、精度、软件栈与测试范围，不能据此计算性能倍数。>2,000 Tokens/s 对应的是 4B 多模态主干的逐 Token 生成阶段。它真正瞄准的，是机器人最敏感的“思考延迟”。对于聊天机器人，100 Tokens/s 与 1,000 Tokens/s 可能只是“很快”和“更快”；对于正在伸手抓杯子、避开障碍物、观察人类动作并实时调整轨迹的机器人，延迟就是动作本身。四、从机器人到“Token 工厂”，同一条路线吃两类市场
如果说 uHBM® 回答了权重应该住在哪里，uLPU™ 回答的，就是它如何成为一台完整的推理计算机。端侧形态 uLPU™-edge 由四颗 uHBM® 与一颗 NPU 组成。NPU 负责 Prefill、Attention、KV Cache、动态算子和系统控制；高度依赖权重带宽的 FFN/GEMV 留在 uHBM® 内执行。它把最需要带宽的部分放回权重身边，也把功耗和空间更敏感的机器人市场放在产品路线的第一站。云端形态 uLPU™-cloud 则由四颗 uHBM®与一颗 uIO Die 组合，通过 UCIe 完成封装内 Scale-Up，并面向 112G/224G SerDes 构建系统级 Scale-Out。按照当前规划，一个 Module 集成 8 颗 uLPU™，两个 Module、共 16 颗 uLPU™ 进入一个 2U Tray，多个 Tray 继续组成 uLPU™-Rack。一端塞进机器人，一端进入数据中心生产 Token。这条路线也主动放弃了一部分通用性。训练、Prefill、Attention、KV Cache 以及动态工作负载继续交给 GPU、NPU 和外部存储；uLPU™ 把资源集中到权重驻留与 Decode。它更像一台为 Token 生成定制的极致专用、面向大规模量产的高性能推理机器。硬件只是第一层。编译器、Runtime、算子优化、模型切分和多芯片任务调度，将直接决定纸面架构能否变成客户可以部署的产品。uLPU™-Module 与 uLPU™-Tray 寒序科技成立于 2023 年 8 月，2024 年初北京市科委项目立项。团队以 Groq 的超大带宽路线为重要参照，却没有选择用更大面积的 SRAM 堆出带宽，而是从 MRAM 器件、存储阵列一路做到计算架构和系统。这里要分清两代芯片。已经完成流片和回片的，是高带宽推理验证芯片 SpinPU®-ED01；此次披露的首代 uHBM® 与 uLPU™ 完整工程产品，目前仍处于流片前收敛阶段。据寒序科技披露，SpinPU®-ED01 集成 120 个 MRAM Bank，已完成第三方检测；公司实测片上访存带宽密度达到 0.105 TB/(mm²·s)，并完成端到端模型推理与连续 24 小时稳定运行。2026 年 3 月，公司提交两项高带宽推理发明专利申请，并于 6 月陆续公开。这些结果回答了“这条路能不能走”。下一阶段要回答的，是它能不能成为真正的产品。24 TB/s 是首代架构设计值，>2,000 Tokens/s 是 4B 多模态主干 Decode 工程目标。接下来的流片、回片与客户负载，将决定二者能否转化为有效带宽、真实 Tokens/s 和 Tokens/Watt；先进封装、供电散热、编译器与 Rack 级互联，则要共同完成系统闭环。对于产业界和投资人，真正值得持续跟踪的是三条线：看硅片，关注带宽、速度、能效与稳定性；看软件，关注模型适配、精度、算子覆盖和多芯调度；看客户，关注机器人与云端验证能否从 Demo 走向产品导入。围绕 uHBM® 与 uLPU™，寒序同步启动全球核心研发人才招募，方向覆盖 SoC 架构、数字设计、PPA 与物理实现，编译器与 Runtime，UCIe、SerDes 与多芯互联，先进封装、供电散热，以及服务器、Tray 和 Rack 级系统研发。六、从 FLOPS 到 Tokens，推理芯片的新尺子
HBM 仍会继续扩张。训练、Prefill、Attention、KV Cache 和大量通用负载，依然需要 GPU、NPU 与高容量外部存储。与此同时，Decode 阶段正在出现新的异构角色：专门保存权重，并在权重所在的位置完成最吃带宽的计算。Samsung、NVIDIA 与 Groq 已经完成第一轮市场教育。推理芯片的竞争，也开始从峰值 FLOPS 延伸到每秒能生成多少 Token、每焦耳能生成多少 Token。寒序此次发布最值得关注的地方，就在于它没有停在一颗概念 Die，而是把同一条技术路线向上铺到了 Chip、Module、Tray 和 Rack；验证芯片、公开专利申请和流片计划，又为这张路线图提供了最初的工程支点。接下来，市场需要等待的答案很具体：硅片、实测、软件和客户。AI 产业花了十年，把数据搬运的路越修越宽。寒序现在追问：这批权重，真的需要每次都出发吗？ 
发表评论 取消回复