智谱发布GLM-5.3-Flash,开放MIT权重,并称过去一周已用数万颗国产加速器提供线上服务。公司披露,通过模型架构与服务系统共同优化,端到端性能达到同硬件初始基线的3倍。国产推理因此有了超出单机适配的生产案例,但成本比较仍需具体工作负载验证。[1][2]
商业上的挑战同样清楚。公司称Flash价格为GLM-5.3的十分之一,并提供更高Coding Plan额度。低价可能吸引更多使用,也要求服务成本同步下降。付费留存、每件合格任务消耗和实际毛利,将决定这次技术发布能够形成多少长期价值。[1][3]
本文目录7 个章节
新基座改变激活计算与长上下文成本
Flash采用新的训练基座,不能视为沿用GLM-5.2基座后训练的GLM-5.3直接降价版本。模型卡列出320B总参数、每token激活18B、45层;GLM-4.5系列对照为355B、32B激活及92层。更短计算路径提供降低成本的条件,实际吞吐仍受硬件、精度与并发影响。
长上下文成本由混合注意力处理:线性注意力负责局部依赖,稀疏注意力通过轻量 indexer 找全局相关信息,IndexPool 再把四个索引键压成一个。智谱称,相比 GLM-5.3,Flash 的注意力计算量降低 3 倍,KV cache 降低 4.4 倍。这些是厂商测算,不是独立云端成本审计,但它们解释了为什么 1M 上下文能在资源更受限的硬件上进入服务。
原生多模态同样不是附加接口。30T token 语料包含多模态预训练,模型卡把图像和视频编码器写入架构;智谱又用视觉反馈强化前端、游戏、3D、办公文档和 computer-use 工作流。对于推理基础设施,这会增加编码、prefill、decode 三类负载之间的差异,也推动分离式调度。
| 指标 | 本次披露 | 数据说明 |
|---|---|---|
| 总参数 / 激活参数 | 320B / 18B | 官方模型卡;MoE 每 token 仅激活部分专家。 |
| 层数 | 45 | 相较 GLM-4.5 系列的 92 层显著减少。 |
| 注意力计算 | 约 1/3 | 相较 GLM-5.3 的官方架构测算。 |
| KV cache | 约 1/4.4 | 相较 GLM-5.3 的官方测算,仍需真实工作负载验证。 |
生产推理规模有披露,供应商与训练硬件仍未知
智谱披露过去一周在国产AI芯片集群上提供Flash服务,生产架构覆盖数万颗加速器,并采用高带宽互联和定制服务栈。这是公司对规模化推理的说明,尚未提供外部可复现的集群利用率、错误率或付费收入。
华尔街见闻转引《晚点 LatePost》称,线上推理可能调用超过 10 万张国产芯片,潜在供应商包括华为、摩尔线程与海光;报道同时写明智谱没有回应供应商信息。这个数量与厂商名单属于媒体线索,正文的正式规模口径仍采用智谱官方的‘数万颗’,不据此分配订单或收入。
但公开材料只谈 serving。它没有说明 30T token 基座训练使用了哪种硬件,也没有给出国产卡训练占比。把‘国产卡推理集群’写成‘全流程国产卡训练’会跨越证据边界。官方同样没有披露具体芯片品牌,因此不能据此在华为昇腾、寒武纪、摩尔线程、沐曦或其他厂商之间分配订单。
智谱称国产卡单芯片的计算和显存容量更受限,尤其在 1M 上下文下受内存容量与带宽约束。这一坦率描述反而提高了技术信息量:国产替代不是把 CUDA 调用改一个后端名称,而是需要模型架构、并行策略、缓存格式、通信和调度共同重写性能边界。
数万颗国产加速器提供服务
智谱官方披露的是过去一周的规模化推理服务。
具体芯片供应商
公开材料未点名,不能按厂商映射订单或收入。
训练硬件
30T token 预训练语料不等于训练过程使用国产卡。
系统优化的3倍,如何进入客户成本
公司在SGLang基础上组合节点内张量并行、ReplaySSM、W8A8量化、混合KV cache量化及Layer Split。它们通过调整计算、存储、通信与精度,改善给定模型在给定硬件上的效率。由此获得的系统收益不能直接归因为芯片峰值性能改变。
集群层采用 Encode–Prefill–Decode 分离架构,把多模态编码、提示词 prefill 和逐 token decode 放入独立可扩展的 worker 池。这样做的意义是三类任务不再争抢同一块卡:长上下文 prefill 可以单独扩容,decode 可以按并发调度,视觉编码也能独立控制。国产卡的单芯片短板被集群级资源池部分吸收。
官方称相对同一硬件的初始基线,端到端服务性能提高 3 倍,并达到与主流 NVIDIA GPU 可比的硬件效率和单位 token 成本。这里的比较缺少芯片型号、精度、批次、延迟、功耗、SLA 和利用率,不能扩大为国产芯片对所有 NVIDIA GPU 的普遍等效;它更准确地证明了在一个已知模型和高度优化栈上,经济性可以被工程追回。
- 01模型先减少激活计算
18B 激活参数和 45 层降低每 token 基础计算量。
- 02注意力压低长上下文缓存
线性与稀疏注意力、IndexPool 减少 1M 上下文的 KV 压力。
- 03内核和量化适配硬件
W8A8 与混合 cache 量化用精度管理换容量和带宽。
- 04EPD 把集群拆成资源池
编码、prefill 与 decode 分别调度,提高数万卡集群利用率。
开放权重降低进入成本,也加强价格竞争
MIT权重允许商业部署与修改,生态工具支持降低了尝试不同硬件的门槛。SGLang、vLLM、TokenSpeed和KTransformers的已提供或计划支持仍需分别看版本与状态。对芯片商,这创造共同优化目标;对模型服务商,也意味着客户获得更多自建和替代服务选择。
智谱称 Flash 价格只有 GLM-5.3 的十分之一,并给 Coding Plan 用户 3 倍可用额度。低价会扩大调用,却也可能把更多价值转移到服务效率而不是模型毛利。真正应比较的是完成一个可验收 coding/agent 任务的总成本,包括重试、上下文缓存、工具执行、延迟和人工接管,而不是输入 token 单价。
Ox Alpha 的匿名免费期提供了高强度流量测试,也可能帮助模型团队观察真实 agent 工作负载。OpenRouter 榜单可以证明开发者愿意尝试,但免费、匿名和限时供给会放大流量。只有转入正式付费端点后,留存、错误率、每任务成本与稳定性才构成商业验证。
降价九成以后,需要怎样的成本曲线?
以一个不代表智谱实际毛利的算例说明:旧服务每单位收入为1、直接成本0.6,毛利0.4。若新服务价格为旧价十分之一,即0.1,要保持原来40%毛利率,成本必须降至0.06,较旧成本下降90%;若成本只降到0.2,服务反而出现负毛利。价格倍数无法单独证明经济性。
Flash与GLM-5.3是不同模型,任务质量、输出长度、缓存和实际购买方式也不同。因此,上述同单位比较只是一项压力测试。更合适的客户比较,是在相同任务验收要求下,计入重试、工具环境与人工修正后的总费用。便宜token若产生更多失败,并不一定便宜地完成工作。
同样要区分每请求成本与资本回报。即便服务成本下降,若需要更多设备才能满足峰值并发、或集群长期闲置,折旧和资金占用仍会消耗利润。较低单芯片采购价也可能被网络、供电或软件支持成本抵消。需要公开同配置、同质量和同SLA下的系统费用,才有条件比较硬件路线。
Ox Alpha匿名期的免费使用给出试用热度,媒体将其身份归于智谱GLM系列;官方发布页并未直接使用该别名。约100万上下文、多模态和发布时间的相似性不足以替代完整身份声明。免费期榜单也不能作为付费留存、总收入或芯片供应商份额的证据。
从生产案例到芯片公司收入,中间还缺哪些数字?
服务商使用国产芯片,首先证明某类硬件能够进入它的系统。芯片可能由服务商自有、由云平台出租,也可能来自合作伙伴。对设备供应商收入的分析,需要确定采购主体、交付期间和合同价格;运营卡数只能提供需求规模的一部分信息。
同样卡数也可以由多批采购形成,不能把全部在用设备都当成本期新增销售。部分可能原本用于其他模型,软件优化后重新分配;部分可能是租用已有集群。只有新增采购或新增租赁的正式信息,才能建立对供应商当期增量的判断。
软件优化还可能推迟硬件采购。若同一集群通过优化完成更多任务,服务商在需求不变时可以减少新增设备;若成本下降带来更多客户,后续采购可能重新增加。供应商受益需要比较使用扩张与现有资源效率,而非把性能提升倍数直接乘到芯片销量。
对互联和服务器企业,工作负载也比国产化标签更具体。预填充、生成和多模态编码分离后,各资源池需要不同内存、网络与计算比例。系统架构可能提高某些连接需求,也可能减少节点间重复传输。没有公开拓扑和采购配置,就不宜分配到具名厂商的订单。
本次生产经验的更长期价值,可能在于降低下一位客户采用同类硬件的迁移成本。若模型权重、服务栈和性能方法可以复用,生态能减少重复适配;但特定模型、专门工程团队取得的表现,也可能难以被普通企业完整复制。可复制性与原厂集群可用性需要分别检验。
真正能加强产业化判断的下一步,是独立用户在明确硬件、精度、上下文和SLA下复现性能,再以持续付费服务验证经济性。平均吞吐之外还应看最慢请求、故障恢复和高峰费用,因为生产客户关心稳定交付,而不只是一场理想条件测试。
对模型公司,开放优化方法可能扩大生态并降低长期服务成本,也会让竞争者更容易提供同一权重。公司需要靠产品、可靠服务、分销或持续模型更新留住客户。开源热度本身不能决定谁最后获得利润,实际客户关系与每件合格工作的交付成本才是关键。
因此,本文对国产推理的积极判断应限定在公司已经描述的服务规模和系统工程进展。训练芯片未披露、品牌未具名、跨工作负载成本未复现,分别限制了训练替代、供应商映射和全面经济对比。保留这些限制,可以让这项有价值的进展进入投资分析,而不被扩大成尚无依据的行业结论。
国产产业链的价值需要具体供货与现金证据
数万卡生产环境可以暴露单机测试难以发现的排队、通信尾延迟、量化误差和故障恢复问题。将这些反馈用于架构与引擎改进,有机会降低持续服务成本。商业价值在于后续付费任务是否稳定受益,而不是将集群规模本身当成利润指标。
这也重新定义 NVIDIA 与国产卡的竞争边界。训练前沿大模型仍高度依赖最强算力、互联和成熟软件;推理则更容易围绕固定模型做专门优化。GLM-5.3-Flash 的证据首先指向推理替代加速,而不是训练市场已被重写。若类似工作负载持续扩大,竞争会从芯片峰值性能转向整套集群的单位任务成本。
接下来需要四类正式披露:具体硬件与卡数、不同上下文和并发下的吞吐与延迟、集群功耗与可用率、付费端点的留存和收入。缺少这些数据,已有材料支持的判断是‘国产卡已能支撑大规模前沿模型推理’,而不是‘国产卡已全面追平 NVIDIA’。
点名芯片与拓扑
只有具体型号、节点和互联,产业链映射才成立。
给出吞吐、P99 与功耗
平均成本可比不足以证明生产 SLA 可比。
从免费流量转向付费留存
榜单热度不是收入,正式端点的续用才是需求。
单独核验训练底座
推理国产化不能自动推导训练国产化。
来源
本网站内容仅用于信息展示与研究,不构成任何投资建议。
