8月6日消息,蚂蚁百灵8月5日开源新一代原生混合推理模型Ling-3.0-flash,昇腾同步完成0Day适配,并首次落地全新算子编程框架CANN PyPTO。
据了解,该模型总参数124B,推理时仅激活5.1B,计算开销仅为上代旗舰Ring-2.6-1T的8.1%。它按5比1交替堆叠KDA(增量注意力)与MLA(多头潜在注意力),支持256K上下文窗口,可扩展至1M。
同时,模型中的KDA算子是核心结构,其计算融合矩阵向量运算、递推累积、状态更新等多段逻辑,对核内数据复用与多核并行调度要求很高,传统手写内核开发难以兼顾效率与性能。
为此,昇腾推出的这一全新编程框架CANN PyPTO,开发者只需通过张量级接口定义计算逻辑,由框架自动完成分片调度、数据搬运与代码生成,无需手写底层代码,大幅降低算子开发门槛。
更值得注意的是,配合昇腾CANNBot智能体,算子开发被拆解为7个阶段自动推进,各阶段由分工明确的子智能体协同执行,全程无需人工介入交接,大幅缩短复杂融合算子的交付周期。
部署方面,昇腾基于开源推理引擎vLLM的昇腾版本完成深度适配,补丁已提交开源平台,支持轻量化补丁部署,可秒级上线,全面兼容A2、A3系列产品。
此前,昇腾已完成对百灵Ling-2.6-flash(104B参数)的适配。昇腾表示,此次适配再次表明,其已具备支撑前沿大模型从发布到规模化部署的全流程能力。
【本文来源:快•科技】

