🤖 AI大模型 · 端侧推理
一、端侧模型的"context wall"被打破了🔥 端侧首个百万Token上下文开源,全国产算力训练,讯飞星火向本地AI能力发起冲锋
9月1日,科大讯飞全资子公司词元星火正式推出并开源星火X2.5-4B和星火X2.5-1.7B两款端侧通用大模型,这是端侧模型中首个原生支持最长100万Token上下文的产品。两款模型采用混合注意力架构,围绕智能体、代码、数学和指令遵循等核心能力进行优化,综合实测相关能力领先业界同尺寸一流开源模型。百万级上下文真正解决的问题,是让模型基于完整信息,在连续交互中持续理解和处理复杂问题。
以产品售后场景为例,用户可将完整售后手册导入星火X2.5-4B,模型先梳理不同场景下的售后规则并标注对应章节,当被问及"购买10天后设备故障且使用过第三方耗材是否符合换货要求"时,能够关联退换货、故障处理和例外条件等跨章节规定给出综合判断。面对偏远地区、设备存有家庭地图等新增条件,模型还能保持前文情境,结合物流、数据清除、费用承担等规则提供后续建议。长上下文解决的是信息能不能看全,智能体和工具调用能力解决的则是看完之后能不能动手。
二、全国产算力训练 从硬件到软件全面自主星火X2.5-4B和1.7B均基于全国产算力平台完成全流程训练,使用约20万亿Token多样化数据进行预训练,并通过高质量监督微调和强化学习持续提升推理、代码、智能体和指令遵循等任务表现。部署层面支持NVIDIA、华为、海光及后摩等硬件平台,兼容vLLM、SGLang、llama.cpp等主流推理框架,可通过Ollama、LM Studio等工具快速部署,并支持使用LLaMA-Factory开展增量训练。即日起,两款模型已在Hugging Face、GitHub等平台开放模型权重、代码仓库和部署文档,对应模型API已上线讯飞星辰MaaS平台,限时免费。
值得一提的是,9月7日科大讯飞还将正式发布新一代旗舰通用大模型星火X2.5,进一步升级代码和智能体等核心能力。这款端侧模型与旗舰模型的组合,标志着讯飞在AI产品矩阵上完成了从云端到边缘的完整覆盖。端侧模型的核心价值,在于摆脱对云端的依赖,在隐私敏感场景和弱网环境下提供可靠智能。
三、智能硬件与机器人 本地AI能力迎来爆发前夜在智能硬件场景中,在Domux智能家居测试集上,星火X2.5-1.7B控制指令端到端执行正确率达到90.3%,平均响应时间仅0.85秒,展现出端侧模型在实时控制任务中的独特优势。机器人场景方面,两款模型可部署在机器人本体或边缘设备中,支持操作控制、目标追踪、导航决策等任务,减少对云端连接和固定预设程序的依赖。这标志着国产端侧AI正从"能跑"向"好用"跨越,为具身智能和边缘计算打开新空间。
综合北京商报、快科技、央视新闻报道 | 2026-09-02