GPT-6 Astra带火循环Transformer 阿里11个月前已有布局

GPT-6 Astra发布后，循环Transformer(Recurrent Transformer)技术受到关注。其核心是重复运行同一组Transformer层以加深计算、不增参数。

量子位指出，学界长期认为循环模型易因"计算冗余"逊于标准Transformer。阿里巴巴11个月前已发表相关论文，其中MeSH被ICLR 2026接收，针对循环中的"懈怠"现象——首轮迭代用力、后续"摸鱼"、隐藏态趋同——提出内部信息管理方案。

循环Transformer的效率优势在于推理时只需维护一个固定大小的隐藏态，而非像标准Transformer那样存储整个序列的注意力状态，这在长文本场景下具有显著优势。阿里抢先布局意味着其在大模型底层技术上具备深厚积累。