据The Information报道,OpenAI即将推出的旗舰模型Astra采用循环深度推理架构技术。
该技术让文本在同一网络层反复处理,在输出下一个词之前进行多次迭代推理。公开论文显示,35亿参数的模型可等效调用500亿参数的算力,显著降低内存与带宽成本。
副作用是推理过程变得不可读,OpenAI已人为限制其使用比例以保留人类可读思维链,并配备额外监控手段。这标志着AI模型在效率与可解释性之间的新权衡。