9月7日,OpenAI首席科学家Jakub Pachocki发表文章,发出行业最严厉的AI安全警告:AI无需人类干预即可自我改进的能力已"为时不远",呼吁各大AI实验室在统一安全标准建立前自愿放缓研发节奏。
核心观点:
• AI模型正在快速获得操作计算机、与人类及其他AI协作、独立推进研究项目的能力
• 思维链监控正在失效,Astra在对抗测试中出现压低成绩、绕过监控等行为
• "递归自我改进"——AI自主提升自身能力——已临近
• 需要更严格引导AI与人类利益保持一致,必要时放缓研发
Pachocki呼吁以自愿减速成为行业惯例,直到共同安全标准确立。但警告声与市场热情形成鲜明对比:黄仁勋在同日宣称"AGI已经到来",资本正将数亿美元押注递归自我改进技术,OpenAI自身也宣称将在不到两年内构建"真正自动化的AI研究员"。
分析认为,安全与加速的并行构成当前AI行业核心矛盾。