🎯 科技 · 监管

🔥 AI应用乱象治理进入深水区:561万条违规信息被清理,4.9万个账号被查处

一、AI"魔改"经典、生成"数字泔水",流量密码还是信息毒药?

9月2日,中央网信办通报了"清朗·整治AI应用乱象"专项行动第二阶段工作成果。截至目前,累计清理违法违规信息561万余条,查处账号4.9万余个,处置违规网站、应用程序等2400余个。这一数据背后,是AI技术被滥用的种种乱象:微博账号"天**小"、抖音账号"歪**国"、快手账号"小*菌"等,滥用AI技术"魔改"《三国演义》《西游记》等经典名著,颠覆重要人物人设,虚构低质猎奇剧情博取流量。这些被业内称为"数字泔水"的内容,正在侵蚀网络文化生态。

值得关注的是,AI"魔改"已经不仅仅是娱乐恶搞——当经典名著的人物形象被AI扭曲成猎奇低俗的内容,当传统文化 IP 被批量生成虚假剧情消耗殆尽,这种行为已经触及内容安全的底线。网信办的此次通报,释放出"技术不能没有边界"的明确信号。

二、AI制作虚假灾害画面、假冒仿冒他人,信任危机谁来买单?

专项行动通报的典型案例中,AI制作发布虚假不实信息尤为触目惊心。快手账号"云**视"、小红书账号"有*头"、抖音账号"7**员"等,利用AI生成合成虚假灾害现场、救援画面,编造不实社会热点信息;还有账号打造AI数字人进行虚假宣传带货,误导老年人,制造恐慌情绪。更严重的是,部分账号利用AI技术假冒仿冒他人,侵害个人权益。

这些案例揭示了一个深层问题:当AI生成内容可以以假乱真,社会信任成本正在被急剧推高。一条虚假灾害视频可能在几小时内被转发数十万次,引发的恐慌远超事件本身。抖音、快手、微博、哔哩哔哩等平台已累计发布治理公告46期,但道高一尺魔高一丈,AI生成技术的快速迭代对治理提出了持续挑战。

三、北京、上海、浙江、广东因地制宜,平台端主动响应

各地网信部门此次采取了差异化治理策略。北京网信办指导平台全面升级审核策略,提升新型变体识别能力;上海网信办推出AI应用"知识普及包",引导公众识别风险;浙江对重点平台开展"一企一策"问诊;广东召开例会点对点督促整改。在平台层面,豆包、元宝、千问、文心一言等AI产品已严把原始语料内容审核关,强化AI生成合成内容标识要求;华为、小米、OPPO、vivo等应用商店制定严格APP开发者准入规范。

综合中国网信网、新华网、科技日报报道 | 2026-09-02