🎯 科技 · AI监管

🔥 AI不是法外之地,561万条违规信息被清理,4.9万个账号被查处的背后,是监管对技术滥用的零容忍

一、"数字泔水"泛滥,整治刻不容缓

打开手机,看到一则突发火灾视频,实际却是AI生成的虚假新闻;号称"亲测好评"的消费攻略,可能是AI炮制的虚假"种草笔记"。当前,一批质量低下、追求强感官刺激的AI生成内容正以前所未有的速度蔓延网络。

561万余条违法违规信息被清理,4.9万余个账号被查处——这是中央网信办9月2日公布的"清朗·整治AI应用乱象"专项行动第二阶段工作数据。面对AI技术滥用带来的信息生态危机,监管部门亮剑出击,重拳整治各类AI生成合成内容乱象。

二、七大乱象集中曝光,典型案例警示全网

专项行动期间,一批违法违规账号和应用受到处理。中央网信办通报了七类典型案例,涵盖利用AI"魔改"经典、制作虚假灾害画面、换脸换声假冒公众人物、侵害未成年人权益等多个维度。

微博账号"天**小"、抖音账号"歪**国"等滥用AI技术"魔改"《三国演义》《西游记》等经典名著,颠覆重要人物人设,虚构低质猎奇剧情博取流量。快手账号"云**视"、小红书账号"有*头"等利用AI生成合成虚假灾害现场、救援画面,编造不实社会热点信息,误导老年人,制造恐慌情绪。

AI假冒仿冒他人问题尤为突出,抖音、快手、小红书等平台大量账号利用AI"换脸""换声"技术,假冒仿冒公众人物形象,生成合成低俗舞蹈、拥抱接吻等图片视频,借机营销牟利。更有甚者,利用AI"托管"软件从事网络水军活动,批量生成低质同质文案,扰乱网络秩序。

三、多部门协同治理,平台责任全面压实

专项行动开展以来,各地网信部门因地制宜推出一系列针对性治理措施。北京网信办指导网站平台全面升级审核策略,持续提升违规内容新型变体识别处置能力。上海网信办督促平台深入开展自查自纠,推出AI应用"知识普及包"引导公众识别问题风险。浙江网信办对属地重点平台开展"一企一策"问诊进行合规指导。

网站平台积极响应专项行动部署。抖音、快手、微博、腾讯、百度、哔哩哔哩、小红书等平台进一步强化技术赋能,优化多模态识别模型,动态扩充人脸库、声纹库和违规样本库,上线人脸实时治理系统等功能措施。豆包、元宝、千问、文心一言等平台严把原始语料内容审核关,严格限制违规内容输出。

华为、小米、OPPO、vivo等应用商店制定严格的APP开发者准入规范,对在架APP进行抽检复测,有效拦截违规应用入库,从源头切断违规内容传播链条。

四、技术向善,AI发展需要规则护航

中央网信办表示,下一步将在总结专项行动治理成效的基础上,进一步把握人工智能发展趋势和规律,密切关注AI生成合成内容新情况新风险,及时采取有效措施防范AI技术滥用恶用,持续为人工智能创新发展营造良好环境。

专家指出,AI生成内容迭代速度快,造假成本持续走低,实现了从零散编造向流水线批量生产的转变,迷惑性更强,传播链条更复杂,治理难度随之加大。网络空间清朗,才有健康的数字生活。面对"数字泔水"不断涌现,不能仅仅停留于事后删帖处置,需要从源头、传播、监管各个环节综合施策。

只有多方同向发力,清理"数字泔水",才能让真实、理性、优质的内容占据主流,更好释放人工智能的正向价值,建设可信、清朗的网络家园。

综合新华网、科技日报、界面新闻报道 | 2026年9月3日