9月14日至9月20日是2026年国家网络安全宣传周，今年活动的主题为“网络安全为人民，网络安全靠人民——智能时代 网安护航”。从个人信息保护到数据安全治理，从防范电信诈骗到守护未成年人上网安全，网络安全关乎千家万户的切身利益，关乎数字社会的健康运转。在人工智能深度融入生产生活的今天，诈骗手段也在迭代升级，唯有多方协同，把风险治理做在前面，培育全社会数字安全素养，才能筑牢网络安全屏障。
一段并不存在的“突发事件视频”，可以被AI生成得有图有声；一张从未拍摄过的“现场照片”，可能拥有逼真的光影和细节；只需少量公开素材，一个人的面孔、声音乃至说话习惯，都可能被“Deepfake”（深度伪造）。当下，在AI工具走进大众日常，不断降低内容生产门槛的同时，与AI相关的虚假信息，也正在对网络安全与社会秩序构成严峻风险。
今年9月，中央网信办公布“清朗·整治AI应用乱象”专项行动第二阶段工作情况。专项行动聚焦利用AI制作发布虚假信息、假冒仿冒他人等突出问题，累计清理违法违规信息561万余条，查处账号4.9万余个，处置违规网站、应用程序等2400余个。值得警惕的是，随着生成门槛不断降低，AI造假正在从零散出现走向批量生产、规模传播。
过去，制作一段具有较高迷惑性的视频，需要表演者、摄制者与传播者密切配合，还需要不小的经济成本。如今，通过AI工具，虚假内容可以批量、低成本地生产。不仅如此，随着相关技术快速迭代进步，AI生成的文字、图片、视频往往形式完整、细节丰富，越来越能以假乱真。其危害远不止于“骗网友一下”，而完全可能成为违法犯罪活动的帮凶。
在现实案件中，AI换脸、声音克隆已经被用于诈骗、身份冒用、突破平台身份认证等。2025年，检察机关披露的一起案件中，诈骗人员利用AI换脸和语音合成技术虚构“军官”身份实施诈骗，相关犯罪链条涉及13名被害人，团伙转移资金达1300余万元。杭州警方还曾侦破一起利用AI伪造人脸验证视频、突破互联网平台人脸识别认证并窃取个人信息的案件。
还有一种风险更加隐蔽：虚假内容不仅会欺骗人，还可能“欺骗机器”、污染AI工具依赖的语料库。大模型需要海量数据进行训练。如果网络空间被大量低质量、错误乃至恶意制造的AI内容占据，这些内容又被重新采集进入训练数据，就可能形成“AI生成—网络传播—重新训练—再次生成”的恶性循环。此前有研究显示，如果不加区分地使用模型生成数据训练后续模型，可能出现“模型崩溃”，模型逐渐偏离真实数据分布，丢失原始信息。而人为向训练语料中植入错误信息、恶意样本的“数据投毒”，风险更加直接。今年中央网信办开展专项行动时，已将大模型训练语料安全和AI数据投毒列为重点治理对象。
就此而言，治理AI虚假内容，不能只沿用“发现谣言—删除内容—封禁账号”的传统路径。虚假信息一旦批量进入网络、搜索结果和各类知识库，即使原帖被删除，也可能以截图、转载、模型训练数据等形式继续存在。治理关口必须进一步向内容生成和数据源头前移。
一个重要抓手，就是让AI内容“有迹可循”。2025年9月1日起施行的《人工智能生成合成内容标识办法》，要求对生成合成的文本、图片、音频、视频等设置显式标识和隐式标识，并要求传播平台核验相关信息、对疑似生成合成内容作出提示；任何组织和个人不得恶意删除、篡改、伪造、隐匿标识。相关规定最大的价值，就在于建立一条贯穿生成、导出、上传、传播环节的全链条记录体系，使平台能识别AI内容，网民能免受欺骗，出现问题以后也更容易追溯责任。
标识只是基础。生成平台需要守好训练语料和模型输出关，降低错误、有害内容进入模型和再次生成的概率；传播平台需要提升多模态识别能力，对集中生成、异常传播、刻意去除标识等行为加强监测；涉及金融交易、账户登录、身份认证等高风险场景，则不能继续把一段声音、一张脸作为充分的可信凭证，应通过多因素认证、异常行为识别等方式提高安全门槛。用户面对来源不明、过于离奇或刻意煽动情绪的图片视频，也需要形成“先核来源、再作判断”的基本习惯。
截至2025年12月，我国生成式人工智能用户规模已达6.02亿，普及率达到42.8％。在这一背景下，治理AI内容的目标，当然不是限制AI，而是建立与这种生产能力相匹配的安全机制。只有把真实性要求落实到数据、模型、生成、传播和应用的整个链条，人工智能带来的效率提升，才能不以网络安全与公共利益为代价。