人工智能应用需预防深度伪造风险｜理论周刊·专论

习近平总书记在中央政治局第二十次集体学习时就人工智能发展作出重要指示，强调要推动我国人工智能朝着有益、安全、公平方向健康有序发展。当前，深度伪造等技术滥用问题日益突出，据公安部门统计，利用人工智能深度伪造技术实施的违法犯罪案件数量持续增长，已成为网络犯罪领域需要重点关注的新型风险之一。

人工智能深度伪造技术发展现状及趋势

深度伪造技术正从专业领域走向大众应用，技术门槛和使用成本大幅下降。据中国信息通信研究院《人工智能发展报告（2024年）》，2023年我国人工智能核心产业规模超过5000亿元，其中深度合成技术应用占比显著提升。语音克隆已实现3秒音频即可合成，视频生成仅需几张图片，生成内容真实度从“肉眼可辨”提升至“难以区分”。

深度伪造已成为新型违法犯罪的重要工具，风险范围从个人诈骗扩展到经济安全和社会治理领域。国家互联网应急中心监测显示，2024年涉及深度伪造的网络安全事件较上年增长近3倍。企业层面，多起利用企业负责人深度伪造视频进行商业欺诈的案例造成重大损失。金融体系方面，生物识别认证的安全基础受到动摇。社会治理方面，深度伪造加剧了虚假信息传播，对突发事件处置和舆论引导带来新挑战。

一些国外发达经济体将深度伪造风险防控列为人工智能治理的优先事项。欧盟《人工智能法案》明确要求提供方必须向用户披露内容系由人工智能生成或处理。美国采取分业监管模式，联邦贸易委员会加大对深度伪造欺诈行为的执法力度。我国《互联网信息服务深度合成管理规定》《生成式人工智能服务管理暂行办法》等规章初步构建了监管框架，但与国际先进水平相比，在技术标准、执法能力、国际合作等方面仍有差距。

当前风险防控工作面临的主要挑战

深度伪造识别技术滞后。深度伪造领域呈现明显的“攻强守弱”态势，识别防护技术发展远远落后于生成技术进步。从资源投入看，科研立项和市场投资严重向生成技术倾斜，识别技术研发长期处于边缘地位。当前主流深度伪造识别系统面临检测效能持续下降的严峻挑战，新一代AI大模型推出后，现有识别算法的更新适配周期普遍长达数月，在此期间形成事实上的“监管真空”。

监管部门协同联动响应机制亟待完善。深度伪造的监管既需要跨部门的协作，又需要上下级的联动。目前信息孤岛现象突出，各部门都有自己的监测系统和数据资源，但标准不一、接口不通，难以形成合力。大部分基层单位尚未配备深度伪造检测工具，依赖上级部门提供技术支持，面对深度伪造违法犯罪行为往往错失最佳处置时机，给不法分子留下可乘之机。

互联网平台深度伪造检测能力不足。互联网平台在深度伪造风险防控中承担关键责任，但当前平台治理能力尚不适应风险防控需要。大型平台虽具备一定技术基础，但普遍缺乏主动治理意识，将深度伪造检测视为成本负担而非核心责任。多数平台仍沿用传统内容审核模式，对深度伪造这一新型风险缺乏针对性应对措施。目前主要依赖事后处置，主动发现和预防机制严重缺位。

深度伪造生成内容标识等关键制度尚不健全。现有规范性文件虽然搭建了初步框架，但在操作层面存在诸多空白。关键概念界定不清，对于什么是深度伪造、如何认定、分级分类标准等基础问题缺乏明确规定。金融、司法、新闻等对真实性要求极高的重点领域专门规范缺失，亟须明确技术应用边界和管控要求。

公众识别深度伪造内容的知识技能较为匮乏。社会公众是深度伪造风险的直接承受者，但其防范意识和识别能力亟待提升。大多数民众对深度伪造技术缺乏基本了解，面对逼真的虚假内容缺乏辨别能力，老年群体、低学历人群、农村居民等重点人群的脆弱性更加突出，容易成为诈骗等违法行为的目标。同时，宣传教育体系未能适应深度伪造带来的新挑战，现有宣传多停留在案例警示层面，缺乏系统的知识普及和技能培训。从基础教育到高等教育，绝大多数学校未将人工智能安全和深度伪造风险识别纳入课程体系，机关企事业单位的安全教育培训也较少涉及深度伪造内容，社会防线持续处于比较薄弱状态。

加强人工智能深度伪造风险防控的工作建议

鼓励深度伪造识别技术研发。设立国家深度伪造识别技术研发专项。建议科技部在国家重点研发计划中增设“人工智能安全与风险防控”重点专项，将深度伪造检测与防护技术作为优先支持方向，确保识别防护技术研发投入与生成技术投入相匹配，重点突破实时检测、对抗防御、溯源追踪等核心技术。

完善深度伪造监管体系。建设国家级深度伪造识别平台，支撑基层治理。平台重点提供三类服务：面向执法部门的专业鉴定服务，为公安机关侦办案件出具权威鉴定报告；面向重点行业的批量检测服务，帮助金融、电信、媒体等机构防范深度伪造风险；面向社会公众的便民查验服务，帮助普通民众快速识别可疑音视频内容的真实性。

建立互联网平台深度伪造守门人制度。对日活跃用户超过一定规模的大型平台，明确其必须配备与业务规模相适应的深度伪造检测能力，建立专门的内容审核团队和技术系统。对中型平台，要求其接入认证的第三方检测服务或使用政府提供的公共检测工具。制定平台深度伪造检测能力评价标准和考核办法，将检测准确率、响应时效、处置效果纳入平台信用评价体系。

建立生成内容标识管理制度。建议加快制定《人工智能生成合成内容标识办法》的配套实施细则，明确规定人工智能生成的音视频内容必须添加不可去除的技术标识和显著的视觉标记。制定统一的标识技术标准，确保在内容的生成、编辑、传播全流程可追溯、可验证。在重点领域率先实施严格管控：金融领域禁止使用深度伪造技术进行身份认证和营销推广，司法领域明确深度伪造内容不得作为证据使用，新闻传播领域要求媒体使用人工智能生成内容必须明确标注。

加强深度伪造风险防范宣传教育。将深度伪造风险防范纳入数字素养提升工程，建立分层分类的宣传教育机制。针对不同群体的特点和需求，构建覆盖全社会的教育培训体系。在国民教育序列中系统植入防范意识，将深度伪造识别知识纳入高等院校相关专业必修课程，在中小学信息技术课程中增加人工智能安全常识。强化重点人群专业培训，将深度伪造风险防范作为党政干部网络安全培训的必修内容，对金融、电信、媒体等重点行业从业人员定期开展专项培训，提升其识别和应对能力。通过教育先行、培训跟进、宣传普及相结合，构筑起防范深度伪造风险的社会防线。

（作者分别为广东工业大学大数据战略研究中心执行主任、广东工业大学数字经济与数据治理实验室研究助理）

编辑 白珊珊 审读 秦天 二审 党毅浩 终审 甘霖