花费几十元定制名人的音视频内容，只需一张照片就能成为热播视频中的主角……近年来，伴随着技术门槛的降低和商业应用场景的增多，教授类似“换脸、换衣技术”的课程遍地开花，甚至成为不法分子牟利的手段。
近日，上海市网信办发布的“清朗浦江·2024”网络生态治理处置案例中曝光了类似案例：“程序媛**”“小狗爱吃**”等账号发布视频教程，教授用户如何利用AI技术实现“给现代女神穿上肚兜”“一键去衣”等低俗效果；“AI科技杂烩”“火儿科技馆”等网络店铺售卖“AI换衣”“AI换脸”相关软件。上海市网信办表示，鉴于“AI变装”“AI换脸变声”等技术不当滥用可能造成侵权行为甚至是触犯刑法的犯罪行为，属地电商平台进行了全面排查，清理相关商品，对相关店铺予以关闭，对一批账号实施禁言等阶段性处置措施。
早在2023年，杭州市萧山区人民检察院提起的一起利用“AI换脸”技术侵犯公民个人信息公益诉讼案件曾引起一片哗然。被告从互联网等渠道收集被编辑人人脸信息，与部分淫秽视频中的主体人脸信息进行替换合成，制作生成的伪造视频、图片，所涉人员达2000多人，引发了公众对“AI换脸”技术的讨论和担忧。
那么，在网络上售卖传播的大量“AI换衣”“AI换脸”的相关课程，法律的边界在哪里？上海市信息安全测评认证中心的专家告诉本报记者，我国《民法典》第1019条明确，任何组织或者个人不得以丑化、污损，或者伪造等方式侵害他人的肖像权。这意味着，未经授权使用AI换脸技术伪造他人肖像，可能构成对肖像权的侵犯。如果不法分子将“AI换脸”、“AI去衣”用在淫秽视频的制作与传播或者“AI换脸”用于诈骗牟利的目的，这将违反我国刑法的相关规定，将被追究刑事责任。
当下，是否有技术手段能精准识别应用AI技术的音视频内容？专家表示，AI换脸/换衣技术本质上是利用深度学习模型，对图像中的语义信息（如：人脸特征、衣物纹理等）进行解构与重组，并通过对抗性训练以及图像融合技术达到逼真的视觉效果。就目前的技术而言，鉴别真实图像和AI生成的图像需要综合运用多种方法。其中利用了一些技术检测手段，包括元数据分析、传感器噪声模式、深度学习检测模型、物理一致性验证等。但也面临生成技术的快速迭代以及后处理干扰等挑战。未来，鉴别工作将主要依赖于主动防御技术，如：隐式标识、区块链溯源等。
近日，国家互联网信息办公室、工业和信息化部、公安部、国家广播电视总局联合发布的《人工智能生成合成内容标识办法》及配套的强制性国家标准《网络安全技术人工智能生成合成内容标识方法》将于今年9月1日起实施。明确人工智能生成合成内容标识必须包括显式标识和隐式标识两种形式，显式标识是以文字、声音、图形等方式呈现并可以被用户明显感知到的标识；隐式标识是指采取技术措施在生成合成内容文件数据中添加的，不易被用户明显感知到的标识。任何组织和个人不得恶意删除、篡改、伪造、隐匿本办法规定的生成合成内容标识，不得为他人实施上述恶意行为提供工具或者服务，不得通过不正当标识手段损害他人合法权益。
强制性国家标准《网络安全技术人工智能生成合成内容标识方法》中的部分要求。
专家认为，平台企业、工具提供方以及传播平台对上架的相关程序、功能进行AI内容的显著标识后，为监管其落实的精度和广度，需加强AI生成内容识别与溯源追踪技术，实现对个人生物识别信息使用的全程监控，以智能对智能，检测出未标识的AI生成内容。
同时，为防范生成式人工智能技术被滥用，还必须从法律、社会等多个维度采取措施。
在法律规范方面，当前大部分的AI换脸/换衣不当利用行为处于民商事诉讼范畴，受侵害的个体面临定损难、举证难、维权成本高等困境。专家建议，应完善现行法律法规，细化AI克隆技术法律条款，明确侵权行为的定义和责任，加强执法的力度。
在社会教育方面，应提升公众的风险防范意识和辨识能力，普及反诈骗知识，增强公众对人工智能技术潜在风险的理解。通过形成“事前审核—事中监测—事后追责”的全链条防御体系，才能够有效地遏制生成式人工智能技术被用于制造虚假信息、诈骗等非法行为。