青年报·青春上海记者 范彦萍/文、图

前不久，复旦大学附属华山医院感染科主任张文宏“被带货”事件上了热搜，不法分子通过AI技术篡改其讲话视频，误导消费者，“眼见不一定为实，有图不一定有真相”。

随着AI诈骗的兴起，市人大代表，上海合合信息科技股份有限公司董事、董事会秘书刘忱此次提交了一份代表建议，希望以科技伦理为导向，科技助力生成式人工智能安全发展。

问题：严重扰乱舆论生态，电信诈骗技术升级

自2022年起，生成式人工智能技术（AIGC）迎来了多轮爆发式增长，这一技术革新在为人们生活、工作带来极大便利的同时，由于缺乏科技伦理的规范与引导，滋生出诸多安全隐患，成为不法分子实施网络犯罪的新工具。

数据显示，2023年基于AI的深度伪造欺诈暴增3000%，这一数据凸显出生成式造假问题的严重性。在流量与金钱利益驱使下，部分不法分子利用AIGC技术批量制造虚假图片、视频、音频，炮制虚假新闻与谣言，生成带有偏见的评论等信息，严重扰乱舆论生态。

刘忱在调研时发现，随着AI技术的应用，电信诈骗技术升级。根据专业安全技术公司对全球7个国家的7000多名被访者的调查，四分之一的成年人受访者经历过AI语音克隆骗局，70%的人难以分辨克隆声音与真实人声。这一数据反映出电信诈骗技术借助AI换脸和拟声技术实现升级，不法分子盗取个人信息或伪造人物外表、身份，实施诈骗。只需一段话，就能克隆任何声音，使得电信诈骗手段更加隐蔽、难以防范，严重威胁公众财产安全。

“信息茧房现象还会加剧社会歧视偏见，造成伦理问题。”刘忱透露说，部分企业利用人工智能收集分析人类行为、社会地位、经济状况、个体性格等信息，对不同人群进行标识分类、区别对待。

此外，AI技术也使得知识产权侵犯事件频发。刘忱认为，AIGC模型的形成和完善依赖大量数据训练，而这些数据往往包含受版权法保护的内容。人工智能撰写的文章等AIGC作品存在著作权归属不清的困境，根源在于训练数据可能包含版权保护内容。这不仅可能导致使用 AIGC 技术创作的作品无法获得著作权保护，阻碍技术发挥创作价值，还可能因海量摹写行为稀释既有作品权利人的独创性，威胁他人合法权益。

多管齐下应对挑战，建议企业研发AI防御与鉴伪技术

刘忱认为，科技助力生成式人工智能安全发展需多管齐下，从治理机制构建、技术研究加强、伦理训练与数据集优化，到知识产权保护强化等多方面入手，方能引导科技向善，有效应对AIGC带来的安全挑战。

他建议，构建各方共同参与、技管结合、分工协作的治理机制。研究机构应落实行业标准；平台机构应通过事前宣导，强化视频制作者的责任感，并开展违规内容检测，防止传播AIGC生成的违规信息。具体而言，平台可利用大型语言模型进行文本合规检测，通过视觉模型提取图片特征，判断图片信息是否合规，以及运用深度学习算法分析音频中是否包含敏感词汇、受版权保护的内容等。同时，创作者在发布原始视频时，可推荐其使用“半脆弱性数字水印”，或平台为始发视频、图像注入数字水印，实现内容真实性和完整性验证以及溯源管理。

他还鼓励企业研发AI防御与鉴伪技术。比如建议设立专项资金，鼓励科技企业关注技术在AIGC虚假信息“主动防御”“主动检测”中的应用。“主动防御”方面，利用数字水印技术实现AIGC合成内容追踪溯源，文本、图像、音频、视频等均可作为数字水印载体，验证者通过算法对文本中的数字水印进行验证，快速识别机器生成文本内容；“主动检测”方面，引入AI欺诈检测与鉴伪技术，精准识别伪造内容，实时监测并应对AIGC欺诈行为，以技术防御和人工干预相结合的方式，筑牢安全防线。

“目前AIGC的导向掌握在训练模型的人手中，算法偏见的根源来自数据。”刘忱认为，构建更加公正的数据集是解决算法偏见的根本方法之一。同时，强化伦理训练，让AIGC生成内容更加符合社会伦理规范，避免因数据偏差或模型局限导致的虚假信息输出。

青年报·青春上海记者 范彦萍/文、图

编辑:张红叶

来源:青春上海News—24小时青年报