安全研究要紧跟前沿脚步,这名青年在复旦为AI大模型“治未病”
2024-04-14 青年

潘旭东与导师杨珉教授

青年报·青春上海通讯员 张傲 记者 刘昕璐

今年4月15日是总体国家安全观提出10周年。五年前的春天,那时还没有多少人知道OpenAI和GPT,潘旭东已经在复旦大学系统软件与安全实验室里思考AI大模型安全的未来。自杨珉老师引领他入门以来,潘旭东在人工智能安全领域深耕近十年。从复旦本博到如今计算机科学技术学院专任副研究员,每天至少12个小时的持续工作和思考,加上超乎日常经验的“灵光一闪”,让他成为复旦“白泽战队”这支守卫网络安全的师生团队中的“学术之星”。

  //  前瞻视野为AI大模型“治未病”  //  

2022年冬天,生成式人工智能卷起新一轮科技浪潮,对于AI大模型面临的安全挑战,潘旭东已走在前面。AI安全研究要紧跟着AI前沿脚步,识破技术迷局,率先揭示AI系统的潜在安全风险,同时发展安全评测和治理方法,就像中医中所谓的“治未病”,对未知疾病进行预防和提早治疗。

“AI大模型在计算过程中,会产生像密码一样的高维向量编码,这些看似被加密过的数据在网络上流传是否会泄露你我的隐私?”当时,年仅22岁的潘旭东就在计算机学院的实验室中就“构造”了一种有效的攻击算法,从上千维的AI大模型深度编码,能准确破解用户的一言一行。

2022年,潘旭东获得世界人工智能大会青年优秀论文提名奖

“比如一份病例记录,被AI大模型处理转换,变成高维深度特征向量,如果攻击者可以把它再逆向出来,便破解了病人的隐私信息。”2020年,在安全领域国际旗舰会议USENIX Security和IEEE S&P上,潘旭东凭借这一前瞻性的发现,同时一作发表2篇研究成果,首次揭示了OpenAI GPT系列、Google BERT等8款商用大模型的数据隐私风险。

作为国际上首次发现的大模型重大安全问题,迅速引起Google、OpenAI等头部厂商的高度重视,得到多国院士在内的上百位国际知名学者引用,他获评2022年度世界人工智能大会WAIC青年优秀论文提名奖。素有“计算机安全教母”之称、UC Berkeley的Dawn Song教授,与Google、OpenAI、Apple的联合报告中,高度称赞复旦团队这一研究,揭示了AI大模型“不可忽视的安全风险”,并推动行业开始关注大模型数据隐私安全。

守护AI系统安全,需要前瞻性的视野,尽早发现AI大规模应用面临的未知安全隐患。 随着ChatGPT、GPT-4等AI大模型应用的相继推出,深度编码已成为垂直大模型应用中的关键基础设施,潘旭东和团队对这项重大安全风险的超前预判体现出科学研究的奇妙与珍贵。

  //  扎根中国做杰出成果  //  

早在本科毕业前夕,潘旭东考虑过出国深造,AI安全研究在国际上已初露端倪,而国内还鲜有关注,但他一直相信,扎根中国同样能做出杰出的成果。

潘旭东的抉择尤为坚定,那就是要在祖国的土壤上做出独创性的成果。幸运的是,他大四的研究成果得到国际机器学习顶级会议 ICML‘18录用,成为该会议首次接收的国内本科生一作论文,并在瑞典斯德哥尔摩进行口头报告。

到了博士毕业之际,潘旭东已在国际顶会顶刊发表20多项科研成果,收到了“华为天才少年”的Offer和海外顶尖科研机构的工作邀约。薪酬丰厚的产业界,世界级的海外科研机构,还是求贤若渴的国内土壤?他最终依旧坚定选择了复旦这片“卓越而有趣”的学术旷野。

在他的心目中,优秀的“网安人”,应该就是像杨珉老师常常说的,要具备对领域发展的前瞻性视野,真正突破性研究成果,将推动全社会对全新安全问题的关注和重视,而这往往需要静心等待才会闪闪发光。

潘旭东在海外顶尖科研院所进行专题报告

决定留校以后,潘旭东在科研的旷野上不断找寻着方向,2023年4月起,潘旭东和团队将研究重心转移到AI大模型安全评测与治理。深受复旦大学文理融合特色熏陶,潘旭东从“现代语言学之父”乔姆斯基转换生成语法中获得灵感,研制基于语言学变异的AI安全治理大模型,高效诱导国内外数十款大模型违规生成,全面评测当前AI大模型安全水位,得到有关部门高度关注,并完成专项工作,相关成果也已经在多家大模型头部厂商得到应用。

忙碌的科研生活之余,潘旭东始终葆有忠于人文的热忱与思考,对人文社会科学著作的阅读刺激他不断思考,在促进技术高速繁荣发展的同时,如何保留供给人类灵魂诗意栖居的自留地,用技术保护新技术条件下人的尊严与价值。

谈及留在复旦,潘旭东还希望,能将导师言传身教的报国理想伴随着科研经验传递给下一代的复旦青年。

“白泽”,一种上古祥瑞,晓天地万物、能辟邪除害,这也是潘旭东所在团队的名字,“为国家筑坚盾、为行业育英才”,他相信,在AI时代为国筑牢网络安全之盾,是系统软件与安全实验室代际相传的使命。

青年报·青春上海通讯员 张傲 记者 刘昕璐

编辑:陆天逸

来源:青春上海News—24小时青年报

返回上页 回到首页

青年报社 版权所有

总机:021-61176117 | 广告热线:021-61173717 | 违法和不良信息举报电话:021-61177819 / 61177827 举报邮箱:services@why.com.cn    测试版