在2024年12月11日,备受瞩目的首届生成式人工智能安全大赛在北京圆满落幕。此次盛会由北京市互联网信息办公室与中国科学院网络安全和信息化领导小组办公室共同指导,且由中国科学院信息工程研究所及信息内容安全国家工程研究中心联合主办,旨在聚焦生成式人工智能在安全领域所面临的技术挑战,推动国家在人工智能安全可控水平上的进步。
大赛以“共筑安全星河,护航AI发展”为主题,划分为“安全攻击”、“安全检测”和“安全防护”三大赛道,吸引了来自全国各大高校、科研机构与企业的优质技术团队同台竞技。尤其是在引人关注的“安全攻击”赛道上,由石霖、陈文弢、黑一鸣等成员组成的中国信息通信研究院(即中国信通院)人工智能研究所团队,凭借其扎实的技术背景与创新的思维,最终从200多支参赛队伍中脱颖而出,一举夺得冠军!
该团队运用了多模型融合、红队自对抗训练及提升词工程等先进技术,成功构建出高效的技术框架,不仅揭示了目标模型在安全性方面的潜在薄弱点,还为进一步的安全防护提供了有价值的参考。此举突显了中国信通院在生成式人工智能安全研究领域的深厚基础与技术实力。展望未来,中国信通院将继续关注人工智能领域的安全隐患,不断提升自己的技术能力,为产业健康发展贡献更多力量。返回搜狐,查看更多