新闻中心
新闻中心

当前位置:首页 / 新闻中心 / 实验室动态 / 正文

HAUST-HNU大模型与安全联合研究团队第32期组会召开

2025-08-24

2025年8月10日,HAUST-HNU大模型与安全联合研究团队第32期组会在线召开。本次组会主题是利用贪心树搜索寻找对抗样本的GTS攻击和LLM赋能可信软件工程综述。

河南科技大学2025级硕士研究生李晨阳汇报了《GTS Attack Finding Adversarial Examples With Greedy Tree Search》。深度学习在医疗、自然语言处理、计算机视觉等多个领域取得了突破性进展,但深度神经网络容易受到对抗性样本的攻击,这些经过微小像素扰动而形成的对抗性样本,能够欺骗深度神经网络。然而,在现实应用中,如在机器学习即服务(MLaaS)场景下,许多基于查询的黑盒攻击存在查询次数过多易被防御者察觉,基于白盒假设的攻击迁移性差,基于迁移型的黑盒假设易被目标模型防御等问题。促使研究者探索更高效的对抗性样本生成方法即GTS攻击。论文介绍了 GTS 攻击:基于贪心树搜索算法的多样化寻找对抗样本攻击方法。研究结果强调,GTS 攻击效率高,尤其在黑盒场景下,以更少的模型查询和更高的成功率优于现有攻击。这表明需要持续评估模型的鲁棒性,尤其是在机器学习及服务日益普及的情况下。GTS 攻击成功突破**先进的防御机制,凸显了潜在的脆弱性。虽然本研究探索了对抗样本开发的新方法,但也强调了对抗性机器学习的动态特性。随着我们通过 GTS 攻击等方法不断突破边界,这也将推动更具韧性的防御机制的发展

图片1.png

河南科技大学2025级硕士研究生许承晴汇报了《Leveraging LLMs for Trustworthy Software Engineering: Insights and Challenges》。大语言模型(LLMs)正在通过加速开发、降低复杂性和削减成本来改变软件工程。如果将其完全集成到软件生命周期中,它们将有望推动设计、开发和部署的革新。然而,要实现基于LLM的可信软件工程,仍需解决多重挑战。尽管现有研究已经探索了LLMs在软件工程中的应用,但对其全面集成到软件开发生命周期(SDLC)——从需求收集到部署及部署后监控——的关注仍然有限。这种集成需要从一开始就将可信性作为基础要素的解决方案。文章预见了LLMs在构建可信软件过程中将发挥的关键作用。未来研究应聚焦于提升LLM的可解释性以建立用户信任、缓解偏见,并设计符合法规要求的合规性模型。从业者应采用混合方法,将LLM的概率性输出与确定性工具相结合以确保一致性。未来的工作应探索将LLMs与遗留系统和现有工具集成,以扩大其适用范围。需要制定在保持法规合规性的同时增强实时适应性的策略,以便在高风险领域有效部署LLMs,使其能够在多样化且不断演变的软件开发环境中可靠使用。

图片2.png

在交流环节,与会成员主要针对文献的研究思路、创新点及不明之处展开了热烈的讨论,为下一阶段课题研究提供了新思路。 

(图文/李晨阳 许承晴 审核/权高原)

微信扫码分享