科学研究
科学研究

当前位置:首页 / 科学研究 / 特色优势 / 正文

多模态大模型安全对抗防御关键技术研究及应用

2025-08-07

依托河南科技大学建设的河南省网络空间安全应用国际联合实验室和河南省智能制造大数据发展创新实验室,聚焦多模态大模型安全与对抗防御领域,全面分析了当前面临的外部威胁与内部风险等安全挑战,针对多模态大模型安全防护能力不足、AIGC深度伪造内容泛滥、系统级防控体系不完备等挑战,从攻击识别准确率低、泛化性能差、安全漏洞检测能力弱、防御机制不完备、平台支撑缺失、伪造内容难以甄别等痛点难点入手,围绕多模态大模型面临的数据投毒攻击、对抗样本攻击、模型窃取攻击、后门攻击、提示注入攻击和深度伪造生成内容等多模态大模型内生安全和内容安全问题等关键核心技术,自主研发了雒盾®·多模态大模型安全检测系统(DeepCensor),提供了“检测-评估-防御-治理”闭环解决方案和创新产品,荣获中国网安产业联盟2025年网络安全优秀创新成果大赛—人工智能和机器人安全专题赛(创新产品类)优胜奖,并推广应用于新华三集团百业灵犀等大模型系列产品,为提升大模型安全治理能力,保障人工智能安全、可靠、可控,提供了关键技术与理论支撑。

一、关键技术

1、多模态大模型内生安全

基于大语言模型的新型思维链对抗迁移攻击框架多生成器协同训练的无数据模型窃取

    基于大语言模型的新型思维链对抗迁移攻击框架                                                     多生成器协同训练的无数据模型窃取

大语言模型黑盒提示注入攻防博弈框架中文混淆语义越狱攻击

                             大语言模型黑盒提示注入攻防博弈框架                                                               中文混淆语义越狱攻击

2、多模态大模型内容安全

结合纹理差异和频域信息的深度伪造图像检测模型框架基于空频特征交互的人脸深度伪造方法溯源模型

  结合纹理差异和频域信息的深度伪造图像检测模型框架                                     基于空频特征交互的人脸深度伪造方法溯源模型

3、多模态大模型数据安全

面向预训练编码器的无差别数据投毒攻击方法框架图8

        面向预训练编码器的无差别数据投毒攻击方法框架                                             基于动态权重触发器融合的黑盒后门检测

二、部分实验分析

图10图9

大模型内生安全风险评估(对抗攻击、模型窃取等)

图12图11

黑盒大语言模型安全防御(提示注入攻击、越狱攻击等)

深度伪造内容检测与溯源(深度伪造图像/视频检测、面部操作溯源等)深度伪造内容检测与溯源(深度伪造图像/视频检测、面部操作溯源等)   

深度伪造内容检测与溯源(深度伪造图像/视频检测、面部操作溯源等)

多模态大模型数据安全(数据投毒、后门攻击)多模态大模型数据安全(数据投毒、后门攻击)      

多模态大模型数据安全(数据投毒、后门攻击)

三、主要功能

  •   多模态大模型安全检测系统

              平台架构:

·系统运行与部署环境 

·多模态数据接入

·智能安全检测引擎

·知识增强与分析支撑

·安全可视化与预警展示

·模型服务与技术中台

·系统运行与部署环境  

图3-1

                                                                                                              多模态大模型安全平台架构         

                      

  •   多模态大模型内生安全检测

·对抗攻击检测·模型窃取攻击检测

·提示注入攻击检测

·中文越狱攻击检测

                                                               

图3-2

                                                                                                                 多模态大模型内生安全检测


  •   多模态大模型深度伪造内容安全检测

·深度伪造图像检测

·深度伪造视频检测

·深度伪造人脸图像生成方法溯源

图3-3

                                                                                                        多模态大模型深度伪造内容安全检测与溯源

  •   多模态大模型数据安全检测

·数据投毒攻击检测

·后门攻击检测

图3-4

                                                                                                                     多模态大模型数据安全检测

微信扫码分享