360数字安全 12小时前
360大模型卫士:让大模型安全风险“可知、可测、可控”
index_new5.html
../../../zaker_core/zaker_tpl_static/wap/tpl_guoji1.html

 

在大模型日益普及的今天,企业在享受AI带来的效率提升时,也面临着模型上线后的安全困境。模型组件复杂、资产不清导致漏洞难寻,提示词注入攻击频发,智能体权限失控等问题日益凸显,成为智能化转型的障碍。360依托其在AI与安全领域的跨界优势,推出“大模型卫士”,旨在通过“以模制模”理念,为政企客户提供全面的大模型安全解决方案。该方案系统性地识别、量化并降低大模型在实际应用中的各类安全风险,覆盖检测与防护的关键环节。其核心组成——360大模型卫士检测系统,通过构建覆盖模型环境、输入输出及智能体应用三大维度的闭环检测体系,帮助企业实现大模型安全风险的“可知、可测、可控”,为AI应用保驾护航,已在能源、金融等行业成功落地。

🛡️ **模型环境透明化与风险识别:** 360大模型卫士检测系统能够通过先进的资产识别技术,梳理并构建大模型组件及管理应用的完整图谱,实现系统架构的透明化。在此基础上,进行深度漏洞扫描,诊断环境安全缺陷,并结合超过32万条漏洞情报数据,通过组件风险碰撞分析,精准识别高危风险点,有效避免如数据泄露等潜在风险,如同为复杂“黑盒”模型提供了清晰的内部视图。

🚨 **输入输出安全审计与防护:** 针对大模型与外界交互最频繁的输入输出环节,系统内置强大的交互式安全审计引擎。它能模拟真实攻击者的思维行为,自动执行包括提示注入、敏感信息窃取等海量测试用例,对模型的问答行为进行多维度深度测试,实时分析控制缺陷。这确保了模型在上线前和运营中能持续发现并修复安全隐患,保证回答的稳定性和可靠性,有效抵御外部攻击。

✅ **智能体应用合规性与权限管控:** 针对智能体调用API时可能出现的越权访问风险,360大模型卫士通过深度分析MCP服务器配置、工具暴露面及权限设定,实现风险精准识别。系统对MCP开放接口实施动态安全测试,模拟恶意调用场景,检测注入攻击、权限越界等漏洞;同时,全面审计对外暴露的工具、资源及提示语内容,防范敏感信息泄露。这确保了智能体始终在安全可控的环境中运行,从根本上规避了因服务滥用带来的业务风险。

2025-11-04 17:53 北京

让大模型安全风险“可知、可测、可控”

在大模型席卷千行百业的今天,不少企业已经尝到了AI提质增效的甜头,却也悄然陷入了“模型一上线,安全一团乱”的窘境:

    · 模型组件复杂、资产不清,漏洞隐患在哪里都不知道;

    · 模型频遭提示词注入攻击,模型频频被带偏、被滥用;

    · 智能体权限失控、工具调用越界,业务系统运行直面威胁;

       ……

这些日益凸显的安全风险,逐渐成为制约企业智能化转型的关键挑战。筑牢AI安全防线,已成为企业在智能化时代行稳致远的必然选择。

360依托“懂AI更懂安全”的跨领域优势,基于“以模制模”理念打造大模型卫士,为广大政企客户提供全方位的大模型安全解决方案,系统性识别、量化并有效降低大模型在各类实际应用场景中的安全风险,全面覆盖大模型安全检测与防护等关键环节。

作为这套方案的核心组成,360大模型卫士检测系统已于近期正式发布。通过构建覆盖模型环境、输入输出及智能体应用三大维度的闭环检测体系,帮助广大政企客户实现大模型安全风险“可知、可测、可控”,为企业AI应用保驾护航。

模型环境像“黑盒”?我们让它透明可见

某金融机构在部署大模型后,始终无法厘清模型组件与潜在漏洞,担心供应链存在风险。360大模型卫士检测系统致力于破解大模型环境的“黑盒”状态,为该企业提供从看见资产到洞悉风险再到管理闭环的一体化大模型环境安全解决方案。

\ | /

首先,运用先进的资产识别技术,系统性地梳理并构建大模型组件及管理应用的完整图谱,实现大模型系统架构的透明化呈现;

\ | /

其次,基于已构建的系统图谱开展深度漏洞扫描,实现对环境安全缺陷的系统性诊断;

\ | /

最后,依托内置的超过32万条漏洞情报数据,通过组件风险碰撞分析技术,将资产信息与漏洞情报库进行智能关联分析,精准识别存在潜在利用风险的高危风险点。

最终,该机构在上线前发现3处环境风险,避免了可能因模型环境安全问题导致的数据泄露事件。

输入输出频遭攻击?我们主动出击

在大模型的运行过程中,输入与输出环节构成了其与外界交互最频繁的通道,也因此成为安全风险最为集中的区域。某企业发现对外提供服务的大模型平台频繁遭受提示词相关攻击,其核心问题在于模型的输入输出存在安全隐患和相关风险,360大模型卫士检测系统帮助其进行安全排查。

系统内置强大的交互式安全审计引擎,通过模拟真实恶意攻击者的思维与行为,自动执行海量精心构造的测试用例,如提示注入、敏感信息窃取等,对模型的问答行为进行多维度深度测试,并实时分析模型存在的各类控制缺陷。

在模型上线前和运营中,持续发现并修复安全缺陷,确保模型的回答稳定、可靠。最终,该平台在测试阶段发现多处模型安全缺陷,保障了模型安全。

智能体越权操作?我们让它“守规矩”

某企业接入MCP工具后,对智能体调用API时可能存在的用户数据越权访问风险心存顾虑。360大模型卫士检测系统通过深度分析MCP服务器的配置合规性、工具暴露面与权限设定,实现对潜在安全风险的精准识别,为智能体的应用筑起“安全边界”。

\ | /

一方面,针对MCP所开放的接口实施动态安全测试,通过模拟恶意调用场景,系统化检测注入攻击、权限越界、功能滥用及未授权访问等典型安全漏洞;

\ | /

另一方面,对MCP服务中对外暴露的工具、资源及提示语内容开展全面审计,有效防范敏感信息通过该渠道的非授权泄露。

通过双重检测机制,确保智能体始终在安全可控的环境中运行,从根本上规避因MCP服务滥用带来的业务风险。最终,帮助该企业识别出两处MCP服务接口未授权访问问题,并协助其完成权限收敛,杜绝越权风险。

360大模型卫士检测系统,让企业在模型上线前发现隐患、运营中实时监测、迭代后持续评估,真正建立起覆盖全生命周期的AI安全防线,做到风险“可知、可测、可控”。目前,360大模型卫士检测系统已在能源、金融等多个行业落地,帮助用户充分释放大模型的业务价值,实现安全与智能发展的双轮驱动。

如需进一步咨询

请联系

400-0309-360

往期推荐

01

● 深度复盘美国NSA渗透攻击授时中心,360安全智能体蜂群引领政企防护升维

02

● 行业唯一!360大模型安全卫士斩获IDC五星评价

03

持续领跑!360安全智能体首批通过中国软件评测中心认证

04

● 政策东风起,360携13所“新双高”院校打造新质人才摇篮

阅读原文

跳转微信打开

Fish AI Reader

Fish AI Reader

AI辅助创作,多种专业模板,深度分析,高质量内容生成。从观点提取到深度思考,FishAI为您提供全方位的创作支持。新版本引入自定义参数,让您的创作更加个性化和精准。

FishAI

FishAI

鱼阅,AI 时代的下一个智能信息助手,助你摆脱信息焦虑

联系邮箱 441953276@qq.com

相关标签

大模型安全 AI安全 360大模型卫士 模型风险 LLM Security AI Security 360 AI Model Guardian Model Risk
相关文章