index_new5.html
../../../zaker_core/zaker_tpl_static/wap/tpl_guoji1.html
![]()
随着大语言模型技术的快速发展，基于大模型重构传统安全应用，构建AI原生安全应用，已成为人工智能应用领域的重要发展方向。绿盟科技天枢实验室主管研究员张润滋将在XCon2024大会上，从AI原生安全应用的视角，探讨基于大模型重构安全应用的未来框架，分析安全智能化的需求与人工智能原生安全能力的内涵，并基于工业界与学术界在大语言模型操作系统技术领域的进展，讨论在安全场景下大模型应用的未来范式，包括人机协作的运营智能滑动标尺，进一步设计并提出面向安全应用的大语言模型操作系统概念框架，并识别了该领域技术蕴藏的潜在风险，以期为安全领域智能化发展提供系统性研究视角。
🤔 **安全智能化的需求与AI原生安全能力**
为了有效缓解安全对抗与运营中的信息爆炸挑战，全面提升对抗与运营技术的自动化水平，亟需研究基于大模型的安全应用研发与运营新范式。AI原生安全应用旨在利用大模型技术重构传统安全应用，实现安全智能化，以应对日益复杂的网络安全威胁。AI原生安全应用的核心能力包括：
* **自动化分析与决策:** 利用大模型强大的信息处理能力，自动分析海量安全数据，识别潜在威胁，并进行快速决策，提高安全响应效率。
* **智能化威胁检测:** 通过大模型学习安全知识和攻击模式，提升威胁检测的准确率和效率，识别传统安全手段难以发现的攻击行为。
* **人机协作的运营智能:** 利用大模型辅助安全运营人员进行威胁分析、事件推理、漏洞挖掘等工作，提升安全运营效率，降低人工成本。
* **可解释的安全决策:** 为了确保安全决策的可信性，AI原生安全应用需要具备可解释性，能够清晰地解释大模型的决策过程，帮助安全人员理解决策背后的逻辑。
🤖 **面向安全应用的大语言模型操作系统框架**
大语言模型操作系统（LLM OS）是构建AI原生安全应用的基础，它将大模型与安全应用场景深度融合，提供安全智能化的能力。LLM OS的核心功能包括：
* **安全知识库:** 整合安全相关的知识、规则、威胁情报等，为大模型提供安全知识支撑。
* **安全任务管理:** 管理安全相关的任务，例如威胁检测、漏洞分析、事件响应等。
* **安全数据处理:** 处理安全相关的各种数据，例如日志、流量、攻击样本等。
* **安全模型训练:** 基于安全数据和知识库，训练安全模型，提升安全能力。
* **安全应用接口:** 提供API接口，将LLM OS的能力与其他安全应用集成。
⚠️ **大模型操作系统技术潜在风险**
大模型操作系统技术也存在一些潜在风险，需要在应用过程中进行有效防范。
* **编程语言风险:** 大模型的编程语言可能存在漏洞，导致安全风险。
* **机器幻觉风险:** 大模型可能出现“幻觉”，生成虚假信息，影响安全决策。
* **对抗失效风险:** 攻击者可能利用对抗样本攻击大模型，导致安全失效。
为了有效应对这些风险，需要对大模型进行安全评估和测试，并建立安全机制，确保大模型的安全可靠性。
未来，大语言模型将在网络安全的人机交互、威胁检测、事件推理、辅助决策等多个环节得以深入应用，与此同时，可精确计算、合法合规的、可解释的、保护隐私的可信大模型将成为安全智能研究的重点。
——绿盟科技天枢实验室主管研究员
张润滋
随着大模型技术的发展，围绕大模型的核心技术范式，重构传统应用，已成为人工智能应用领域的重要发展赛道。
为了有效缓解安全对抗与运营中的信息爆炸挑战，全面提升对抗与运营技术的自动化水平，亟需研究基于大模型的安全应用研发与运营新范式。
本届XCon2024大会中，来自绿盟科技天枢实验室的主管研究员 张润滋将从AI Native Security Application（AI原生安全应用）的视角出发，探索基于大模型重构安全应用的未来框架。
议题将系统分析安全智能化的需求与人工智能原生安全能力的内涵，进而基于工业界与学术界在大语言模型操作系统技术领域的进展，讨论在安全场景下大模型应用的未来范式，包括人机协作的运营智能滑动标尺，进一步设计并提出面向安全应用的大语言模型操作系统概念框架，并识别了该领域技术蕴藏的潜在风险，以期为安全领域智能化发展提供系统性研究视角。
议题简介
《AI Native Security Application: From a LLM OS Perspective》
本议题将基于网络空间安全人工智能发展趋势，分析AI原生安全应用的新需求，并通过对大语言模型操作系统研究前沿总结，阐述面向安全应用的大语言模型操作系统框架，并对其中蕴含的包括编程语言风险、机器幻觉风险和对抗失效风险进行解析。
议题将面向大模型驱动安全智能的新机遇与新挑战，梳理大模型操作系统的研究进展，为AI原生安全应用的新范式提供系统性的分析视角。
张润滋——博士，副研究员，绿盟科技天枢实验室主管研究员
研究方向包括智能安全运营、可信人工智能、数据驱动威胁狩猎等，发表论文18篇，获得授权专利十余项，主笔撰写智能安全运营等安全智能领域技术白皮书，主持、参与多项省部级课题，获得北京市科委科技专项、中国博士后基金等多项资助。曾入选北京市科技新星计划，获得北京市科学技术进步奖、中国计算机学会科技进步奖等奖项。主要演讲经历包括：XCon、KCon、CIS、INSEC World等。
?发表于：中国 北京
