在ISC.AI 2026大会期间,360集团首席科学家、集团高级副总裁潘剑锋发表了关于AI安全治理的深度见解。他指出,AI漏洞挖掘技术已从备受质疑发展到让安全人员感受到压力,这标志着行业正经历加速升级而非面临淘汰危机。针对智能体存在的天然安全短板,他提出需构建"驾驭AI不确定性"的新型治理范式。
传统安全防御体系正遭遇根本性挑战。潘剑锋分析称,计算逻辑的转变是核心动因——过去软件基于确定性计算构建,人类需将复杂世界抽象为机器可理解的规则;而大模型的出现使计算转向不确定性,机器开始具备理解人类意图并适应真实世界的能力。这种转变虽赋予AI处理复杂任务的创造力,却也成为新型安全风险的源头,相同输入可能引发完全不同的推理路径和行动结果。
AI安全风险呈现双重维度特征。外部攻击者可通过隐藏恶意指令于用户输入、系统提示等常规交互中,利用模型对模糊指令的解读能力实施注入攻击。内部则存在模型认知缺陷引发的风险,包括编造虚假信息、时间逻辑错误等幻觉问题,以及多智能体协同工作中错误判断的链式放大效应。这些特性要求安全治理必须从防御已知威胁转向管控不确定性。
360集团提出的三层治理体系构成完整防御闭环。输入层通过恶意意图识别引擎构建"以模治模"的防御机制,依托搜索、安全攻防等领域的独家数据资源,使开源大模型安全性提升10%-30%。推理层采用世界认知模型提供决策锚点,通过理解世界运行规律来约束模型推理过程。执行层则部署环境孪生沙箱技术,对工具调用、数据访问等操作实施动态监控与异常回滚。
对于市场发展趋势,潘剑锋认为智能体安全将成为基础配置,但不会形成单一垄断格局。该领域更可能呈现手机行业般的生态结构,头部企业占据主要市场的同时,垂直领域仍存在大量专业化机会。他特别强调,AI厂商无法取代专业安全公司,安全行业仍需依赖攻防经验与行业知识构建壁垒,但AI技术正在重塑行业准入标准。




















