全球最大AI开源社区Hugging Face近日在官网披露了一起由完全自主的AI智能体系统引发的安全事故。该事件迅速在全球范围内激起关于AI安全、取证及防护机制的广泛热议。据新民晚报记者从上海人工智能实验室获悉，该机构近期推出了名为“书安”的AI安全基座平台。这一平台集成了“数字孪生平台、智能验证矩阵、数据进化飞轮”三大核心模块，意在搭建一套可复现、可评估且能持续进化的全链路AI安全验证体系。
文章配图-1
作为整套验证体系的基石，“书安”的高保真孪生平台发挥着关键作用。借助数字孪生、数据脱敏及安全隔离等技术手段，该平台对真实系统中的业务流程、资产关联、权限架构及运行环境进行了高精度映射，从而构建起动态的验证闭环。这种数字孪生体不仅仅是对静态配置的复刻，更能实时模拟业务状态的变化与异常响应，确保每一次验证都能精准反映生产环境下潜在的風險与安全盲区。
据悉，“书安”平台彻底颠覆了传统安全“靶场”的运作模式，能够承载数千个安全验证智能体在同一环境中进行博弈与迭代进化。目前已建成的动态仿真环境包含1500余个业务场景以及超过50万个真实工具，足以支撑复杂工具联动调用、多轮长程交互等全真业务流程的仿真验证。依托自研的超图马尔科夫链验证算法，该平台已完成对17套线上真实业务系统的全维度安全测评与有效性核验。
在AI安全验证流程中，“书安”首先扮演“体检中心”的角色。其内置的智能扫描引擎由上海AI实验室自主研发，不依赖固定的漏洞库，而是通过自适应推理来理解系统的业务逻辑。它利用数字孪生技术高并发地模拟各种极端场景，并驱动多智能体协同分别检查不同模块。更为关键的是，平台引入了类似AlphaZero的自博弈强化学习能力，赋予智能体自主演化的能力。
随后，平台转入“体测中心”模式，对系统进行全方位的风险应对测试。通过构建多维度动态评估体系，结合数据库访问行为、全链路业务上下文及系统运行状态，平台能自动识别异常，并动态调整和执行测试方案，形成自动化闭环的“体测”流程。
在整个验证过程中，智能裁判系统始终在线运行。它实时记录验证全过程、最终效果及安全风险影响等数据，通过自动化研判打分并对结果做出公正裁决，最终输出标准化、可量化且可追溯的安全评估报告。
文章配图-2
新民晚报记者了解到，目前，“书安”AI安全基座平台已在多个产业关键场景中开展应用验证。在国际物流供应链领域，平台通过模拟新型安全隐患，助力厦门国际物流供应链中试基地验证核心业务系统应对复杂风险的能力，提升了供应链在智能化场景中的安全韧性。在金融领域，平台支撑银联金融支付中试基地，针对金融支付垂域大模型PaySage1.0-Turbo、商户入网审核智能体、数据分类分级智能体、用户合作经营智能体等多类业务场景开展安全验证，保障模型与智能体应用的可靠运行。在进出境领域，平台协助上海海关将安全多智能体协同能力嵌入单证审核、风险防控、口岸查验等关键环节，实现了监管更加精准严密、通关更加便利高效，同时确保系统安全可控，保障业务稳定运行。
自2024年提出“AI—45°平衡律”以来，上海AI实验室一直致力于推动AI安全与性能的同步演进。截至目前，该实验室已逐步建立起覆盖顶层理念、核心技术与行业标准的完整支撑体系。