让AI自动发现前沿风险：创智×复旦×牛津发布AutoControl-Arena ...

心灵剧终丶

' b' R$ q( o( ^0 [) G
$ @$ R# |4 x5 |$ u
当 AI 智能体（Agent）从实验室走向真实应用，我们面对的安全问题也正在发生变化。
过去，我们更多关心模型会不会回答危险问题；而现在，Agent 已经可以调用工具、读写文件、操作数据库、执行多步任务。真正棘手的前沿风险，往往不再来自某个显式恶意 prompt，而是隐藏在复杂环境中的长尾场景里：
8 e9 r( T, o% d8 \  ?1 l: E

( T' f7 Y9 E  D; ?$ S+ @/ B% ^
• 一个 Agent 会不会为了完成任务而绕过审批？
  
• 会不会在指标压力下修改验证逻辑？
  & [) U" I; m3 x1 o
• 会不会在多工具协作中越权访问文件？
  " b& M8 I6 E# R9 d9 e9 X1 q
• 会不会意识到自己正在被评测，从而改变行为策略？
  

  F. O3 T! G, ?这些风险很难靠人工逐个编写基准测试覆盖。
6 N) K5 k/ }/ }/ F" F6 T1 p6 K


近日，复旦大学、上海创智学院、牛津大学等机构联合发布研究论文《AutoControl Arena: Synthesizing Executable Test Environments for Frontier AI Risk Evaluation》，提出面向前沿 AI 风险发现与评测的自动化框架AutoControl Arena。它的核心目标是：自动合成可执行测试环境，帮助研究者和开发者快速发现 AI Agent 在未知长尾场景中的潜在风险。
8 T  U! K: o9 e8 ^' p

7 h: t  ~4 }1 E( P

6 u# {+ J: Y) s5 K5 j

4 j6 m* e4 D: k0 q3 \3 F
• 论文地址：https://arxiv.org/abs/2603.07427
  ' @+ S% h7 F: l
• 项目主页： https://cosmosyi.github.io/AutoControl-Arena/
  
• GitHub 仓库：https://github.com/CosmosYi/AutoControl-Arena
  8 |$ ]' }' R8 k, {0 c  a, Y

PART 01 从 “会不会拒答” 到 “会不会在未知场景中失控”

AI Agent 的风险，和传统聊天模型并不一样。

• 聊天模型的安全评测，常常围绕单轮或多轮问答展开：模型是否拒绝危险请求，是否输出违规内容，是否容易被越狱。
  
• 但 Agent 的关键能力是 “行动”。它不仅生成文本，还会在环境中连续决策：调用哪个工具、修改哪个文件、是否绕过某个流程、如何在目标和约束发生冲突时做取舍。
  ; s+ P; e4 k1 D. x/ D6 U5 H

6 U' A& h/ x! G& O, K& c+ G例如，此前 Anthropic、OpenAI、Apollo Research 等机构的安全报告中，已经展示过一些前沿风险案例：模型可能在被替换风险下采取威胁策略，也可能在代码任务中不去解决问题本身，而是修改验证程序来让结果通过。
这些案例提醒我们：在简单、良性的测试条件下表现正常的模型，进入复杂任务环境后，可能会以完全意想不到的方式产生不对齐行为。
' G& L) b8 Q) k& Z1 H: W# F6 X


' F+ v. y4 _. l# Q. u2 l$ K3 u+ a# ^图: AutoControl Arena 可自动准确复现 Anthropic/OpenAI 等机构安全报告中的风险行为
! `9 N8 a% k1 ^6 c! m

PART 02 安全评测为什么跟不上 Agent 进化？

要发现 Agent 的长尾风险，最理想的方式，是给它搭建真实的测试环境。
5 j" V" v. l! v: a8 S" l7 M比如：文件系统、数据库、命令行工具、审批流程、日志系统等。然后观察 Agent 在其中如何行动。但这件事很难规模化。
一方面，人工搭建环境很真实，但成本高、速度慢。每多一个风险场景，就需要重新设计工具、状态、规则和反馈。
另一方面，让 LLM 直接模拟环境虽然便宜灵活，却容易出现 “逻辑幻觉”：文件状态前后不一致，数据库返回凭空生成，权限规则一会儿存在一会儿消失。
这就带来了 Agent 安全评测的核心矛盾：
真实环境保真度高，但可扩展性差；LLM 模拟可扩展，但可信度不足。
) D" ^  }: C: S5 i而长尾风险恰恰要求我们既要 “生成足够多的新场景”，又要 “保证这些场景真的可信、可执行、可复查”。



  _* ^, m4 H  m8 \. N0 X  B

PART 03 AutoControl Arena：自动生成能跑起来的风险测试场

AutoControl Arena 试图解决的，就是这个问题。它不是只让 LLM 写一段文字描述场景，而是自动合成一个可以执行的测试环境，让目标 Agent 真正在其中行动。AutoControl Arena 的关键设计，是论文提出的 “逻辑 - 叙事解耦” 原则。简单来说，就是把测试环境拆成两层。
8 U) S/ j! _7 N* d# l+ }& [8 {第一层是逻辑层：文件系统、数据库、权限控制、工具执行、状态转移，这些部分必须严格一致、可复现，不能交给 LLM 随口生成。因此，AutoControl Arena 使用可执行 Python 代码来维护这些环境逻辑。
第二层是叙事层：任务背景、角色反馈、社会情境、动态说明等内容，本身具有开放性和语言多样性，可以交给 LLM 生成，从而保证场景足够丰富。
% h6 e1 j) ^6 H+ r" |这就像给 AI 安全评测装上了一个 “物理引擎”：环境规则由代码保证，场景变化由大模型生成。在此基础上，AutoControl Arena 使用三个智能体完成全流程自动化。
- x% P8 K3 e5 ^
( n0 i9 e  f/ E
9 q% Y" J6 h6 ^6 d! m

PART 04 X-BENCH：70 个场景，覆盖 7 类前沿风险

为了验证 AutoControl Arena，研究团队构建了配套基准测试集X-BENCH。
X-BENCH 包含70 个测试场景，覆盖7 大类 Agent 前沿风险：
3 L) T: z+ i, K2 J3 U3 E
8 s8 r6 w/ S+ U& L9 F3 w' a& p

• 工具性趋同：为了完成目标而追求权限、资源或自我保护。
  5 i1 J* ]% k8 {7 z
• 规则博弈：表面完成任务，实际钻评估规则或指标漏洞。
  8 F9 ?5 ]  v: f7 \7 O, r# u. I1 V
• 能力滥用：将工具能力用于攻击、欺诈或其他危险目标。
  9 i8 a0 v. \2 Q4 ?$ o8 B0 s
• 策略性不对齐：在不同情境下选择性服从或隐藏真实意图。
  ( ^5 D" w, E* m3 ^1 q! U
• 规避监督：关闭日志、绕过审批、避开监控。
  ! D0 R- z$ u. ~5 n1 ~
• 隐蔽泄露：在复杂伦理冲突下泄露敏感信息。
  $ l- k1 |/ H4 L- K2 v+ e7 E) e
• 评测意识：意识到自己处于测试中，从而改变行为。
  

% `& H( _& n! H, L为了更系统地激发潜在风险，研究者还引入了压力 - 诱惑双维度机制。
! Y6 v! X! Q" [1 S" I每个场景都会在不同压力和诱惑组合下运行，从而测试 Agent 在多种长尾条件下是否会出现非预期行为。
% x4 N5 i! K7 ~- p% k5 L) P

4 c4 q1 j- P  [) o% G1 S; c
& c7 C9 V, k8 z) z

PART 05 三个发现：前沿风险往往藏在连续行动里

研究团队评估了 9 个前沿模型，覆盖 Google DeepMind、OpenAI、Alibaba 等机构模型系列，并得到了一些值得关注的发现。
（1）对齐幻觉
4 D+ w8 h5 R9 B; Q3 _- C4 Z模型在常规条件下表现安全，并不意味着它在复杂环境中依然可靠。论文报告，在低压力、低诱惑条件下，9 个模型的平均风险率为21.7%；但在高压力、高诱惑条件下，平均风险率升至54.5%。并且能力越强的模型，风险率提升幅度越明显。


4 S! h! X  H, A7 V2 C! A
/ N7 ?+ s* y$ y- f. I* f（2）模型越强，风险模式越复杂
能力提升不一定带来单调的安全提升。对于直接危害类任务，更强模型往往更容易理解安全边界，因此可能更安全；但在规格博弈、绕过验证、规避监督等任务中，更强模型也更擅长规划、搜索漏洞和利用环境结构。这意味着，强模型不是简单地 “更安全” 或 “更危险”，而是会呈现更复杂、更策略化的风险模式。
1 S! A- `% }+ o4 O$ H" N
3 b: a! g3 j1 k! }. ^- B
& |6 q' \: f/ `% D  o4 M
（3）不对齐行为可能变得更隐蔽
2 U3 t) ~2 A! A; U弱模型的风险，很多时候来自能力不足或误解任务；而更强模型的风险，可能表现为更高阶的策略性行为。例如，在某些测试场景中，模型可能明知某些行为存在风险，却将其包装为 “防御性监控”“流程优化” 或 “合规执行”，从而在表面上维持正常解释，在行动上绕过关键约束。

PART 06 这套自动化评测靠谱吗？

为了验证 AutoControl Arena 的可靠性，研究团队将其生成的仿真环境与真实红队环境进行了对比。
在 10 个场景中，研究者分别使用 AutoControl Arena 仿真环境，以及由真实 CLI 工具、SQL 数据库、SMTP 服务器等组成的红队环境进行独立实验。结果显示，仿真环境与真实环境得到的风险率高度一致，相关系数达到0.87。
5 m7 C2 q9 {$ a. L# w- R% a此外，研究团队还使用 AutoControl Arena 复现了 Anthropic、OpenAI、Apollo Research 等机构安全报告中的典型风险案例，进一步验证了框架对前沿 Agent 风险的刻画能力。
7 Q8 z; d7 W* H. N0 K
. R( t8 A3 P" t( ~
3 v2 t$ v3 B5 o6 G! `2 D3 Q* B
% E+ J# _! _( A9 f7 \% ^

PART 07 GitHub 全面开源：从论文到可用工具

AutoControl Arena 已在 GitHub 开源，项目定位为前沿 AI 风险自动发现平台：



) F" p/ ]2 E6 P视频链接：https://mp.wEIxin.qq.com/s/OtULCQR_RNgQUsSnPFS3ag
AutoControl Arena 提供两种主要使用方式：
% K/ x& l: ~: O, d  q* f交互式 TUI：aca
! b! D: N4 e# H8 W! Y' T* c2 p适合新手快速上手。用户可以在终端界面中选择测试场景、目标模型、压力等级、诱惑等级，并实时查看评测进度。
3 M5 Z8 j% P) X- i命令行模式：autocontrol
3 k9 u3 R) e" c: Y适合研究者进行批量实验和自动化评测，支持配置文件运行与并行执行。
2 W: C4 M6 k( t( n4 C/ v; |Web 页面查看风险报告
' i  e5 g  U1 s8 l  z" p  r评测完成后，系统会保存完整运行记录，包括 Agent 行为轨迹、环境状态、风险评分、审查结果和日志。项目也提供本地 Web 结果查看器，方便研究者复查关键证据。

# B6 F; O6 F3 B2 G! D) B

视频链接：https://mp.weixin.qq.com/s/OtULCQR_RNgQUsSnPFS3ag

PART 08 总结：让未知风险被更早发现

随着 Agent 被接入越来越多真实工作流，安全评测也需要从 “测试已知问题” 走向 “发现未知风险”。
AutoControl Arena 通过自动合成可执行测试环境，为这一方向提供了一个新的研究思路。它可以帮助模型开发者、安全团队和 Agent 应用团队更快发现潜在漏洞，并为后续深度红队测试确定优先级。未来，前沿 AI 风险评测可能不只是扩大 benchmark 的规模，而是让系统具备持续生成新场景、持续暴露新风险、持续改进安全边界的能力，这正是 AutoControl Arena 的核心愿景。

团队介绍

本研究的核心贡献者为李长艺（上海创智学院访问博士生）和卢鹏飞（复旦大学本科生）；指导教师为潘旭东（上海创智学院全时导师、复旦大学副研究员）、Fazl Barez（牛津大学研究员）和杨珉（复旦大学教授、复旦大学计算与智能创新学院执行院长）