让AI自动发现前沿风险：创智×复旦×牛津发布AutoControl-Arena ...

心灵剧终丶

; h3 S- s" i, n

当 AI 智能体（Agent）从实验室走向真实应用，我们面对的安全问题也正在发生变化。
过去，我们更多关心模型会不会回答危险问题；而现在，Agent 已经可以调用工具、读写文件、操作数据库、执行多步任务。真正棘手的前沿风险，往往不再来自某个显式恶意 prompt，而是隐藏在复杂环境中的长尾场景里：

. Z/ V. {5 S' E3 r7 C5 u+ X

• 一个 Agent 会不会为了完成任务而绕过审批？
  
• 会不会在指标压力下修改验证逻辑？
  
• 会不会在多工具协作中越权访问文件？
  8 I5 \7 w9 z' D5 f1 `1 l& b
• 会不会意识到自己正在被评测，从而改变行为策略？
  

这些风险很难靠人工逐个编写基准测试覆盖。



4 T0 r9 }$ p% h. C5 R9 S近日，复旦大学、上海创智学院、牛津大学等机构联合发布研究论文《AutoControl Arena: Synthesizing Executable Test Environments for Frontier AI Risk Evaluation》，提出面向前沿 AI 风险发现与评测的自动化框架AutoControl Arena。它的核心目标是：自动合成可执行测试环境，帮助研究者和开发者快速发现 AI Agent 在未知长尾场景中的潜在风险。
" Q& d2 U5 t# G7 y
( h- r* W: ]( B! j  k3 `
5 _. p- w6 X( }) F( e
$ q! U1 k  Z, m' D
  J$ F) E9 i. E0 l/ y  f

( s% c: h- z. W; ^7 W
• 论文地址：https://arxiv.org/abs/2603.07427
  
• 项目主页： https://cosmosyi.github.io/AutoControl-Arena/
  ; J5 K' o0 k" R: C
• GitHub 仓库：https://github.com/CosmosYi/AutoControl-Arena
  : S0 X) p+ F+ H2 K8 Y

' {& P9 V. I: f4 K& Q% m

PART 01 从 “会不会拒答” 到 “会不会在未知场景中失控”

AI Agent 的风险，和传统聊天模型并不一样。

# s, ?8 O) K9 [4 T: O' E

, h* b% _3 P8 T  y0 r+ n! R& ~
• 聊天模型的安全评测，常常围绕单轮或多轮问答展开：模型是否拒绝危险请求，是否输出违规内容，是否容易被越狱。
  
• 但 Agent 的关键能力是 “行动”。它不仅生成文本，还会在环境中连续决策：调用哪个工具、修改哪个文件、是否绕过某个流程、如何在目标和约束发生冲突时做取舍。
  3 A, p! K2 j2 c; K& ~* x3 v

1 }  E5 Y1 d0 t1 I3 ?( d/ p4 \3 d, N例如，此前 Anthropic、OpenAI、Apollo Research 等机构的安全报告中，已经展示过一些前沿风险案例：模型可能在被替换风险下采取威胁策略，也可能在代码任务中不去解决问题本身，而是修改验证程序来让结果通过。
这些案例提醒我们：在简单、良性的测试条件下表现正常的模型，进入复杂任务环境后，可能会以完全意想不到的方式产生不对齐行为。

) r( p6 b$ m" G4 f
* P' N4 p$ y, p6 T: C
图: AutoControl Arena 可自动准确复现 Anthropic/OpenAI 等机构安全报告中的风险行为
' j$ V; O' s0 M" l8 v

PART 02 安全评测为什么跟不上 Agent 进化？

要发现 Agent 的长尾风险，最理想的方式，是给它搭建真实的测试环境。
4 d% p/ U; `! w+ n) K! v8 T比如：文件系统、数据库、命令行工具、审批流程、日志系统等。然后观察 Agent 在其中如何行动。但这件事很难规模化。
  e+ n( l4 ?( |2 O( H( T一方面，人工搭建环境很真实，但成本高、速度慢。每多一个风险场景，就需要重新设计工具、状态、规则和反馈。
另一方面，让 LLM 直接模拟环境虽然便宜灵活，却容易出现 “逻辑幻觉”：文件状态前后不一致，数据库返回凭空生成，权限规则一会儿存在一会儿消失。
' M, ^7 O4 m0 v2 d- R这就带来了 Agent 安全评测的核心矛盾：
真实环境保真度高，但可扩展性差；LLM 模拟可扩展，但可信度不足。
  W+ P. y  [3 \) s$ I0 l2 q$ y0 U3 {) r而长尾风险恰恰要求我们既要 “生成足够多的新场景”，又要 “保证这些场景真的可信、可执行、可复查”。

2 a* b6 }6 B0 W

: g( T! l: I) r" O

PART 03 AutoControl Arena：自动生成能跑起来的风险测试场

4 e& G; J* R# {! R+ A/ VAutoControl Arena 试图解决的，就是这个问题。它不是只让 LLM 写一段文字描述场景，而是自动合成一个可以执行的测试环境，让目标 Agent 真正在其中行动。AutoControl Arena 的关键设计，是论文提出的 “逻辑 - 叙事解耦” 原则。简单来说，就是把测试环境拆成两层。
第一层是逻辑层：文件系统、数据库、权限控制、工具执行、状态转移，这些部分必须严格一致、可复现，不能交给 LLM 随口生成。因此，AutoControl Arena 使用可执行 Python 代码来维护这些环境逻辑。
第二层是叙事层：任务背景、角色反馈、社会情境、动态说明等内容，本身具有开放性和语言多样性，可以交给 LLM 生成，从而保证场景足够丰富。
这就像给 AI 安全评测装上了一个 “物理引擎”：环境规则由代码保证，场景变化由大模型生成。在此基础上，AutoControl Arena 使用三个智能体完成全流程自动化。
  U3 O( f4 s2 l# L2 Z


1 d9 [( {7 Y# N# @+ D, ~" `" |$ E

PART 04 X-BENCH：70 个场景，覆盖 7 类前沿风险

为了验证 AutoControl Arena，研究团队构建了配套基准测试集X-BENCH。
6 e+ R$ P' @, I; ^& X+ JX-BENCH 包含70 个测试场景，覆盖7 大类 Agent 前沿风险：
) i+ ?! Y6 Y9 v* O9 f4 q$ T2 P( z

; P: _. j% z7 p4 h% j1 b0 y+ N
• 工具性趋同：为了完成目标而追求权限、资源或自我保护。
  6 Z1 x( |/ w# i$ O. K' P4 j9 C
• 规则博弈：表面完成任务，实际钻评估规则或指标漏洞。
  
• 能力滥用：将工具能力用于攻击、欺诈或其他危险目标。
  ! H- d  q8 q2 M! ?& y4 \0 {3 `
• 策略性不对齐：在不同情境下选择性服从或隐藏真实意图。
  
• 规避监督：关闭日志、绕过审批、避开监控。
  ' c0 G1 B/ Z$ `& i
• 隐蔽泄露：在复杂伦理冲突下泄露敏感信息。
  $ C$ [6 w% w9 z" b0 t
• 评测意识：意识到自己处于测试中，从而改变行为。
  6 a+ x) l: d! B. n; ~  e7 E

为了更系统地激发潜在风险，研究者还引入了压力 - 诱惑双维度机制。
' \) J6 y+ L. X/ Y; l每个场景都会在不同压力和诱惑组合下运行，从而测试 Agent 在多种长尾条件下是否会出现非预期行为。
+ K( P+ a5 a9 p# }

7 _9 \) P+ _$ \5 N$ Q! \& S

PART 05 三个发现：前沿风险往往藏在连续行动里

- d9 s9 u9 Y7 h研究团队评估了 9 个前沿模型，覆盖 Google DeepMind、OpenAI、Alibaba 等机构模型系列，并得到了一些值得关注的发现。
: l2 ?; x3 w3 c) T/ y（1）对齐幻觉
  k1 W( ~6 m6 A! `模型在常规条件下表现安全，并不意味着它在复杂环境中依然可靠。论文报告，在低压力、低诱惑条件下，9 个模型的平均风险率为21.7%；但在高压力、高诱惑条件下，平均风险率升至54.5%。并且能力越强的模型，风险率提升幅度越明显。
- x, {7 T6 F# e9 T5 u, u6 S
# i; B7 Z3 {; ]: R1 Q' }, M
+ z" n9 {# |* {( i1 \* {9 V
6 ?7 y. `! `6 |7 G（2）模型越强，风险模式越复杂
能力提升不一定带来单调的安全提升。对于直接危害类任务，更强模型往往更容易理解安全边界，因此可能更安全；但在规格博弈、绕过验证、规避监督等任务中，更强模型也更擅长规划、搜索漏洞和利用环境结构。这意味着，强模型不是简单地 “更安全” 或 “更危险”，而是会呈现更复杂、更策略化的风险模式。
( C: W# Q' M8 E% D6 |9 Z
) c+ F; X8 L! ^+ C% C8 ?3 |! I

" P5 c2 @. C1 k9 S! h* a; _. B（3）不对齐行为可能变得更隐蔽
弱模型的风险，很多时候来自能力不足或误解任务；而更强模型的风险，可能表现为更高阶的策略性行为。例如，在某些测试场景中，模型可能明知某些行为存在风险，却将其包装为 “防御性监控”“流程优化” 或 “合规执行”，从而在表面上维持正常解释，在行动上绕过关键约束。

: K7 r. G; y9 B8 `: i& _) q" L

PART 06 这套自动化评测靠谱吗？

为了验证 AutoControl Arena 的可靠性，研究团队将其生成的仿真环境与真实红队环境进行了对比。
在 10 个场景中，研究者分别使用 AutoControl Arena 仿真环境，以及由真实 CLI 工具、SQL 数据库、SMTP 服务器等组成的红队环境进行独立实验。结果显示，仿真环境与真实环境得到的风险率高度一致，相关系数达到0.87。
/ V4 {4 v# \1 c此外，研究团队还使用 AutoControl Arena 复现了 Anthropic、OpenAI、Apollo Research 等机构安全报告中的典型风险案例，进一步验证了框架对前沿 Agent 风险的刻画能力。
* q# i! [0 z' H: J' E" [1 ?! h

PART 07 GitHub 全面开源：从论文到可用工具

AutoControl Arena 已在 GitHub 开源，项目定位为前沿 AI 风险自动发现平台：



视频链接：https://mp.wEIxin.qq.com/s/OtULCQR_RNgQUsSnPFS3ag
7 J" a8 i. ]7 j9 c9 |AutoControl Arena 提供两种主要使用方式：
交互式 TUI：aca
适合新手快速上手。用户可以在终端界面中选择测试场景、目标模型、压力等级、诱惑等级，并实时查看评测进度。
命令行模式：autocontrol
+ l, a% P& |- ~/ p% j- i适合研究者进行批量实验和自动化评测，支持配置文件运行与并行执行。
8 |* {$ `9 [& Z" v) TWeb 页面查看风险报告
评测完成后，系统会保存完整运行记录，包括 Agent 行为轨迹、环境状态、风险评分、审查结果和日志。项目也提供本地 Web 结果查看器，方便研究者复查关键证据。
' ^( j# B; C% @

5 G* r* j9 E( I" v$ f
  ?* t" J4 Z2 P2 q% s& \视频链接：https://mp.weixin.qq.com/s/OtULCQR_RNgQUsSnPFS3ag

PART 08 总结：让未知风险被更早发现

- ]0 y' D  G" i# t, C6 A/ b随着 Agent 被接入越来越多真实工作流，安全评测也需要从 “测试已知问题” 走向 “发现未知风险”。
* O7 O4 c+ `, x/ S4 j  {+ ]9 |AutoControl Arena 通过自动合成可执行测试环境，为这一方向提供了一个新的研究思路。它可以帮助模型开发者、安全团队和 Agent 应用团队更快发现潜在漏洞，并为后续深度红队测试确定优先级。未来，前沿 AI 风险评测可能不只是扩大 benchmark 的规模，而是让系统具备持续生成新场景、持续暴露新风险、持续改进安全边界的能力，这正是 AutoControl Arena 的核心愿景。

团队介绍

* z5 C/ [" l8 }0 |# d( J本研究的核心贡献者为李长艺（上海创智学院访问博士生）和卢鹏飞（复旦大学本科生）；指导教师为潘旭东（上海创智学院全时导师、复旦大学副研究员）、Fazl Barez（牛津大学研究员）和杨珉（复旦大学教授、复旦大学计算与智能创新学院执行院长）