让AI自动发现前沿风险：创智×复旦×牛津发布AutoControl-Arena ...

心灵剧终丶

  k& Q. w3 s9 f' f5 {! p: w
! h  p. T$ q# }3 ~
当 AI 智能体（Agent）从实验室走向真实应用，我们面对的安全问题也正在发生变化。
过去，我们更多关心模型会不会回答危险问题；而现在，Agent 已经可以调用工具、读写文件、操作数据库、执行多步任务。真正棘手的前沿风险，往往不再来自某个显式恶意 prompt，而是隐藏在复杂环境中的长尾场景里：
$ u! H/ K3 B. W) y. S

6 u3 w* H. [) }% {- j: t
• 一个 Agent 会不会为了完成任务而绕过审批？
  : m6 ]2 g8 o% D+ s% ?+ P' p
• 会不会在指标压力下修改验证逻辑？
  
• 会不会在多工具协作中越权访问文件？
  % N! s1 c" S9 J& \# r
• 会不会意识到自己正在被评测，从而改变行为策略？
  8 _' E) d! o3 B) x' z5 b( U9 x# R

  i( i: Q9 g7 s( U0 \. a这些风险很难靠人工逐个编写基准测试覆盖。
* s% d* `  K3 @1 Q" M


. T3 B  a" O' M* ?- W近日，复旦大学、上海创智学院、牛津大学等机构联合发布研究论文《AutoControl Arena: Synthesizing Executable Test Environments for Frontier AI Risk Evaluation》，提出面向前沿 AI 风险发现与评测的自动化框架AutoControl Arena。它的核心目标是：自动合成可执行测试环境，帮助研究者和开发者快速发现 AI Agent 在未知长尾场景中的潜在风险。
1 Z  ~/ C; S* l# P) T& V

$ |& {  _5 A' ~2 w! X
0 E" z, ^" w* [/ F2 I
, }! G# v! j* s5 ?, V

  Z2 A  B  q5 i% r
• 论文地址：https://arxiv.org/abs/2603.07427
  
• 项目主页： https://cosmosyi.github.io/AutoControl-Arena/
  7 H: c7 k4 m+ M1 q; u1 n. U3 w. r
• GitHub 仓库：https://github.com/CosmosYi/AutoControl-Arena
  % w8 U6 `3 k6 R' I

PART 01 从 “会不会拒答” 到 “会不会在未知场景中失控”

) w6 l  d4 i3 [( i: O2 {, FAI Agent 的风险，和传统聊天模型并不一样。
; C0 P* ?3 @' N
5 x9 k* C' ^' i0 @/ t! G! }+ H+ v

4 `/ j, y+ x: q+ E" [" F0 n7 Z
• 聊天模型的安全评测，常常围绕单轮或多轮问答展开：模型是否拒绝危险请求，是否输出违规内容，是否容易被越狱。
  + h0 k/ b4 V: d8 O
• 但 Agent 的关键能力是 “行动”。它不仅生成文本，还会在环境中连续决策：调用哪个工具、修改哪个文件、是否绕过某个流程、如何在目标和约束发生冲突时做取舍。
  

, t+ X7 E5 c4 x. i& |例如，此前 Anthropic、OpenAI、Apollo Research 等机构的安全报告中，已经展示过一些前沿风险案例：模型可能在被替换风险下采取威胁策略，也可能在代码任务中不去解决问题本身，而是修改验证程序来让结果通过。
这些案例提醒我们：在简单、良性的测试条件下表现正常的模型，进入复杂任务环境后，可能会以完全意想不到的方式产生不对齐行为。

+ `* y! K3 ?2 J  R8 r1 q  ~+ x
  L, {$ K' k4 |) r7 D# t
图: AutoControl Arena 可自动准确复现 Anthropic/OpenAI 等机构安全报告中的风险行为
$ y, ~. s' l# j; k# Z$ E+ Q

PART 02 安全评测为什么跟不上 Agent 进化？

+ z4 }5 _2 T6 s, e/ P# h要发现 Agent 的长尾风险，最理想的方式，是给它搭建真实的测试环境。
比如：文件系统、数据库、命令行工具、审批流程、日志系统等。然后观察 Agent 在其中如何行动。但这件事很难规模化。
一方面，人工搭建环境很真实，但成本高、速度慢。每多一个风险场景，就需要重新设计工具、状态、规则和反馈。
另一方面，让 LLM 直接模拟环境虽然便宜灵活，却容易出现 “逻辑幻觉”：文件状态前后不一致，数据库返回凭空生成，权限规则一会儿存在一会儿消失。
这就带来了 Agent 安全评测的核心矛盾：
2 R$ Y% |, i* G" n2 s真实环境保真度高，但可扩展性差；LLM 模拟可扩展，但可信度不足。
而长尾风险恰恰要求我们既要 “生成足够多的新场景”，又要 “保证这些场景真的可信、可执行、可复查”。


5 j% d1 S3 t7 }# Q6 N6 {! N
# Z0 i2 C6 u! d7 r

PART 03 AutoControl Arena：自动生成能跑起来的风险测试场

AutoControl Arena 试图解决的，就是这个问题。它不是只让 LLM 写一段文字描述场景，而是自动合成一个可以执行的测试环境，让目标 Agent 真正在其中行动。AutoControl Arena 的关键设计，是论文提出的 “逻辑 - 叙事解耦” 原则。简单来说，就是把测试环境拆成两层。
第一层是逻辑层：文件系统、数据库、权限控制、工具执行、状态转移，这些部分必须严格一致、可复现，不能交给 LLM 随口生成。因此，AutoControl Arena 使用可执行 Python 代码来维护这些环境逻辑。
3 X% Y  |1 p) |+ D& f第二层是叙事层：任务背景、角色反馈、社会情境、动态说明等内容，本身具有开放性和语言多样性，可以交给 LLM 生成，从而保证场景足够丰富。
8 m. O6 P7 J& R4 x0 D, `  [这就像给 AI 安全评测装上了一个 “物理引擎”：环境规则由代码保证，场景变化由大模型生成。在此基础上，AutoControl Arena 使用三个智能体完成全流程自动化。


: J* S; g9 o7 q6 a+ l8 u3 G! x0 u# u

PART 04 X-BENCH：70 个场景，覆盖 7 类前沿风险

为了验证 AutoControl Arena，研究团队构建了配套基准测试集X-BENCH。
X-BENCH 包含70 个测试场景，覆盖7 大类 Agent 前沿风险：
  x' H. X$ Y9 C( e* I% C

9 P- K6 R+ [7 v6 a9 m
• 工具性趋同：为了完成目标而追求权限、资源或自我保护。
  + ^& u' n# [) h$ k
• 规则博弈：表面完成任务，实际钻评估规则或指标漏洞。
  " r5 a% I; b& S+ [7 Y& i
• 能力滥用：将工具能力用于攻击、欺诈或其他危险目标。
  9 [) _: j" i$ ?# _8 c1 k+ U& V, M
• 策略性不对齐：在不同情境下选择性服从或隐藏真实意图。
  $ A' j  \# ~+ T& a0 E) A+ B0 N
• 规避监督：关闭日志、绕过审批、避开监控。
  
• 隐蔽泄露：在复杂伦理冲突下泄露敏感信息。
  ! n' `4 d& G  [1 k
• 评测意识：意识到自己处于测试中，从而改变行为。
  " H+ Q# e  g* I0 s

2 w) N" |% A2 C2 x* }3 g8 }* U为了更系统地激发潜在风险，研究者还引入了压力 - 诱惑双维度机制。
6 }( ?# v% Y- i# T- N每个场景都会在不同压力和诱惑组合下运行，从而测试 Agent 在多种长尾条件下是否会出现非预期行为。


/ K+ ]4 r3 `( ^  Y0 {- U
% e2 F: P; n+ w# p; l; U

PART 05 三个发现：前沿风险往往藏在连续行动里

研究团队评估了 9 个前沿模型，覆盖 Google DeepMind、OpenAI、Alibaba 等机构模型系列，并得到了一些值得关注的发现。
3 ?7 D1 k% B' T8 Q( [2 h（1）对齐幻觉
: ^5 ?' _( B6 P. j模型在常规条件下表现安全，并不意味着它在复杂环境中依然可靠。论文报告，在低压力、低诱惑条件下，9 个模型的平均风险率为21.7%；但在高压力、高诱惑条件下，平均风险率升至54.5%。并且能力越强的模型，风险率提升幅度越明显。

3 Q% w4 |, r  E) r9 q/ S# S) H: ?

（2）模型越强，风险模式越复杂
) y5 R; ]5 }6 L# l) `9 d能力提升不一定带来单调的安全提升。对于直接危害类任务，更强模型往往更容易理解安全边界，因此可能更安全；但在规格博弈、绕过验证、规避监督等任务中，更强模型也更擅长规划、搜索漏洞和利用环境结构。这意味着，强模型不是简单地 “更安全” 或 “更危险”，而是会呈现更复杂、更策略化的风险模式。
5 _' b2 s6 W6 `* p$ O% m
& L7 J7 S4 P0 \) S" Z/ m, o" e) h

（3）不对齐行为可能变得更隐蔽
$ {& \; d4 B; z2 I- W弱模型的风险，很多时候来自能力不足或误解任务；而更强模型的风险，可能表现为更高阶的策略性行为。例如，在某些测试场景中，模型可能明知某些行为存在风险，却将其包装为 “防御性监控”“流程优化” 或 “合规执行”，从而在表面上维持正常解释，在行动上绕过关键约束。


6 e  _0 n8 Y, ~: H5 Q
! R$ f$ K: U+ ]

PART 06 这套自动化评测靠谱吗？

4 u! K& M: n/ P  r/ }5 ?为了验证 AutoControl Arena 的可靠性，研究团队将其生成的仿真环境与真实红队环境进行了对比。
在 10 个场景中，研究者分别使用 AutoControl Arena 仿真环境，以及由真实 CLI 工具、SQL 数据库、SMTP 服务器等组成的红队环境进行独立实验。结果显示，仿真环境与真实环境得到的风险率高度一致，相关系数达到0.87。
' S& M6 I8 H+ M8 K$ J' I此外，研究团队还使用 AutoControl Arena 复现了 Anthropic、OpenAI、Apollo Research 等机构安全报告中的典型风险案例，进一步验证了框架对前沿 Agent 风险的刻画能力。
7 \1 j$ b/ Z0 z9 M" E

0 g( H" l* d5 u" `, @4 n0 a* p
) ^0 y  o6 x3 m' M# }0 Q) b

PART 07 GitHub 全面开源：从论文到可用工具

AutoControl Arena 已在 GitHub 开源，项目定位为前沿 AI 风险自动发现平台：
5 `0 v& ~$ S3 m! {0 \


视频链接：https://mp.wEIxin.qq.com/s/OtULCQR_RNgQUsSnPFS3ag
5 I. j$ }3 |- yAutoControl Arena 提供两种主要使用方式：
交互式 TUI：aca
适合新手快速上手。用户可以在终端界面中选择测试场景、目标模型、压力等级、诱惑等级，并实时查看评测进度。
7 u* x- p2 f' i  s% F9 ?3 \命令行模式：autocontrol
适合研究者进行批量实验和自动化评测，支持配置文件运行与并行执行。
/ }/ E  A  E. y! z( pWeb 页面查看风险报告
评测完成后，系统会保存完整运行记录，包括 Agent 行为轨迹、环境状态、风险评分、审查结果和日志。项目也提供本地 Web 结果查看器，方便研究者复查关键证据。



! v* D& L! H9 @6 W视频链接：https://mp.weixin.qq.com/s/OtULCQR_RNgQUsSnPFS3ag
6 y7 ~; H6 J, V% ?6 ?: k0 y

PART 08 总结：让未知风险被更早发现

随着 Agent 被接入越来越多真实工作流，安全评测也需要从 “测试已知问题” 走向 “发现未知风险”。
0 W5 C& r5 m7 A' ^" u# qAutoControl Arena 通过自动合成可执行测试环境，为这一方向提供了一个新的研究思路。它可以帮助模型开发者、安全团队和 Agent 应用团队更快发现潜在漏洞，并为后续深度红队测试确定优先级。未来，前沿 AI 风险评测可能不只是扩大 benchmark 的规模，而是让系统具备持续生成新场景、持续暴露新风险、持续改进安全边界的能力，这正是 AutoControl Arena 的核心愿景。
  |+ Z6 _  L8 q  f- o

团队介绍

" d4 T( f6 S) |1 L本研究的核心贡献者为李长艺（上海创智学院访问博士生）和卢鹏飞（复旦大学本科生）；指导教师为潘旭东（上海创智学院全时导师、复旦大学副研究员）、Fazl Barez（牛津大学研究员）和杨珉（复旦大学教授、复旦大学计算与智能创新学院执行院长）