智源大会是人工智能领域最具影响力的学术盛会,7年来,14位图灵奖得主与全球AI先锋齐聚,成为AI内行人的年度思想坐标。2026年6月12日-13日,第8届智源大会如期而至。大会坚持“学术硬核”,汇聚200余位顶尖专家学者与40余位AI企业CEO及联合创始人,共同探讨Agent、世界模型、具身智能、AI自进化与AI安全等前沿议题,期待与全球AI同行相聚北京,共同定义下一代智能未来。AI智能体安全 论坛丨6月13日 上午随着大模型从生成走向自主规划、工具调用与跨环境执行,智能体系统正快速扩大攻击面,并带来记忆投毒、工具链劫持、多步失控等新型风险。如何在高自主性条件下维持有效人类控制、构建可信智能体系统,并利用 Agent 重构网络安全体系,正成为全球 AI 安全的重要前沿议题。AI智能体安全论坛由智源研究院和安远AI联合主办,聚焦“研究与工程的交汇点”,围绕自主智能体风险治理、安全评测、红队攻防、安全护栏与 AI 原生安全基础设施等方向展开讨论,推动智能体安全从问题意识走向可验证、可落地的系统能力。
. @6 f) G3 m" \( N. b1 Z4 u l2026北京智源大会倒计时:3天 3 U- O! G7 P/ [! R9 d5 H2 V
$ X. |7 m G/ Y+ i" `8 o9 }
开幕致辞
$ S( S% J* b6 ]) R$ \
2 K* x4 a5 @7 k4 Z
/ z# y( k; u9 |6 X, j) q谢旻希,安远AI创始人兼CEO ) x; c% q4 _' |8 V% O
谢旻希是安远 AI 的创始人兼 CEO,安远 AI 是一家人工智能安全与治理领域的第三方研究和咨询机构,同时是目前该领域中国唯一的社会企业。谢旻希现任世界人工智能大会人工智能治理顾问、中国科协“科普中国智库”专家委员会专家(人工智能领域)、中国人工智能产业发展联盟(AIIA)安全治理委员会专家。他参与了全国网安标委 TC260、全国信标委 TC28 等相关人工智能标准工作组,并曾获国家标准化管理委员会推荐,代表中国参与 ISO/IEC/ITU 国际 AI 标准峰会。此前,他曾是联合国“高级别人工智能咨询机构”的专业咨询网络成员,曾任人工智能行业联盟 Partnership on AI 的高级顾问。他的工作和观点曾多次见诸《自然》《时代》《人民日报》及新华社等权威媒体。$ r4 [) s1 F+ a. L
! E: }; X. R% U" S, L7 ~
. K: c, Z6 K$ P1 S b! t$ j) f6 M( `
演讲主题及嘉宾介绍(按照发言先后顺序)$ S! Y! E7 Y. B7 J! L7 _
主题一:自主智能体的前沿风险$ K3 l; C- N/ w/ N. U& p0 ]1 S
0 J, I4 Y- E* ^* |; Y% I# `
1. A Survey on Trustworthy LLM Agents: Threats and Countermeasures 1 J6 ~, J- l# b1 q- @! K" b; s; m: a
7 K9 R9 ?: B2 X% ?$ l; [
& E/ }- K( V2 W- ?( q* A6 M1 P s安波,南洋理工大学校长讲席教授,人工智能交叉研究院院长
+ }# {, h! j4 ]& o& g/ Q安波是新加坡南洋理工大学校长讲席教授,人工智能系主任,南洋理工大学人工智能交叉研究院院长,于2011年在美国麻省大学 Amherst 分校获计算机科学博士学位。主要研究领域包括人工智能、多智能体系统、算法博弈论、强化学习、及优化。有200余篇论文发表在人工智能领域的国际顶级会议 AAMAS, IJCAl, AAAI, ICLR, NeurIPS, ICML, AISTATS, ICAPS, KDD, UAI, EC, WWW 以及著名学术期刊 JAAMAS和AIJ。曾获2010 IFAAMAS 杰出博士论文奖、2011年美国海岸警卫队的卓越运营奖、2012 AAMAS 最佳应用论文奖、2016年 IAAI 创新应用论文奖,2020 DAI 最佳论文奖,2012年美国运筹学和管理学研究协会(INFORMS) Daniel H.Wagner 杰出运筹学应用奖,2018年南洋青年研究奖、以及2022年南洋研究奖等荣誉。受邀在2017年lJCAl上做 Early CareerSpotlight talk。他曾获得2017年微软合作AI挑战赛的冠军。并曾入选2018年度 IEEE Intelligent Systems 的 Al's 10 to Watch。 他是 IEEE IntelligentSystems 的主编,AIJ、JAAMAS、ACM TIST 和 ACM TAAS 的副主编。担任过 AAMAS'20 的程序委员会主席和 AAMAS'23 会议主席。他当选 AAAIFellow。他是 IJCAI 以及 AAAI 理事会成员并将担任 IJCAI'27 的程序委员会主席。当选为国际智能体及多智能体系统协会理事会成员及 ACM 杰出科学家。# ~$ j) P3 U+ t8 J: g( {
+ Z$ J( z0 z e6 ~# k" r
2 x) W# Q0 o! x% k, w: g0 H/ @5 e5 N! E7 V
2. 智能体系统全栈安全技术研究
7 T9 Y0 l' c+ m/ R) e# t( B9 l( v
: B7 u9 b4 f5 ^& [1 G" Z. F* @- G$ E r- M$ v
杨珉,复旦大学计算与智能创新学院执行院长、教授
7 H+ e. j' v( K: q2 V! M杨珉,复旦大学计算与智能创新学院执行院长、教授、博士生导师,入选国家级领军人才计划,第八届国务院学位委员会网络空间安全学科评议组成员,重点研发计划首席科学家,973项目首席科学家,国家网络安全优秀教师,上海市网络安全工作特殊贡献个人。
% ]% M) a) N$ R9 [0 }
8 `1 B6 J. m! Q, z& s( Q7 }+ ?# m1 U0 K
7 U0 D& ?6 z0 Y3. Governance and regulation challenges of ensuring meaningful human control over autonomous systems * l' l+ v; ]/ i3 j8 l
C5 D$ c0 t& G2 H6 Y1 q; S. ^
5 ]5 k' b$ V( A" L4 mToby Walsh,新南威尔士大学(UNSW)SCIentia AI教授、UNSW AI研究所首席科学家3 v9 C) m1 V8 B: x
Toby Walsh 是悉尼新南威尔士大学和联邦科学与工业研究组织(CSIRO)Data61 的人工智能杰出教授。他是享有盛誉的塞莱斯蒂诺·尤里卡促进科学理解奖(Celestino Eureka Prize for Promoting Understanding of Science)的获得者,并入选了国际“人工智能名人录”影响力人物名单。他经常出现在电视和广播节目中,曾接受过《纽约时报》的人物专访,并为大众读者撰写了五本关于人工智能的书籍,最近的作品名为《人工智能简史》(The Shortest History of AI,2025)和《虚假:人类世界中的人工智能》(Faking It: Artificial Intelligence in a Human World)。他是澳大利亚科学院院士,并被《澳大利亚人报》评为澳大利亚数字革命的“摇滚明星”之一。他曾获得洪堡奖(Humboldt Prize)和新南威尔士州总理工程与信息通信技术卓越奖。他的推特账号被票选为紧跟人工智能发展动态最值得关注的前十名之一。
, K- X( l) ~2 k. @7 ^2 d- m, d- b/ n6 B9 H9 T3 w& I8 ?
& T7 ~& m: N2 V b4 v# U4 ]
( i7 t7 z( e+ h4 ?, [. T# `4. Checking in on the Agentic AI Ecosystem: Safety, Geopolitics, and Consolidation of Power 6 I( q$ r5 u& v) [- h' O# c( y
' ?7 X# ~6 {4 N* A3 L/ R9 x
% A- p2 w0 [, ]$ B7 G/ oStephen Casper,MIT AI安全研究员) Y" w+ ~+ v6 M+ a- l* \, F" ]
Stephen Casper 是一位计算机科学家,也是哈佛大学肯尼迪学院即将上任的公共政策助理教授。他在麻省理工学院获得了博士学位,此前曾任职于英国人工智能安全研究所(UK AI Security Institute)。他的工作专注于人工智能防护措施和技术治理。他的研究曾出现在 NeurIPS、AAAI、Nature、FAccT、EMNLP、SaTML、TMLR、IASEAI、若干课程大纲、多个研讨会以及数十篇新闻文章和时事通讯中。他也是 International AI Safety Report 和 Singapore Consensus 的撰稿人。他的研究获得了胡普斯奖、ML Safety Workshop 最佳论文奖、BioSafeGenAI 最佳论文亚军、GenLaw 亮点论文奖、TMLR 杰出论文入围奖,并在新闻文章和时事通讯中被提及数十次。
7 {) D1 E4 k$ }+ S4 t2 t- N0 j4 C* w$ J7 }" C3 h
$ B* Q, g9 {) E9 A# E5 ?6 t1 l
3 K8 x' }) ~- {8 y( U
3 V0 Z. B5 `$ d1 I' }7 ]( L, I
5 T1 @$ W8 L0 X3 r! {8 ]3 R圆桌讨论:自主智能体的前沿风险(英文)
- b6 `& K6 Y8 a, K" _5 _( |( l( H4 {
! d8 e/ M* {2 z2 c
+ J! P: {( N0 a! e4 F. g
) N6 \! g9 O* S3 I( I7 a
/ Z) U7 `* s+ H4 d+ Q' N圆桌嘉宾:安 波丨南洋理工大学校长讲席教授,人工智能交叉研究院院长
: W* B1 `# l+ F' N7 M杨 珉丨复旦大学计算与智能创新学院执行院长、教授 `% G. n' ~, j/ d( L
Toby Walsh丨新南威尔士大学(UNSW)Scientia AI教授、UNSW AI研究所首席科学家主持人丨杨耀东丨北京大学人工智能研究院助理教授、研究员(博雅学者),智源研究院大模型安全研究中心负责人 " t6 z4 d! @9 b6 A8 n9 B' Q
0 U3 ?# W5 p7 ^$ {& [& w* b4 m% r9 f; v/ Z% g5 Q$ M
& R2 p& o' ?6 H* s
圆桌主持人 M) n: u* H# j K
/ T k0 t8 J3 V0 i2 s) ?
$ |% H8 c& W3 R- l8 i' {
杨耀东,北京大学人工智能研究院助理教授、研究员(博雅学者),智源研究院大模型安全研究中心负责人
. F0 j5 C8 m( v杨耀东,北京大学人工智能研究院助理教授、研究员(博雅学者),智源研究院大模型安全研究中心负责人,北大-灵初智能联合实验室首席科学家。国家人社部高层次留学人才、国家级优秀青年人才、中国科协青年托举计划入选者。主要研究方向为智能体交互学习与对齐,科研领域涵盖强化学习、AI 对齐与具身智能。在 Nature Machine Intelligence、Cell Matter、AIJ、TPAMI 等国际顶级期刊和会议发表论文二百余篇,谷歌学术引用逾 16,000+ 次。自 2022 年以来位列 CSRanking 北大 AI/ML 方向学者首位,入选 Scopus 全球 Top 2% 顶尖科学家。五次获得最佳论文奖: ACL 2025 最佳论文奖、英国科研与创新局 UKRI 2026 年度最佳论文、ICCV 2023 最佳论文奖入围、CoRL 2020 最佳系统论文奖、AAMAS 2021 最佳前瞻性论文奖。入选麻省理工科技评论「AI 100 青年榜」、福布斯中国 2025 科创革新力人物、WAIC 2022「云帆奖·璀璨明星」及 ACM SIGAI China 新星奖。
; P7 u, d* N+ ]5 n( j% b( M7 t" ^8 u" Y ]- v
7 B, @. Q' L3 D) R3 y( i$ f8 m
, S+ a) N6 }4 E
3 ?* x; Q& a" p- l9 T
) l2 J/ D; Q7 k! n. Z L4 {# a主题二:构建可信智能体系统 3 V5 U% j- f0 b
8 H1 P. E5 M( ]8 _4 A r: J6 @
- D* Q% e8 ?0 G* \# }
1. 从内容安全到前沿人工智能风险图谱
9 M+ ]0 G3 G) t$ R5 Y" A
$ A- M( d2 _1 S# e* i
0 H s+ v/ }6 Q% @" d# D9 a; G易婧玮,北京智源人工智能研究院(BAAI)大语言模型安全中心研究员
2 D$ H6 [" I2 |- }; V易婧玮,北京智源人工智能研究院(BAAI)大语言模型安全中心研究员。于中国科学技术大学获得计算机科学博士学位,师从微软亚洲研究院谢幸博士与中国科学技术大学孙广中教授。主要从事负责任人工智能研究,聚焦大语言模型的社会影响、安全性与可靠性问题。在 LLM 越狱攻击与防御、安全对齐、AI 欺骗行为等方向取得多项创新成果,提出了 Self-Reminder 等代表性防御方法。相关研究发表于 Nature Machine Intelligence、ACL、KDD、EMNLP 等顶级期刊与会议。
3 L' Y' ^: \6 ]% Q9 q9 S* x# m. U8 v/ J" ]4 Z, y6 p
2. Reasoning Beyond LLM and a Vision for Life After Superintelligence: The Player and Gatekeeper Era ) U5 p2 I' U1 ~5 B5 A. T
, N- f6 D( |3 S4 z% N# m; r& I3 l3 d# q
Jin Song Dong,新加坡国立大学计算机科学教授
. O9 b9 X3 A0 M2 }8 g' KJin Song Dong(董劲松),新加坡国立大学计算机科学教授。他的研究领域涵盖多个方向,包括结合大语言模型智能体的形式化方法、安全与安防系统、可信人工智能、概率推理、体育分析以及经过验证的大语言模型代码合成。他共同创立了商业化的 PAT 验证系统,该系统已拥有来自150多个国家的数千名注册用户。董劲松还共同创立了商业化的可信机器学习系统 Silas,下载量超过5万次。他在顶级期刊和会议(如 ICML、NeurIPS、ICLR、CVPR、ACL、AAAI、POPL、ICSE、FM、CAV)上发表了200多篇论文,并多次获得最佳论文奖。他曾担任《ACM Transactions on Software Engineering and Methodology》和《Formal Aspects of Computing》的编委。他成功指导了34名博士生,其中许多人已成为世界顶尖大学的终身教授。他是澳大利亚工程师学会会士。董劲松利用 PAT 为网球战术分析开发了马尔可夫决策过程模型,协助职业选手进行赛前分析(曾击败世界顶尖选手)。业余时间,他是一名网球教练,乐于指导自己的学生和三个孩子——这三个孩子均曾位列新加坡/澳大利亚全国青少年排名第一,其中两个孩子已获得美国 NCAA Division-1 全额奖学金。! b! }3 e' k3 X) R( N! E
- C8 H2 ?" J* {' r2 ?; I1 H h. K3 B: f* ~ v2 c" g% M" z! W
) ]7 I% c! j" R- A/ Y
3. Shifting the Focus of AI Safety: From Models to Systems 2 {4 V0 ~" E! K0 b
* {6 b/ {8 o" o4 t
' o0 g5 B2 R8 t2 |( P+ U1 |% B李朝卓,北京邮电大学副研究员' d p, a; {3 N+ ?2 x/ [
李朝卓,北京邮电大学网络空间安全学院副研究员,曾任微软亚洲研究院主管研究员。主要研究方向为可信大语言模型与自进化智能体,已在国际顶级期刊及 CCF A 类会议上发表论文百余篇,荣获 WSDM、PAKDD 等国际知名会议最佳论文奖,并率队夺得 KDD Cup 等国际顶级竞赛奖项。相关研究成果已成功应用于必应搜索、Xbox 等微软知名产品。
9 b5 T, P6 I$ x5 M" O' n% V7 ^: J- z) I- x& O
( b7 D, T+ M; j# P 0 {! _. f2 O5 d; t: D: f: y
4. 面向可信多模态大模型:攻击、评测与对齐
' k0 s* P' U: C2 r
0 `% R8 H/ J% B5 j" W, W
. [5 D/ F ?' v' [7 d严宇萍,西湖大学博士后研究员8 {- y8 C( }4 V
严宇萍,西湖大学博士后研究员,主要从事大模型/智能体和具身智能安全。她于2024年在匈牙利厄特沃什·罗兰大学获得博士学位,目前的研究兴趣主要为(1)智能体安全;(2)多模态大语言模型的安全评测;(3)具身智能安全。曾获 IEEE Best paper award,现任 complex&intelligence system 期刊的 managing editor。" ]( K e- h2 S
4 x L+ R" p5 E# C- m$ Z
4 B; H( g4 `# [7 H9 A, K
( _. e- O1 P* ?5 K
9 @; p% i9 C4 a* g: T8 z& w* X - H# S6 A& e( q
圆桌讨论:构建可信智能体系统(中文)
+ f$ w3 s- b0 G8 j7 |
: _7 b( [/ D# q4 \. I7 u6 z/ j , {% g4 f1 P' s+ ~8 c2 c0 [- g
9 {& a. e! @) U$ p
5 e3 ~+ h& K4 u# Q, H5 K: [" `圆桌嘉宾:易婧玮丨北京智源人工智能研究院(BAAI)大语言模型安全中心研究员Jin Song Dong丨新加坡国立大学计算机科学教授严宇萍丨西湖大学博士后研究员张 岸丨中国科学技术大学特任教授
( L! j' N9 ~: L1 V5 m* u% B主持人丨王金戈丨安远AI 大模型安全研发工程师 - }2 N3 G( _9 M
- o" o- z3 N& v. e! M
% s. M2 C9 y4 _5 U9 j) E: O
& Q4 s' L& ?* X- U ?5 L$ w6 [; g7 f$ B' ]6 P7 g' M
张岸,中国科学技术大学特任教授' C. c' x e) f/ J4 |# r
张岸,中国科学技术大学特任教授、博士生导师,国家级青年人才,荣获2025年 Web 领域女性新星奖。主要研究领域为大模型驱动的智能体、个性化大模型、可信人工智能,特别关注于智慧校园、大模型安全、以及个性化场景,致力于下一代通用人工智能模型的关键能力与性质研究。相关工作在 NeurIPS、ICLR、ICML、WWW、KDD、SIGIR、TOIS、TPAMI 等顶级国际会议和期刊发表录用长文40余篇,其中超过3篇论文入选了最高引和最具影响力榜单,Google 学术引用超四千次,H-index 达30。2 f$ c& B" S% Y) N1 W' _
' {. }! i3 U9 } F# p
' N1 ~8 d w5 B+ G# J
7 D+ G& K1 Z' w圆桌主持人 # B) G: ~; A7 |' @! O6 K
% s- e3 K" t" ^3 A' @8 p1 z7 A9 t
4 E3 e/ Y8 t' ]6 I7 x- s& }1 ^, @3 Q( W7 w% L" V' o
* `2 t( @7 L- u% e5 L; R+ O. u王金戈,安远AI 大模型安全研发工程师* g' p, Z* ^) E0 L; S1 C8 w
王金戈是安远 AI 的大模型安全研究工程师,负责安远 AI 在大模型安全测评领域的相关研发工作,同时担任 AI 安全开放社区(OCASC)联合创始人。在技术创新与科研方面,他持有10项国内外发明专利,并曾获2021年中国发明协会发明创业奖创新奖二等奖。王金戈曾于微软、旷视科技从事搜索引擎及计算机视觉的算法研发,并曾在西湖大学开展“AI 科学家”相关课题研究,长期关注 AI 安全科普教育、AI 系统性风险、可解释性及 AI 意识等前沿治理领域。6 R1 }3 U x' G% U& Z3 c
+ _' O; ^* {; h0 W
* [- u+ F7 H+ m9 c
5 ]2 l# _3 z$ a" f3 _& x+ }
' x+ m3 g6 `7 d0 h0 Z- M
# d+ E% J4 S) {1 |+ J- E2 X主题三:用智能体重构网络安全体系 & c3 ?) T( p3 x2 j4 s0 V$ M1 ~. M
3 g2 t+ A3 |$ W, u5 @
' ]2 B2 x0 e3 F1. AI智能体及前沿安全实践
; Z( V1 P6 s1 ]4 @" I; i H" _6 K0 O& n
+ b+ e$ e+ G+ e; Q( W7 q. D
! U. k, L9 o4 j3 m% c
" H" X$ ^! P% R5 [1 m7 U" B4 m2 l3 P
田天,瑞莱智慧Real AI创始人兼CEO
; O) S& {$ X9 l$ s0 W+ b: @9 }$ A田天,瑞莱智慧公司创始人、首席执行官,博士毕业于清华大学计算机系,曾荣获清华大学特等奖学金、西贝尔学者称号。 获“吴文俊人工智能优秀青年奖”、第五届杰出工程师青年奖等荣誉。
" O$ Y# j# N& u
9 h9 q F! x$ a/ g1 x; v' t; U% P, N. r d' C, ]* f* x
) F; z4 t, c% m9 r/ H. B4 q
2. 攻防失衡下的范式转变——迈向AI原生智能体安全体系 * _1 H# I. M! X- H
3 V" n( q, i7 V! }1 ?4 x+ [+ d% g" {& B- M4 p; H
刘岩,奇安信人工智能公司副总裁- t9 o3 T' x/ X, n; G
刘岩,奇安信人工智能公司副总裁、奇安信科技集团股份有限公司 核心技术人员。智能安全产品线负责人,负责奇安信智能安全(AI Security)领域全面产品业务。同时兼任奇安信广西人工智能安全研究院总工程师。7 ^# b6 K6 V$ l0 ?4 Q* {
5 X3 X+ `0 t" S" }/ t2 G) g: B% D( U! S! P5 c- @
4 Z g2 h, n# c+ b7 d: n$ @# S4 {* C% p$ L/ {0 M
: G1 N# M, l! z* A( i l1 G) K
圆桌讨论:用智能体重构网络安全体系(中文)
2 ~3 D+ o8 _4 B9 ~, E
$ ?/ }0 D8 }& d! V3 Z" { \ Y- b% p# p
8 O* e9 S, J( [6 w' x
; p0 r* a& L6 D圆桌嘉宾:李朝卓|北京邮电大学副研究员
4 H! G2 l. l3 w8 P田 天|瑞莱智慧Real AI创始人兼CEO / E* U8 S/ I. H! F1 m/ b5 J7 B
刘 岩丨奇安信人工智能公司副总裁
6 R+ O7 R; z5 L6 j5 A# x5 y$ J杜跃进|浙江大学求是特聘教授 % [+ a" k" L5 M2 ?
主持人丨方亮|安远AI安全治理主管 9 U# S4 }1 z$ p1 _
$ N3 u" t6 n4 @% r2 r& Y: B, q, x+ B h
+ v- a. F I4 S+ T" B
7 A: [, F1 m% a! e$ ^圆桌主持人
: E/ E+ V% X8 {7 @
, o% n& e) R' i1 }4 K/ m# }9 z; `
方亮,安远AI安全治理主管
8 v3 @! |9 `, {! \/ r5 d( [/ h4 P方亮是安远AI安全治理主管,领导安远 AI 在国内的 AI 政策与标准制定咨询工作,同时担任中国人工智能产业发展联盟(AIIA)安全治理委员会专家。在标准建设方面,他曾深度参与过多项AI安全与治理的国标和行标制定。方亮曾任百度高级技术顾问,致力于在企业内部推动 AI 伦理与治理的研究、交流与落地实践;此前,他曾在中国联通、亚信数据长期从事战略研究与规划工作,并多次参与国家各部委在 AI 及前沿科技领域的政策制定。
C2 q+ N5 a% U# w, D+ R( p, x+ N7 M4 k* _; C% |% d M7 s2 s% I
) ~# O( r* R+ w( ~/ ^
6 K! [5 W; D. x闭幕致辞
! ^! v2 N4 O' z/ |
$ V! z. _, b* T1 t; `- S
8 Y3 b; ` h- S5 b: U! J
杜跃进,浙江大学求是特聘教授
6 K; h* {$ x! z0 |& Q" L杜跃进,博士,浙江大学求是特聘教授,区块链与数据安全全国重点实验室首席研究员,贵州大数据安全工程研究中心主任。曾任网络安全应急技术国家工程研究中心创始主任、亚太应急响应合作组织副主席、阿里巴巴集团技术副总裁兼首席安全专家、360集团副总裁兼首席安全官等职。长年从事网络安全、数据安全、人工智能安全研究工作,获得国家科技进步一等奖、新世纪百千万人才工程国家级人才、国务院特殊津贴等多项国家级荣誉和奖励。 |