专访上交大牛力团队 ECCV 2026 新作：基于上下文学习的区域拖拽模型，重塑 ...

无心鸣子丶

  ^5 x) U7 }; P: `- F$ u
' _3 g- i& u3 B7 U; s0 [7 A突破点对控制局限，ECCV 2026 重磅开源 ICRDrag，重塑任意区域图像拖拽。
作者丨张   璐
编辑丨齐铖湧
% h" A1 ]2 h' }/ m还在用 DragGAN 或 DragDiffusion 辛苦点选、修图吗？
玩过 AI 拖拽编辑的朋友大都深有体会：传统点拖拽因控制信息过于稀疏，想要精准对齐往往只能“碰运气”；而之前引入掩码的区域拖拽虽然能提供密集的几何约束，却极易在拖拽后产生视觉断层，面对复杂变形时也难免走样。
* H! H7 w9 `9 |9 h( r. E今天，拖拽编辑容易变形、边界割裂、细节丢失的时代宣告结束了！
, ?0 x4 Z; ]2 K9 L- S来自上海交通大学牛力实验室的全新力作 ——ICRDrag（In-Context Region-based Drag）横空出世。
& {" @9 V9 \4 R( @; S! y6 E% r

" f5 P8 r4 `  s论文地址：https://arxiv.org/pdf/2606.25907
7 s  e5 S8 v% j/ m, G5 h$ U% I项目地址：https://github.com/bcmi/ICRDrag-Region-Drag-Editing
这些年，牛力实验室的研究重心主要集中在图像生成和编辑领域，在图像合成/物体插入 (Image Composition / Object Insertion)、少样本图像生成 (Few-shot Image Generation)等子领域产出了诸多代表性学术成果。
$ y6 D" t! r" j: H4 j4 t最近，该实验室正全力聚焦于精细化图像编辑、生成模型的后训练、理解生成一体化模型的前沿探索。
此次发表的ICRDrag则是团队在“精细化图像编辑”方向上的又一里程碑式工作。
/ P' q- k$ `+ o- ?- S# _) l: m- F作为 ECCV 2026 的重磅研究，它首创了上下文区域拖拽模型，用掩码精准定位局部，让移动、缩放、变形全都丝滑自然。
01


+ H; ~' s8 U& v" @/ O1 h效果展示：多场景拖拽效果直观对比

; n0 M$ p' e5 D! D+ U先来看一组直观的编辑效果。
下图中，蓝色掩码为源区域，红色掩码为目标区域。我们的核心目标是将源区域丝滑地拖拽至目标区域，而其他非编辑区域则保持细节不变。


4 g0 |* A) N# R2 k' }7 ]8 a无论是人像姿态、宠物动态，还是日常静物的形状调整，ICRDrag 都能轻松拿捏。
. I5 X: K( z5 M# i/ \" w  I更强的是，它支持多区域协同与“锚点”锁定：
在实际操作中，你最多可以同时画出5 对不同的源区域和目标区域。如果担心其他地方跟着走样，只需在不需要变动的地方随手点几个“锚点”作为锁定区域，AI 就会乖乖听话。
( {3 {: \, g! w该项目已开放 Demo 体验！ 欢迎点击链接或复制到浏览器直接上手：https://drag.ustcnewly.com/
9 }+ m8 [( u. P% {* g02


技术解密：
7 s8 j. @: D# F0 P& [$ ZICRDrag 实现高精度编辑的核心
# s+ F9 n+ m4 [, s/ i
: I( o1 }% p$ x- s, f. \7 m5 I能有如此惊艳的效果，得益于 ICRDrag 从底层重构了拖拽编辑的控制逻辑。它带来了五大核心技术突破：
▎全新的上下文学习框架
4 v3 R# E. {; e0 l& j) N* K基于先进的DiT（Diffusion Transformer）框架，一次性把“原图”、“源区域掩码”和“目标区域掩码”喂给模型，直接一步到位输出编辑后的图片，从根本上避开了繁琐的中间步骤。
7 y0 |6 u: u0 A0 s$ o$ V$ S▎图像与掩码的“注意力一致性”（IMAC）
生成新图像时，AI 会严格约束注意力分布，让图像特征与掩码轮廓强行“对齐”。这就保证了生成的画面绝不会溢出或脱离你划定的空间边界。
" b# o" o: |8 G/ x▎图与目标图的“双向注意力”（STAC）
让目标物体“看向”原图对应区域，同时让原图区域“反向关注”目标物体。通过这种双向奔赴的关联，确保物体在形变、移动后，依然是“它自己”，不会变异。
! v8 ^! R$ i% R为了证明上面这两个约束不是“玄学”，研究团队直接把模型内部的注意力图（Attention Map）给扒了出来：

+ G1 h% r/ V; C! d2 J+ |

3 a2 O$ |1 A' A* u0 j

• 
  - Z* [1 Y% ?4 r! g* \- V不加 IMAC 约束：AI 虽然知道该看哪，但代表空间结构的掩码注意力（Mask Attn）四处飘散，导致最后的修改和你的选区“对不准”。
  ; v9 ^: ?2 p/ W* U/ Q" `$ m
  
• 
  ! V' O* ~2 P: s/ e不加 STAC 约束：目标区域的注意力会散落到无关的背景或五官上，导致细节严重丢失、人脸变形（如上图 w/o STAC 所示）。
  . E2 Y( b/ q2 P6 E$ p) `
  7 u4 d# K+ M7 ]3 d6 q0 O* {
• 
  双重 Buff 叠满（ICRDrag）：注意力精准锁死，目标和源区域强力互锁。这就是它能做到“精准形变、不丢细节”的底层黑魔法！
  
  

& P. u6 x. h: }8 T# O( M* _
3 U' w+ G  n) o  ?▎给图像和掩码定制“专属 LoRA”
3 f% d9 z- w7 L图像重在纹理细节，掩码重在空间轮廓，两者性质差别极大。为此，ICRDrag 贴心地为图像和掩码分支定制了独立的专属 LoRA，各司其职，细节与轮廓两手抓，避免了特征污染。
▎分阶段课程式训练（手残党福利！）
! g3 N' H  o1 L, z% f2 E实际修图时，大家随手画的掩码往往比较粗糙。为了解决这个问题，模型采用了渐进式两阶段训练：

  `: z4 Z9 B/ g( \7 g3 \4 s1 O

• 
  9 L  N) |% G. u; I8 Z  ?5 I第一阶段：用规范、完整的语义掩码教学，让模型学会变换的底层逻辑；
  
  # z( \6 \1 N" O( c3 O1 a% E0 \
• 
  2 y0 S% }" [; t! {0 w) L, S$ Z7 w第二阶段：引入随机膨胀的“稀疏不完整掩码”，模拟用户真实手绘的粗糙选区。 哪怕你画得再潦草，AI 也能精准秒懂你的真实意图！
  
  

! V% s3 C( J$ i; ?

6 a6 L0 r9 E8 W! k03


" g2 C, ]( @; R# b  \极限挑战：
- l/ `& f9 a. _% q2 ?( _3 n& _大形变、大位移与跨界测试

传统拖拽软件遇到“非刚性大形变”或者“人体肢体大范围位移”往往直接“骨折”。但 ICRDrag 在这些极限场景下依然稳如泰山。
研究团队在挑战性极高的非刚性编辑（如人像大角度转头、肢体被遮挡后的复原等）中进行了测试：

4 G8 p6 D7 M& g; s
不仅如此，为了测试模型的泛化能力，团队还在从未参与过训练的Adobe Stock真实图库上进行了跨域测试，表现同样惊艳：
# ^! N6 }( ?2 l
% f9 r% E) i: _. m5 \# X. A! A
04
' k/ r: y0 b, A: W# R; a3 |% c

业界首创：
大规模区域拖拽数据集 PRD

在过去，限制该领域发展的一大痛点就是“缺乏数据”。
为此，研究团队基于百万级视频数据集 OpenVid，打造了首个大规模区域拖拽数据集 PRD (Paired Region Dataset)，彻底填补了行业空白：

9 D* L2 Z2 p' c/ e( ~0 ^

• 
  超大训练集：包含28.7万组高质量「原图 + 源掩码 + 目标图 + 目标掩码」配对样本。
  ; q' s5 R5 c) H2 @- `" d! f8 j
  * W7 A) [- |9 Q, c. g8 f
• 
  评测基准 PRDBench：精选1000 组人工校验的高质量样本，同时标注了掩码与关键点，可用于公平对比点拖拽和区域拖拽模型。
  # `, F9 m7 b% b9 W
  - |" z* j1 U; n' o

4 S" \6 V  Q+ r% q
* }6 s9 Y; l! {$ W% J5 p
/ d8 |( @% r9 q- L这一技术的突破，无疑是广大设计师、摄影师以及修图爱好者的超级福音：

• 
  人像后期：框选人脸、四肢，自由调整身材比例、五官和姿态，绝不脸塌、绝不骨折。
  
  - z' z" f, U8 m. ]* t! O) s
• 
  静物与产品设计：随意拖拽商品位置、放大缩小，且无需重新手动调整光影，背景自然融合。
  
  
• 
  构图优化：移动画面中的主体（如人物、建筑、植物），AI 会自动无缝填充背景，不留痕迹。
  
  
• 
  创意视觉设计：打破常规，自由扭曲物体轮廓，轻松实现各种天马行空的形变创意。
  
  ! \5 y8 D( m7 K5 N

从早期的点对微调到如今的上下文区域控制，图像局部精准编辑的演进不仅是控制信号由稀疏到密集的转变，更是生成模型对空间几何与纹理特征理解深度的一次跨越。
+ r- s2 F0 E9 d  B  u6 }, F, s上海交通大学牛力实验室提出的ICRDrag，通过优雅的图像-掩码一致性约束，为我们展示了基于 DiT 架构实现零畸变、高保真局部编辑的巨大潜力。
4 P- G( a& \$ R4 N# \目前，ICRDrag 的论文、代码及在线体验 Demo 均已正式开源。无论是希望一窥其算法奥秘的科研同行，还是渴望在日常设计中解放生产力的创作者，都不妨亲自上手，体验一次“指哪改哪”的丝滑编辑。
$ W% s, |' |4 V4 }图像可控生成的前沿探索仍在继续，而 ICRDrag 的诞生无疑为通往“完美局部创作”的道路铺下了坚实的一砖。
05

- S9 T" m; ^3 @5 Y对话 ICRDrag 团队：
资源受限下的学术突围与图像编辑的未来
▎Q1：为什么当时会想到放弃火热的“基于点对的拖拽”，转向做“基于区域的拖拽”？
答：图像拖拽编辑最早是由 DragGAN 带火的，但当时业界几乎全都是基于点对（画成对的起点和终点）的拖拽模型。我们实验室刚开始也顺着这个方向做了一段时间，但发现效果并不理想。
* u/ P5 L4 W) }+ t: d5 P后来我们意识到，如果想要更精确的图像编辑，基于区域对（画源区域和目标区域）的控制才是更有意义、且当时做的人相对较少的方向。虽然没有现成的数据集，但换到基于 DiT架构的上下文学习后，许多以前在传统 UNet 架构下不 work 的图像编辑任务都变得 work 了，这也证明了我们技术路线的选择是正确的。
▎Q2：面对 Adobe、字节等大厂在算力和资源上的“正面硬刚”，高校实验室如何实现“四两拨千斤”？
答：核心在于寻找大模型目前解决不了的痛点。像现在的banana, GPT-image 已经非常强大，但让它做这种精细的区域拖拽它还是会出很大的问题。
我觉得学术界和工业界应该是这样一种配合关系：学术界负责验证可行性，做出 Demo 或原型（Prototype）；工业界则负责在此基础上 Scale up，把训练数据和模型参数堆上去，做成泛化性极强的通用模型。像我们这次只用了 28 万对训练图片，如果后续有工业界实验室感兴趣，我们非常希望能合作把它扩展到 280 万甚至 2800 万的规模，做出真正通用的落地模型。
▎Q3：我们注意到，ICRDrag 作为一个 2D 拖拽模型，在处理大角度转头或肢体形变时，居然表现出了极佳的“3D意识”。这是怎么做到的？
3 {" T, ^3 R5 {% y6 S. r# v2 J6 H答：这主要是从视频训练集中学到的“先验知识”。因为我们构建数据集时用到了大量的视频数据，而视频本身就天然包含着姿态调整、视角转换等大量的连续帧信息。基于这些丰富的视频配对数据进行训练，模型在进行 2D 图像编辑时，也就顺理成章地学到了这种 3D 变化的效果。
▎Q4：目前在 A6000 显卡上生成一张图需要约 35 秒，针对这个速度瓶颈，未来团队有什么优化和落地计划？
* z3 H( b. N7 I. s( z+ W, n' r答：30多秒的延迟如果直接放在网页或 App 上，确实容易让用户产生焦虑，所以速度优化是我们后续的重点。
8 X( V9 y  N+ [' n$ Q4 ?- c我们会考虑探索更轻量化的模型架构，也可以通过引入稀疏注意力来减少计算量，或者借助跨步采样的 LoRA，让模型用极少的步数就生成出高质量的图像。此外，模型量化、剪枝等常规加速手段我们也都会逐步尝试，让它更接近实用标准。
▎Q5：现在很多人觉得未来纯靠文字对话就能完美修图，你认为未来文字控制和空间拖拽控制会走向怎样的融合？
1 u' d! S4 v" }" v2 s& \$ t/ e' y答：完美的图像编辑大模型，未来必然是多模态引导条件并存的。
纯文本指令固然最方便，但它天然无法做到像素级的精细控制。因此，除了文本，未来模型必然会融合空间布局图、深度图、关键点等结构性引导，而我们正在做的区域拖拽（成对的掩码引导），则是精细控制中更复杂的引导条件。
近期我们也有两个明确的拓展方向：一是将“基于点对的拖拽”和“基于区域的拖拽”在底层统一到同一个模型中；二是精准隔离拖拽时的“因果关系”，做到“该跟着变的地方（比如拉动鼻子，下巴跟着变）变，不该变的地方（比如背景）坚决保持不变”。
上车，带你看遍全球 AI 顶会精华
" W! c$ w% `( V, s2 \8 l可独家畅览：
专家演讲PPT
+ }$ ?  G( f9 Q  u, _6 C大会报告全文
热门论文解读
学术新星访谈
未经「AI科技评论」授权，严禁以任何方式在网页、论坛、社区进行转载！
公众号转载请先在「AI科技评论」后台留言取得授权，转载时需标注来源并插入本公众号名片。