上交大提出ICRDrag：首个上下文区域拖拽模型，精准可控图像编辑 ...

那一抹骄傲sky

) K* r. r; `. Y. D: L0 ^1 [
+ b4 @3 |4 S; ?, H0 T3 v* y2 `
还在用 DragGAN、DragDiffusion 拖拽修图？点选拖拽容易变形、边界割裂、细节丢失的时代落幕了！ECCV 2026 ICRDrag 首创上下文区域拖拽模型，用掩码精准定位局部区域，移动、缩放、变形全都丝滑自然，兼顾精准度与画面真实感。


) R' h: x9 a. x9 b  F, f0 h( v9 A) q
. R8 S8 D- s- p' D- f

& T  \$ E7 S2 x2 j# {% m6 G
• Paper: https://arxiv.org/pdf/2606.25907
  
• GitHub: https://github.com/bcmi/ICRDrag-Region-Drag-Editing
  
• Demo: https://drag.ustcnewly.com/
  1 c7 K2 K# K' w/ i( m* W# z6 x

效果展示
先看编辑效果，每一组图像左边蓝色掩码是源区域，右边红色掩码是目标区域。拖拽编辑旨在把源区域拖拽到目标区域，其他区域除了必要的跟随性改动 (比如嘴巴动了，下巴也要跟着动) 之外，细节尽量保持不变。可以看出 ICRDrag 对于各种类型图片的姿态和形状调整都能轻松拿捏。

" `! |0 g- R: ]: v. `! v  E6 K
8 u. b% @: n5 g' [/ ^; ?" U! m! M
下面视频是 demo 展示，用户可以用不同颜色画出多对源区域和目标区域 (目前最多支持 5 对)，把多个源区域拖拽到对应的目标区域。如果其他区域出现了不想要的改动，可以在其他区域增加类似锚点的源区域和目标区域，锁定其他区域。
体验链接：
* c6 {% t3 w/ \1 F4 V6 O5 Yhttps://drag.ustcnewly.com/
6 a2 i, R; Y8 @6 p+ T7 _, o/ i
; [& a* S% E4 t; c* T: @

直击痛点

传统拖拽修图，到底有多难用？玩过 AI 拖拽编辑的朋友一定踩过这些坑：

' z1 C1 a# W7 \

& ^: E/ [2 G: m# a
• 基于单点拖拽：主流点拖拽模型比如 DragGAN, DragDiffusion 仅靠少量点对控制画面。点对信息模糊，AI 经常猜不透你的想法。点越少歧义越大，想要精准调整物体形态基本靠碰运气，很难严格对齐目标位置。
  1 q9 l# O- Z2 F5 M! ]  P3 n
• 现有区域拖拽：后来出现的 RegionDrag, DragFlow 等模型改用掩码控制区域，但缺陷依旧明显：物体拖拽后边缘断层，和背景融合生硬；复杂的形状姿态调整完全 hold 不住。
  ( ~& Q4 I# G; T  Z9 I6 ^

5 x$ V4 q& e& @. l. r6 f' c$ @
  N+ b' E: N2 r3 ^. T, e' u

  Y0 `* ]8 l$ H" i+ c上下文区域拖拽
本次 ECCV2026 提出的 ICRDrag（In-Context Region-based Drag）全新解法：上下文区域拖拽，真正实现「选啥改啥」。
4 [$ j# v$ \$ Z0 u. T2 B4 \
+ M) B# L8 l$ e( s6 Q

• 上下文学习框架：基于 DiT 上下文学习框架，一次性输入原图、源区域掩码、目标区域掩码，直接输出编辑完成的图片，从底层解决拖拽编辑的控制难题。
  
• 图像 - 掩码注意力一致性约束：目标图像在借鉴原图信息时，注意力分布必须和目标掩码匹配源掩码的分布保持一致。AI 不再割裂看图片和选区，生成画面严格贴合掩码划定的空间轮廓。
  . m* |8 h: d1 h, V
• 源 - 目标双向注意力对应约束：目标物体看向原图对应区域，原图区域也反向关注目标物体，建立编辑前后物体的对应关系。
  3 a3 K" H/ W8 `! X
• 图片 / 掩码专属模态 LoRA：图像富含纹理细节，掩码仅存储空间轮廓，二者的性质差别很大。ICRDrag 为图像、掩码分支使用独立 LoRA。
  
• 分阶段课程式训练：现实使用中，用户勾勒的掩码往往比较粗糙。模型采用两阶段渐进式训练：第一阶段用完整语义掩码训练，让模型学会区域变换逻辑；第二阶段用稀疏不完整掩码训练，随机膨胀模拟手绘粗糙选区，大幅提升模型容错率。哪怕掩码画得潦草，AI 依旧能精准理解你的编辑意图。
  * }/ ~3 ^1 y6 P+ V6 t

; [) d1 F  m  M区域拖拽大规模数据集
) I! |1 w3 P7 a$ X  p- J. Z1 U8 T: k  M为了训练 ICRDrag 模型，该工作基于百万级视频数据集 OpenVid，打造了首个大规模区域拖拽数据集 PRD (Paired Region Dataset)，补齐领域空白：

2 }( O* ~2 q  t5 m

• 训练集：28.7 万组「原图 + 源掩码 + 目标图 + 目标掩码」配对样本，如下图所示。下图中，左栏是原图、源掩码、从源掩码采样的部分区域，右栏是目标图、目标掩码、从目标掩码采样的部分区域。
    y/ h- @) f; ~  ?$ V& }+ C# s
• 评测基准 PRDBench：1000 组人工校验高质量样本，同时标注掩码 + 关键点，可公平对比点拖拽、区域拖拽两类模型。
  

# M5 [4 S7 @* _- ~
1 [# u4 Q8 G5 o; L/ u
3 U! ~: t" e; j
9 p/ ]3 C6 ?8 a: B9 [  A应用场景
图像拖拽编辑覆盖多个落地场景，是广大设计师和摄影爱好者的福音。
9 o& M* O( Y8 ~5 P0 X& h

• 人像修图：框选人脸、四肢，随意调整身材比例、姿态、五官位置，不变形不失真；
  
• 静物 / 产品设计：拖拽商品调整摆放位置、缩放大小，无需重绘光影；
  
• 场景构图优化：移动画面中人物、花草、建筑，自动填充背景，画面无缝融合；
  . K6 E8 x' p7 @( q7 a4 B
• 创意设计：自由扭曲物体轮廓，实现复杂创意形变，告别生硬拼接。
  

' Q6 q* e# u/ |实验室简介
ICRDrag 出自上海交通大学牛力实验室。该实验室近几年主要工作集中在图像生成和编辑领域，代表性子领域是图像合成 / 物体插入 (image composition/object insertion) 和少样本图像生成 (few-shot image generation)，也涉猎过图像填充、图像分层、风格迁移、拖拽编辑等其他子领域。近两年在关注生成模型的后训练和理解生成一体化模型。