大事不好！机器人学会预测未来了

集群智慧张老师

金磊 发自 凹非寺
/ j2 s4 B/ p+ r% ?量子位 | 公众号 QbitAI
2 Z, S* b% ?% [( [

不得了，机器人现在开始学会脑补未来了。
! h# Q- B7 y( c3 `$ d3 G9 R: l这就是蚂蚁灵波又又又又（连续第4天）开源的狠活儿——
! Q* B9 f% w9 u7 m2 @  e全球首个用于通用机器人控制的因果视频-动作世界模型，LingBot-VA
, n) Y9 Y  y% _! R8 ], U9 C9 K
" i4 }1 y  ], O* S5 S

怎么个脑补法？
简单来说啊，以前的机器人（尤其是基于VLA的）干活儿，主打一个条件反射：眼睛看到什么，手立刻就动一下。
- t' V4 Y, j/ |- _( h: u/ u$ M这叫“观察-反应”模式。
2 S2 @4 e4 c6 a6 A/ J但LingBot-VA就不一样了，它通过自回归视频预测打破了这种思考方式，在动手之前，脑子里先把未来几秒的画面推演出来。
7 S9 J: }' k7 F  {/ H; ?4 q1 |说实话，用想象力做决策，在机器人控制这块还是相当新鲜的。
但这不是LingBot-VA唯一的亮点，还包括：

8 m. g; ^5 V) f8 a2 ]& F% K9 U
• 记忆不丢失：做长序列任务（比如做早餐）时，它会记得自己刚才干了什么，状态感知极强。
  $ M+ J: x% t/ k& O; L/ H
• 高效泛化：只要给几十个演示样本，它就能适应新任务；换个机器人本体，也能hold住。
  + _3 g; X' h  P

$ j$ M+ B) J- q  D


5 s7 X/ R2 i- H3 u5 f9 {  B因此在LingBot-VA的加持下，像清洗细小的透明试管这种高精度任务，机器人已经是可以轻松拿捏：
9 q5 O, r$ w0 s" w
# E: s9 |( I( w. @8 D1 K

视频地址：https://mp.wEIxin.qq.com/s/xqE6C72usddKMc4EH89myA
正如我们刚才提到的，今天是蚂蚁灵波连续第四天开源。
如果说前几天的开源是给机器人加强了眼睛（LingBot-Depth）、大脑（LingBot-VLA）和世界模拟器（LingBot-World），那么今天的LingBot-VA，就是让这具躯壳真正拥有了灵魂
6 ?# Y: P" v2 j+ U1 g! ?一个行动中的世界模型，让想象真正落到执行层面。
  o7 M4 [2 a4 `% F1 ~" Q0 W$ ^. J+ x如此一来，通用机器人的天花板，算是被蚂蚁灵波往上顶了一截。
正如网友所述：

* B  o. l  r" V. ?8 E* p

& j* j1 A$ s" s7 r
• 从预测到执行；说实话这是巨大的飞跃。
  . m0 `) @% k# H

8 W8 Z' S% k! H) a- I4 N9 O1 o: K

" V+ x+ b3 o- D$ V" M! b" x8 f, ~+ S让想象力先行一步

8 i4 }9 [$ S+ f& Y" |1 o
LingBot-VA在架构设计上选择了一条更进一步的路径。
# Q* W( s0 o4 e# P: c! k在传统的VLA（视觉-语言-动作）范式中，模型通常会将视觉理解、物理变化推理、低层动作控制这三项复杂任务放在同一个神经网络中处理，这在学术界被称为表征缠绕（Representation Entanglement）。
为了追求更高的样本效率和更强的泛化能力，LingBot-VA选择把这团乱麻解开，提出了一套全新的解题思路：先想象世界，再反推动作。
为了实现这个想法，蚂蚁灵波团队采用了一个两步走的策略：
% ]3 c1 f! S! Z4 I
: k( E) p+ I( {4 h2 C

• 视频世界模型：先预测未来的视觉状态（接下来会发生什么）。
  . d* b( V- [' H$ l- J, `
• 逆向动力学（Inverse Dynamics）：基于视觉的变化，反推出应该执行什么动作（为了达到这个画面，手该怎么动）。
  0 D' l# O- c. ?0 R) f2 h

这与传统VLA有着本质区别：它不直接从“现在”跳到“动作”，而是要经过一下“未来”这个步骤。
# d9 F) Z! \" A5 J如何实现？蚂蚁灵波团队主要将三个架构层面作为突破口。
- n3 y% A+ M! c" S4 A
! [7 @, U3 r& Q% ?

首先就是视频与动作的自回归交错序列
在LingBot-VA的模型里，视频Token和动作Token被放进了同一条时间序列里。
为了保证逻辑严密，团队引入了因果注意力（Causal Attention）。这就像给模型定了一条死规矩：只能用过去的信息，绝对不能偷看未来。
& g; Q- g+ U/ i6 f同时，借助KV-cache技术，模型拥有了超强的长期记忆。它清楚地知道自己三步之前做了什么，任务绝对不会失忆。
  t  j; d: V' u0 k2 Y0 [
  I' Z9 y; O3 I3 Y5 E+ x# Y: r

其次是Mixture-of-Transformers (MoT) 的分工协作
这一步主要是为了解决我们前面提到的表征缠绕的问题。
我们可以把过程理解为“左右互搏”，但又很默契的一种配合：
9 q7 x' s! h  j4 y

# U1 c$ }$ C2 B
• 视频流：宽而深，负责繁重的视觉推演。
  ! i$ a+ z7 O: _8 X
• 动作流：轻而快，负责精准的运动控制。
  

' ^  z9 d& j0 d& |8 X+ r! K这两个流共享注意力机制，信息互通，但在各自的表征空间里保持独立。
8 b' r. v# k3 c- X这样一来，视觉的复杂性不会干扰动作的精准度，动作的简单性也不会拉低视觉的丰富度。
最后就是工程设计相关的工作。
3 g4 U8 Q0 R8 t+ w0 Y  N毕竟光有理论是不好使的，“实践才是检验真理的唯一标准”：

* ]# r" j# v! u4 q5 N5 G4 Q

• 部分去噪（Partial Denoising）：做动作预测时，其实不需要每一次都把未来画面渲染得高清无码。模型学会了从带有噪点的中间状态里提取关键信息，计算效率大大提升。
  
• 异步推理（Asynchronous Inference）：机器人在执行当前动作的时候，模型已经在后台疯狂计算下一步了。推理和执行并行，延迟感几乎消失。
  
• FDM 接地（Grounding）：为了防止模型想象力脱离现实，系统会用真实的观测数据不断校正想象，避免出现开放式的幻觉漂移。
  

实验结果与能力验证

; R/ D. ^+ d4 N  @$ |5 n
在了解完理论之后，我们再来看实验效果。
蚂蚁灵波团队在真机实验和仿真基准上，对LingBot-VA进行了全方位的实测。
在真机测试中，LingBot-VA覆盖了三类最具挑战性的任务。
( t% k3 b' Q6 I, `; Y- t5 ^首先是长时序任务，比如准备早餐（烤面包、倒水、摆盘）、拆快递（拿刀、划箱、开盖）。
; }4 n5 E# r3 `. |, N. x7 U8 h

7 z& `& v/ |9 T) G: U8 j
视频地址：https://mp.weixin.qq.com/s/xqE6C72usddKMc4EH89myA
9 z; K. r/ z" ~  r! z6 r7 s这些任务步骤繁多，但凡中间有一步有误，那可以说是满盘皆输。从LingBot-VA的表现来看，一个字，
即便是不小心失败了，机器人也会记得进度，尝试重来。
第二类是高精度任务，比如擦试管、拧螺丝。

  w. N) ^' a0 J! I( N/ u; `1 l

6 b% B3 |( O! e& I# N9 X. f视频地址：https://mp.weixin.qq.com/s/xqE6C72usddKMc4EH89myA
这要求动作精度达到毫米级，得益于MoT架构，动作流不再受视觉噪声的干扰，手极稳。
" I* e" [+ e( q, e/ ?刚才我们已经看了擦拭管的案例，再来看个拧螺丝的：
第三类任务是针对可变形物体，例如折衣服、折裤子。


# `- z; Z  V& X1 H7 E, ?9 a3 I
3 e; p+ j* f5 u! o# Q" j& w/ t视频地址：https://mp.weixin.qq.com/s/xqE6C72usddKMc4EH89myA
2 L4 E  Q4 ]3 K$ l这些任务的难点在于物体处于一个随时变化的状态，但LingBot-VA通过视频推演，预判了布料的形变，操作行云流水。
, C% X9 n* s6 k& y0 T* Y) K: L除此之外，LingBot-VA在RoboTwin 2.0和LIBERO这两个硬核仿真基准上，也是很能打的。
+ L9 r7 H# U1 b3 V& @! j尤其是在RoboTwin 2.0的双臂协作任务中，无论是简单的固定场景（Easy），还是复杂的随机场景（Hard），LingBot-VA都展现出了不错的实力：

- N, G" d- l& m6 P( s
• RoboTwin 2.0 (Easy)：成功率92.93%，比第二名高出4.2%。
  
• RoboTwin 2.0 (Hard)：成功率91.55%，比第二名高出4.6%。
  $ n0 X) l7 e( I# ^! w, X% r

3 {% _5 n1 A  P  H2 i

2 _: y. }1 X# E
6 j6 c  J% b& H" ?2 H% g而且有一个趋势非常明显：
5 _9 b0 p1 q* _8 \任务越难、序列越长（Horizon变大），LingBot-VA的领先优势就越大。
# {# s3 e' ~) I4 c9 Y& @在 Horizon=3 的长任务中，它的优势甚至扩大到了9%以上。
' O/ L) ~! n9 t! |而在LIBERO基准测试中，LingBot-VA更是拿下了98.5%的平均成功率，刷新了SOTA记录。

5 b! s, A+ d$ z1 m/ `: o% N

8 n6 ?: C. j# o; b( x总结一下，通过这些实验，我们可以清晰地看到LingBot-VA的三个核心特质：

• 长期记忆：在一个来回擦盘子的计数任务中，普通VLA模型擦着擦着就忘了擦了几下，开始乱擦；LingBot-VA 则精准计数，擦完即停。这就是KV-cache的起到的作用。
  , r+ l4 l4 P/ s( C' V" g  |
• 少样本适应：面对全新的任务，只需提供50条左右的演示数据，稍微微调一下，它就能学会。这比那些动辄需要成千上万条数据的模型，效率高了几个数量级。
  
• 泛化能力：训练时用的是某种杯子，测试时换个形状、换个颜色，或者把杯子随便摆个位置，它依然能准确识别并操作。
  

( r- x8 f$ |) c: h0 K$ Z
9 o0 w0 c: j1 r% Z6 K) I连续四天开源，已经产生影响
" f* c# `4 g8 u( Q) s) Y
0 P$ p- i' X: ~! W
. {. M9 _" u$ J3 U7 S7 k/ U. m* X把时间轴拉长，回看这四天的连续开源，我们会发现蚂蚁灵波下了一盘大棋。
' s+ f, ^2 b& i) {9 T" a0 x因为这四个开源项目拼凑在一起，就会形成一条非常清晰的技术主线：
) n1 u- O5 a! `* D1 L. r
3 s& l4 @4 }9 e9 j

• Day 1: LingBot-Depth——解决“看清”的问题。让感知能够更加清晰。
  " @: e4 s# r! U  N
• Day 2: LingBot-VLA——解决“连接”的问题。打通语言、视觉到动作的通用接口。
  4 w+ Y, \- N  w1 {3 [4 b
• Day 3: LingBot-World——解决“理解”的问题。构建可预测、可想象的世界模型。
  7 u( I5 i  o9 |7 Q; S( \- F; E
• Day 4: LingBot-VA——解决“行动”的问题。把世界模型真正嵌入控制闭环，让想象指导行动。
  

这四块拼图凑在一起，释放了一个强烈的信号：
8 c" B4 W+ G4 E, P% j: u: g. N通用机器人正在全面走向视频时代。
视频，不再仅仅是训练用的数据素材，它正在成为推理的媒介，成为连接感知、记忆、物理和行动的统一表征。
这对于整个行业来说，价值是巨大的。
- n; [2 Q  x9 f2 g3 N- s) l2 L对通用机器人来说，长任务、复杂场景、非结构化环境，这些曾经的硬伤，现在有了系统性的解法。
从具身智能路线来看，世界模型不再是一个可选项，它正式成为了机器人的中枢能力，从“能动”进化到“会想再动”。
! t9 r! _$ n8 D& V: _并且蚂蚁灵波的持续不断地开源动作，不仅仅是提供了代码、模型这么简单，更是一条可复现、可扩展的技术范式。
1 S8 @* F. [. v% t% _( Q0 w5 H. L而蝴蝶效应也在行业中开始显现。
" k& Z8 ]. r* L- f就在这两天，谷歌宣布通过Project Genie项目让更多人体验Genie 3；宇树科技宣布开源UnifoLM-VLA-0……
  U$ h+ Q. n2 f, ?海外媒体也对蚂蚁灵波的开源动作有了不小关注，点评道：

$ \2 d) Q8 ]# S5 ?2 Z7 i

& Q2 e9 D0 O1 a4 Z5 i9 g* J' l: }

6 ~+ {6 x& f. E5 Q
• 蚂蚁集团发布了名为LingBot-World的高质量机器人AI模拟环境。这家中国金融科技公司完善了一套完整的开源工具包，用于物理AI系统的开发。这也是在全球机器人领域主导权争夺战中的一项战略性举措。
  * S7 i- X, X3 f& x$ o

! `* M3 k& x5 }, N9 ^' a6 n1 d
$ N$ n: n8 C! B4 Y1 B

& \9 h& K; C" I6 K嗯，蚂蚁灵波的压力是给到位了。
总而言之，LingBot-VA的出现，标志着世界模型第一次真正站上了机器人控制的主舞台。
- m, u! k. G3 \% x+ E项目地址：
https://technology.robbyant.com/lingbot-va
GitHub地址：
https://github.com/robbyant/lingbot-va
项目权重：
https://huggingface.co/robbyant/lingbot-va
( [9 x2 g0 t, ~( k) Z* }( A- l/ Uhttps://www.modelscope.cn/collections/Robbyant/LingBot-va