双系统VLA研究新突破!Fast-in-Slow(FiS-VLA)让机器人推理能力和操控效率双提升

双系统VLA研究新突破!Fast-in-Slow(FiS-VLA)让机器人推理能力和操控效率双提升

机器人操控领域一直面临个“老大难”问题:快和聪明如何兼得?

试想一下,让机器人既像“学霸”一样深思熟虑理解任务,又像“运动员”一样快速精准执行?难!

FiS-VLA模型结构:

“快系统”嵌入“慢系统”,实现“即知即行”

尽管近年来的视觉-语言-动作模型(VLA)开始借助互联网规模预训练的视觉-语言模型(VLMs)提升常识推理能力,但这类模型动辄数十亿参数,以及基于自回归生成动作的策略,导致在执行速度上往往表现不佳。

受心理学家丹尼尔•卡尼曼大脑快慢双系统理论的启发,业界把“双系统”设计引入VLA大模型,利用基于VLM的慢系统2模块处理高级推理,并使用独立的快系统1动作模块负责实时控制。

但问题来了,现有的设计是将两个系统保持为独立模块,限制了快系统1充分利用慢系统2的丰富预训练知识,即系统1这个“运动员”很难充分吸收系统2“学霸”的渊博知识。

为了解决这个问题,智平方与香港中文大学、北京大学和北京智源研究院在联合发表的论文《Fast in slow:Dual-System Foundation Model Unifying Fast Manipulation within Slow Reasoning》中创新性地提出了Fast-in-Slow(FiS-VLA),即一个统一的双系统VLA模型。它通过将慢系统2最后几层的 Transformer 模块重新构建为一个高效的执行模块,用作快系统1,从而在一个模型中实现了快慢系统融合。

640-30
这种创新范式首次在单一预训练模型内实现慢速推理与快速执行的协同,突破了传统双系统分离瓶颈。

从此,系统1不再是“门外汉”,它直接继承了VLM的预训练知识,能无缝理解系统2的“思考结果”(中间层特征),同时自身设计保证其能高速运行。

考虑到 FiS-VLA 中两个系统在角色上的根本差异,研究者引入异构模态输入与异步运行频率策略,使得模型既能实现快速反应,也具备精细操控能力。

此外,为提升两个系统之间的协调性,研究者提出了一种双系统感知协同训练策略(dual-aware co-training strategy):一方面为系统1注入动作生成能力,另一方面保留系统2的上下文推理能力。

这样就有效解决了传统VLA模型执行频率低、推理与动作割裂的问题,真正做到“谋动并行”。

640-8
在模型评估中,相比于现有的SOTA VLA方法,FiS-VLA 在仿真任务中提升了 8% 的平均成功率,在真实环境下提升了 11%,并实现了 117.7 Hz 的控制频率(动作块大小为8)。
640-70

首个“ 异构输入+异步频率”双系统VLA模型,

领跑同行

由于系统2与系统1在职责上存在根本差异:

系统2负责理解,提取任务语义,节奏偏慢;系统1负责执行,生成高频控制动作,节奏极快。因此,FiS-VLA对这两个系统进行了专门设计:它们接收不同模态的输入,并以异步的频率运行。

系统2处理语言指令和2D图像,系统1处理机器人状态、2D图像和3D点云。为了处理3D点云数据,研究者设计了一个轻量级的3D tokenizer。它可以把复杂的空间信息压缩成高维token,并通过视觉编码器提取局部几何特征。这一做法不仅高效,还让系统1拥有敏锐的空间感知能力。

在系统运行节奏上,FiS-VLA采用异步频率设计。系统2慢慢思考,系统1快快执行。比如系统2每跑一次,系统1可以连续运行4次。这种机制让推理不会成为瓶颈,而动作响应也足够及时。

两套系统虽任务不同,但运行逻辑连贯、数据互通。系统1使用系统2的中间语义表示作为指导,同时结合自身输入,实现高速精准的动作生成。

值得一提的是,快慢双系统融合正在成为VLA大模型领域的共识,但在异步架构的突破设计上,FiS-VLA目前仍是领跑同行。

训练秘诀:“双系统”协同训练,相辅相成

训练过程也很有讲究。

FiS-VLA的核心目标是生成精确且可执行的动作,因此特地采用了“双系统感知协同训练”策略:

对于执行模块(系统1)使用了扩散建模(diffusion modeling)中概率性与连续性的特点,通过向系统1的嵌入空间注入带噪动作作为潜在变量,来学习动作生成,具体如下:

给定初始动作序列ã,研究者在随机时间步τ ∼ U(1, T)(其中τ ∈ Z,T = 100)注入高斯噪声η ∼ N(0, I)。前向过程以闭式添加噪声:

640-31
其中βₜ为预定义调度表的噪声缩放因子。为训练系统1(π_{θ_f}),将学习过程建模为以下目标的优化问题:

640-32
其中c表示条件源,包含系统2提取的低频潜在特征和系统1的高频输入。由于系统1执行模块嵌入在系统2的VLM中,若仅针对扩散动作生成训练模型,可能导致其自回归推理能力灾难性遗忘。

因此,研究者提出联合训练目标,对于推理模块(系统2)保留其高维推理能力,采用自回归逐 token 预测的范式作为训练目标,生成离散的语言或动作,避免慢系统发生灾难性遗忘。

以离散动作为例:

640-33
其中D_t为离散动作词元总长度,â_i为第i个真实动作词元,P(â_i | context, θ)为LLM在输入上下文和参数θ(θ_f ⊆ θ)下的预测概率。最终整体训练目标为:

640-34
从上面可以看出,两个系统的目标不同,但训练是同步进行的。系统1学“怎么动”,系统2学“想清楚再动”。这种策略避免了模型遗忘系统2的推理能力,也让两个系统在统一模型中共同优化。

640-35
此外,在预训练阶段,研究者用到了超过86万条机器人任务轨迹,涵盖多个机器人平台。FiS-VLA主干采用的是参数量7B的LLaMA2大语言模型,视觉部分采用了SigLIP和DINOv2编码器,兼顾语义和空间表达。

接下来看效果。

效果喜人:仿真&真机成功率提升显著,

又快又强!

在RLBench仿真任务中,FiS-VLA在10个任务上取得了69%的平均成功率,明显优于CogACT(61%)和Pi0(55%)。尤其值得注意的是,FiS-VLA在10个任务中有8个任务表现优越,突显了其在动作生成方面的鲁棒性。

同时,在控制频率方面,FiS-VLA在动作块大小设为1的情况下达到了21.9 Hz的控制频率,运行速度是CogACT(9.8 Hz)的2倍以上,也比Pi0(13.8 Hz)快超过1.6倍。

640-72
为了更细致地验证模型设计,研究者进行了多轮消融实验。

首先测试了系统1在系统2中共享的Transformer块数量。结果显示,随着共享块数量的增加,操控性能逐步提升,并在使用两个块时趋于饱和。

然后考察系统1的输入模态。实验表明,机器人状态、2D图像、3D点云缺一不可。尤其是3D点云,在精细动作控制中发挥了关键作用。

他们还研究了系统运行频率的配比。系统2与系统1之间的异步运行频率比为1:4时,FiS-VLA取得了最佳性能,在慢速推理与快速动作生成之间达到了理想平衡。这验证了异步协调频率设计不仅提升了动作生成速率,同时也增加了传递给执行模块的观察信息的丰富度。

640-71
为了进一步提升控制效率,FiS-VLA还引入了“动作分块”机制。即每次预测多个连续动作,而不是逐步推理。这样做能降低误差积累风险,同时提升动作连续性。

结果表明,在动作块设置为8的情况下,模型成功率保持稳定,而控制频率则飙升至117.7Hz。机器人行为更加流畅,决策更少、执行更稳。

真机测试同样不负众望。

研究团队在AgileX和AlphaBot两个双臂机器人平台上分别设计了8项任务,如“擦黑板”、“倒水”、“折叠毛巾”等。FiS-VLA成功率分别达到68%和74%,比Pi0模型提升超过10个百分点。

640-37

泛化能力:应对未知,稳如泰山

更难得的是,FiS-VLA在泛化任务中表现依旧稳健。无论是未见过的新物体、复杂背景干扰,还是光照条件变化,它都能保持50%以上的成功率。而其他模型则普遍出现性能大幅下滑。

640-36
这背后正是快慢系统融合带来的好处:系统2能够理解语义,找到任务核心;系统1能够根据感知迅速反应。二者结合,使模型具备强泛化能力与鲁棒性。

目前FiS-VLA的结构仍是静态配置:Transformer共享层数、系统频率比都需提前设定。研究者计划在未来探索动态调参机制,让模型能根据任务复杂度和环境自动调整运行策略。

这种自适应机制将进一步释放FiS-VLA的潜力,让它更接近通用智能机器人的核心大脑。

总结来看,FiS-VLA不是对已有模型的简单优化,而是一种全新的架构思路。它打通了思考与行动、语义与物理、计划与执行之间的壁垒。

它不仅让机器人“会想”,更让它“快动”;不仅理解复杂任务,还能高频率完成。

如果说传统VLA是一个“慢热学霸”,那FiS-VLA就是一个“秒懂高手”:不仅聪明,还干脆利落。

这或许就是未来通用智能机器人的基础形态——既有认知大脑,又有灵巧身体,统一于同一个神经系统中。

论文链接: https://arxiv.org/pdf/2506.01953

项目主页: https://fast-in-slow.github.io/

代码链接: https://github.com/CHEN-H01/Fast-in-Slow

单位:港中文,北京大学、智平方,北京智源研究院

-End-

640-38
智平方(深圳)科技有限公司成立于2023年4月,是世界领先的具身智能机器人企业,由国家级创新领军人才郭彦东博士创立,核心团队汇聚顶级AI、机器人和规模量产领域的顶尖专家,专注研发通用智能具身终端,为千行百业、千家万户提供全场景、高可靠的服务。
公司原创研发了全球首个全域全身具身大模型Alpha Brain,具备全球领先的全空间智能,全身大模型控制,与复杂任务推理能力,并围绕Alpha Brain正向设计,研发了AlphaBot(爱宝)系列机器人。
智平方的AlphaBot(爱宝)系列机器人凭借聪明的大脑承接国家攻坚任务、并作为唯一机器人企业获得2024年国家创业创新大奖。公司成立后获得多支千亿深口袋基金持续加注。
智平方在工业服务、生物科技、公共服务三大场景均与头部标杆客户达成战略级深入合作,商业闭环初步达成,为客户提供智能化服务,打造新质生产力,赋能智慧新生活。

相关文章