试想一下,让机器人既像“学霸”一样深思熟虑理解任务,又像“运动员”一样快速精准执行?难!
FiS-VLA模型结构:
“快系统”嵌入“慢系统”,实现“即知即行”
受心理学家丹尼尔•卡尼曼大脑快慢双系统理论的启发,业界把“双系统”设计引入VLA大模型,利用基于VLM的慢系统2模块处理高级推理,并使用独立的快系统1动作模块负责实时控制。
但问题来了,现有的设计是将两个系统保持为独立模块,限制了快系统1充分利用慢系统2的丰富预训练知识,即系统1这个“运动员”很难充分吸收系统2“学霸”的渊博知识。
为了解决这个问题,智平方与香港中文大学、北京大学和北京智源研究院在联合发表的论文《Fast in slow:Dual-System Foundation Model Unifying Fast Manipulation within Slow Reasoning》中创新性地提出了Fast-in-Slow(FiS-VLA),即一个统一的双系统VLA模型。它通过将慢系统2最后几层的 Transformer 模块重新构建为一个高效的执行模块,用作快系统1,从而在一个模型中实现了快慢系统融合。

从此,系统1不再是“门外汉”,它直接继承了VLM的预训练知识,能无缝理解系统2的“思考结果”(中间层特征),同时自身设计保证其能高速运行。
考虑到 FiS-VLA 中两个系统在角色上的根本差异,研究者引入异构模态输入与异步运行频率策略,使得模型既能实现快速反应,也具备精细操控能力。
此外,为提升两个系统之间的协调性,研究者提出了一种双系统感知协同训练策略(dual-aware co-training strategy):一方面为系统1注入动作生成能力,另一方面保留系统2的上下文推理能力。
这样就有效解决了传统VLA模型执行频率低、推理与动作割裂的问题,真正做到“谋动并行”。

在模型评估中,相比于现有的SOTA VLA方法,FiS-VLA 在仿真任务中提升了 8% 的平均成功率,在真实环境下提升了 11%,并实现了 117.7 Hz 的控制频率(动作块大小为8)。

首个“ 异构输入+异步频率”双系统VLA模型,
领跑同行
系统2负责理解,提取任务语义,节奏偏慢;系统1负责执行,生成高频控制动作,节奏极快。因此,FiS-VLA对这两个系统进行了专门设计:它们接收不同模态的输入,并以异步的频率运行。
系统2处理语言指令和2D图像,系统1处理机器人状态、2D图像和3D点云。为了处理3D点云数据,研究者设计了一个轻量级的3D tokenizer。它可以把复杂的空间信息压缩成高维token,并通过视觉编码器提取局部几何特征。这一做法不仅高效,还让系统1拥有敏锐的空间感知能力。
在系统运行节奏上,FiS-VLA采用异步频率设计。系统2慢慢思考,系统1快快执行。比如系统2每跑一次,系统1可以连续运行4次。这种机制让推理不会成为瓶颈,而动作响应也足够及时。
两套系统虽任务不同,但运行逻辑连贯、数据互通。系统1使用系统2的中间语义表示作为指导,同时结合自身输入,实现高速精准的动作生成。
值得一提的是,快慢双系统融合正在成为VLA大模型领域的共识,但在异步架构的突破设计上,FiS-VLA目前仍是领跑同行。
训练秘诀:“双系统”协同训练,相辅相成
FiS-VLA的核心目标是生成精确且可执行的动作,因此特地采用了“双系统感知协同训练”策略:
对于执行模块(系统1)使用了扩散建模(diffusion modeling)中概率性与连续性的特点,通过向系统1的嵌入空间注入带噪动作作为潜在变量,来学习动作生成,具体如下:
给定初始动作序列ã,研究者在随机时间步τ ∼ U(1, T)(其中τ ∈ Z,T = 100)注入高斯噪声η ∼ N(0, I)。前向过程以闭式添加噪声:

因此,研究者提出联合训练目标,对于推理模块(系统2)保留其高维推理能力,采用自回归逐 token 预测的范式作为训练目标,生成离散的语言或动作,避免慢系统发生灾难性遗忘。
以离散动作为例:



接下来看效果。
效果喜人:仿真&真机成功率提升显著,
又快又强!
同时,在控制频率方面,FiS-VLA在动作块大小设为1的情况下达到了21.9 Hz的控制频率,运行速度是CogACT(9.8 Hz)的2倍以上,也比Pi0(13.8 Hz)快超过1.6倍。

首先测试了系统1在系统2中共享的Transformer块数量。结果显示,随着共享块数量的增加,操控性能逐步提升,并在使用两个块时趋于饱和。
然后考察系统1的输入模态。实验表明,机器人状态、2D图像、3D点云缺一不可。尤其是3D点云,在精细动作控制中发挥了关键作用。
他们还研究了系统运行频率的配比。系统2与系统1之间的异步运行频率比为1:4时,FiS-VLA取得了最佳性能,在慢速推理与快速动作生成之间达到了理想平衡。这验证了异步协调频率设计不仅提升了动作生成速率,同时也增加了传递给执行模块的观察信息的丰富度。

结果表明,在动作块设置为8的情况下,模型成功率保持稳定,而控制频率则飙升至117.7Hz。机器人行为更加流畅,决策更少、执行更稳。
真机测试同样不负众望。
研究团队在AgileX和AlphaBot两个双臂机器人平台上分别设计了8项任务,如“擦黑板”、“倒水”、“折叠毛巾”等。FiS-VLA成功率分别达到68%和74%,比Pi0模型提升超过10个百分点。

泛化能力:应对未知,稳如泰山

目前FiS-VLA的结构仍是静态配置:Transformer共享层数、系统频率比都需提前设定。研究者计划在未来探索动态调参机制,让模型能根据任务复杂度和环境自动调整运行策略。
这种自适应机制将进一步释放FiS-VLA的潜力,让它更接近通用智能机器人的核心大脑。
总结来看,FiS-VLA不是对已有模型的简单优化,而是一种全新的架构思路。它打通了思考与行动、语义与物理、计划与执行之间的壁垒。
它不仅让机器人“会想”,更让它“快动”;不仅理解复杂任务,还能高频率完成。
如果说传统VLA是一个“慢热学霸”,那FiS-VLA就是一个“秒懂高手”:不仅聪明,还干脆利落。
这或许就是未来通用智能机器人的基础形态——既有认知大脑,又有灵巧身体,统一于同一个神经系统中。
论文链接: https://arxiv.org/pdf/2506.01953
项目主页: https://fast-in-slow.github.io/
代码链接: https://github.com/CHEN-H01/Fast-in-Slow
单位:港中文,北京大学、智平方,北京智源研究院
-End-







