开云体育LaST-R1仍保持较小性能下跌-开云(中国)kaiyun体育网址-登录入口

允中 发自 凹非寺

量子位 | 公众号 QbitAI

机器东谈主拉个拉链，到底需不需要“脑子”？

往时几年，从OpenVLA到π0、π0.5，具身大模子曾经能让机器东谈主把指示和动作连得像模像样。

但一朝包的位置挪了几厘米，或者光照暗了小数，它们不时就会“大脑宕机”。

究其原因，是因为这些机器东谈主大多在玩“连连看”：看到不雅察终结，平直输搬动作。

它们仅仅记取了轨迹，却并不睬解背后的物理逻辑。

面前，一种让机器东谈主“先想昭彰，再踏实行动”的新范式来了。

由至简能源、北大、港汉文连接建议的LaST-R1，初次将隐空间物理推理塞进了强化学习的闭环。

同期，LaST-R1当作LaST₀基座模子的物理天下后磨砺范式，LaST₀创举面向机器东谈主的隐空间物遐想维链推理，并已中稿ICML2026 Spotlight（top 2.2%）。

它的发达存多夸张？

仿真满分级别：在LIBERO benchmark上，仅靠1条轨迹预热，平均得手率就冲到了99.9%；真机性能腾飞：在简直捏取、旋转等复杂任务中，比面前最强的SOTA模子π0.5还要进步22.5%。强化“物理推理”：即便换了物体、布景或光照，它依然能稳如老狗，不再是单纯的动作复刻，而是实在学会了在隐空间里进行“物遐想考”。

这个让机器东谈主长出“物理脑”的LaST-R1，到底是怎么真金不怕火成的？

阿谁让环境反应同期优化“怎么想”和“怎么动”的LAPO算法又藏着什么巧妙？

咱们顺着这篇论文，深挖了一下这套能让机器东谈主“三想此后行”的后磨砺黑科技。

具身大模子的隐形天花板：只会师法，不懂物理

尽管从OpenVLA到π0.5，具身大模子曾经完成了图像、谈话与动作的初步对皆。

但在骨子落地中，工业界发现了一个致命的“幻觉”：

能师法，不等于能在物理天下泛化。

这就导致了极差的泛化性。

打个比喻，机器东谈主可能记取了100种拉拉链的轨迹，但惟有拉链的角度偏转15度，或者光照发生变化，单纯靠“不雅察→动作”的端到端映射就会失效。

中枢问题在于，现存的VLA模子衰退一个“想考”的中间层——即让机器东谈主在行动之前，对物理天下进行推理。

往时，学术界曾经尝试引入想维链（CoT）来贬责推理问题。

但关于机器东谈主操作而言，谈话推理不时太慢且颗粒度太粗，你很难用翰墨精确描写“拉链咬合时的轻飘阻力反应”。

LaST-R1的中枢冲突，便是毁掉了低效的谈话CoT，转而在隐空间（Latent Space）中构建物理推理链。

它不再让机器东谈主看到图像就“闭眼”搬动作，而是先在隐性空间里建模场景的结构、物体的物理筹商以及异日的动态变化。

然则，要让机器东谈主学会这种“想考”，仅靠静态的师法学习（SFT）是不够的。

面前的强化学习（RL）才气大多像是一个只看终结的严厉证实注解：它只告诉机器东谈主动作成没得手（优化Action Space），却无法教唆机器东谈主“刚才那下你是怎么想的”。

针对这一痛点，该团队建议的LAPO（Latent-to-Action Policy Optimization）算法，认真将“想考历程”拉进了强化学习的优化闭环。

它让环境反应不仅优化动作，也优化机器东谈主行动前的“物遐想考”。

不单练“手”更要修“脑”：如何让机器东谈主强化模子的物理推理？

近日，至简能源、香港汉文大学、北京大学筹商机学院多媒体信息处理国度重心实验室，建议了一种面向机器东谈主操作的自顺应物理隐空间推理强化学习框架——

LaST-R1（Reinforcing Robotic Manipulation via Adaptive Physical Latent Reasoning）。

它但愿通过强化学习后磨砺，让具身大模子不仅学会生成动作，也学会在行动前，进行面向物理天下的隐空间推理。

△LaST-R1概览

(a) 不同于仅严格优化动作的 vanilla RL 基线才气，(b) 咱们的才气哄骗 LAPO 连接优化自顺应 latent CoT 与物理试验历程。通过勾通剖析推理与适度，LaST-R1 竣事了(c) 更快的不停速率、更高的仿真得手率，以及 (d) 更强的简直天下泛化能力。

与以往主要优化action space（动作空间，即机器东谈主悉数可试验指示的荟萃）的具身大模子RL不同，LaST-R1的中枢想想是：

机器东谈主不应只从图像和指示平直展望下一步动作，而应先在latent space（隐空间，不错清楚为机器东谈主大脑里的“隐性剖析层”）中清楚场景结构、物体筹商和物理动态，再生成更踏实、精确的动作。

换句话说：

LaST-R1不单优化机器东谈主的“手”，也优化它的“脑”。

具体来看，LaST-R1构建了一个面向latent reasoning-before-acting计谋的强化学习后磨砺框架，中枢由三步构成：

1、物理隐空间推理建模（Physical Latent Reasoning）

传统具身大模子不时平直从observation生成action，动作前衰退可建模、可优化的物理推理历程。LaST-R1在模子推理中引入latent CoT：生成动作前，先在latent space中建模面前场景、物体筹商和异日物理动态。比较谈话推理，latent reasoning更合适承载连气儿、高频、难以谈话化的物理信息。

2、隐空间推理与动作生成的连接强化优化（Latent-to-Action Policy Optimization）

传统具身大模子RL大都只优化动作终结：哪个action带来更高reward，就强化哪个action。LaST-R1建议LAPO，把环境奖励同期作用于latent reasoning和action generation：得手轨迹不仅强化正确动作，也强化动作之前的“好推理”；失败轨迹不单修正动作终结，也反向退换里面物理推理空间。让reward实在塑造动作背后的reasoning process。

3、自顺应latent CoT推理机制（Adaptive Latent CoT）

不同任务方案需要不同长度的想考。LaST-R1引入adaptive latent CoT：节略景况下，模子不错快速终端推理并试验；拉拉链、擦花瓶、拧瓶盖等复杂构兵式操作，则分派更长reasoning horizon。在交互中学会：什么本事该多想，什么本事该坐窝试验。

LaST-R1改造的是具身大模子后磨砺的优化对象：从只优化动作，转向同期优化动作背后的物理推理。

商量团队在仿真和真机环境中都进行了系统考据。

在仿真LIBERO benchmark上，LaST-R1仅依赖1条轨迹完成warm-up，随后通过在线RL优化，最终获取99.9%平均得手率，并比较Action-Only+PPO展现出更快不停和更高最终性能。

在真机部署中，LaST-R1仅使用30条轨迹warm-up，再通过RL后磨砺将平均得手率从52.5%升迁到93.75%，显赫卓越使用100条各人轨迹的π0.5（71.25%）。

更难题的是，在简直扰动条款下，LaST-R1仍保持较小性能下跌，证实其学习到的不是单一场景中的动作轨迹，而是更可转移的空间语义和物理动态清楚。

上述终结意味着，具身大模子强化学习的重心正在发生变化——

机器东谈主不再仅仅通过RL学会更练习地试验动作，而是初始通过RL学会更合理地进行物理推理。

LaST-R1的意料，在于它建议了一种新的具身大模子后磨砺范式，能够让环境反应同期塑造机器东谈主的“想考方式”和“行动方式”。

一朝隐空间推理从师法学习的“静态剧本”进化为强化学习的“演进中枢”，机器东谈主便能解脱对演示数据的刻板复现。

在继续的交互试错中，它们初始强化模子的物理推理。

这简略亦然具身大模子从“会师法”走向“会顺应”的重要一步。

LaST-R1框架概述

△LaST-R1框架

(a) LaST-R1 是一个调节模子，以视觉不雅测停火话指示当作输入，其中视觉基础模子提供具有物理语义管束的 latent targets，用于在动作生成前疏浚 latent CoT 推理。(b) 在 LAPO 强化学习后磨砺历程中，LaST-R1 以闭环方式与环境交互，并将 latents、actions 和 rewards 存储到 rollout buffer 中，以连接重塑 latent space 与 action space。进一时局，模子通过基于展望概率学习生成 token，竣事自顺应推理，从而在不同任务中动态退换推理长度。(c) 通过 LAPO，LaST-R1 能够在各类化任务中酿成自顺应推理长度，从而升迁泛化能力与试验踏实性。

悉数这个词LaST-R1框架不错轮廓为三个重要阶段：先推理、再优化、动态决定想多久。

第一阶段：行动前的隐空间推理（Latent Reasoning-before-Acting）

给定面前视觉不雅测停火话指示，LaST-R1不会平直生成动作，而是先生成一段隐空间推理镶嵌（latent reasoning embeddings），当作行动前的“隐空间物遐想考”，用于建模物体筹商、异日景况和操作动态。

随后，模子再基于这些隐空间推理 (latent reasoning) 并行生成action tokens。

这一步贬责的是：如何让动作生成成立在物理推理之上。

第二阶段：LAPO同期优化隐空间（latent）和动作（action）

LaST-R1的核默算法是LAPO（隐空间到动作计谋优化，Latent-to-Action Policy Optimization）。

传统具身大模子RL主要优化action，而LAPO将latent reasoning也纳入强化学习指标，让环境奖励同期塑造“怎么想”和“怎么动”。

论文中最重要的是latent-level ratio surrogate：

其中，

默示rollout时旧计营生成的latent sequence，

默示面前计谋再行生成的latent sequence，

适度latent散播宽度。

直不雅来说，要是某条轨迹得手，LaST-R1不仅会强化对应动作，也会强化动作之前产生的“好推理”。

随后，LAPO将latent和action放进调节的clipped objective中：

其中，

默示同期优化latent reasoning和action generation，

是advantage estimate，

用于截止计谋更新幅度。

最终，总磨砺指标为：

这意味着：LaST-R1的RL后磨砺不仅仅优化机器东谈主的动作终结，也在优化行动前的物理推理历程。

第三阶段：Adaptive Latent CoT

不同任务需要不同的想考长度。

因此，LaST-R1引入Adaptive Latent CoT，通过token让模子动态决定何时终端latent reasoning并插足action generation。

这是为了让机器东谈主把柄任务难度自顺应分派推理预算。

也便是说，LaST-R1不是让机器东谈主每一步都固定想相通久，而是让它学会：节略景况快速试验，复杂景况多想一步。

为了优化这个终端标志符token的自顺应生成，磨砺指标需要进一步加上L_end。

实验终结分析

1、仿简直验：LIBERO 99.9%

LaST-R1在LIBERO benchmark上进行系统评估，障翳Spatial、Object、Goal 和Long四个任务套件。实验在one-shot SFT warm-up建树下进行，随后插足在线RL后磨砺。

终结涌现，LaST-R1在四个suite上区分达到99.8%/100.0%/100.0%/99.8%，平均得手率达到99.9%，卓越OpenVLA-OFT、π0.5、SimpleVLA-RL和πRL等强基线。

比较只优化动作空间的Action-Only + PPO，LaST-R1 + LAPO不停更快、最终得手率更高，证实latent reasoning与action generation的连接优化能够为RL提供更踏实的“剖析缓冲区”，从而升迁复杂长程操作能力。

2、真机实验：从52.5%到93.75%

LaST-R1在四个简直操作任务上进行测试，障翳单臂高精度插入、双臂协同、构兵式擦抹和连气儿旋转等复杂物理交互。

为了隆起RL后磨砺终结，论文将其与SOTA模子π0.5对比：π0.5使用100条各人轨迹进行SFT，而LaST-R1仅使用30条轨迹warm-up，并通过RL后磨砺赓续优化。

终结涌现，LaST-R1将真机平均得手率从warmup后的52.5%升迁到93.75%，显赫卓越π0.5的71.25%，证实其上风不仅存在于仿真环境，也能转移到简直物理交互中，并酿成更踏实的试验计谋。

3、泛化实验：换物体、换布景、换光照，依然稳

在LIBERO OOD建树中，商量团队采选9个seen tasks进行在线RL，并保留1个held-out task作念泛化测试。

终结涌现，Action-Only + PPO容易出现性能停滞致使退化，而LaST-R1 + LAPO能在OOD tasks上持续升迁，证实latent reasoning能匡助模子学到更可转移的空间语义和物理动态。

在简直天下中，论文进一步测试了unseen object、background variation和lighting condition三类扰动。

比较SFT π0.5，LaST-R1在这些变化下保持更小的性能下跌，证实它并不是节略记取磨砺场景中的动作轨迹，而是酿成了更鲁棒的物理推理与动作生成能力。

结语：具身大模子不仅仅要会行动，而是初始学会“想考推理”

LaST-R1的意料，不仅仅把LIBERO平均得手率推到99.9%，也不仅仅让真机任务得手率升迁到93.75%。

更难题的是，它建议了一种新的具身大模子后磨砺范式：强化学习不应该只优化机器东谈主的动作，也应该优化动作背后的物理推理历程。

往时，咱们更热心理器东谈主能不成生成正确动作。

面前，LaST-R1在此基础上进一步追问：机器东谈主能不成在行动前进行正确的物理推理？

通过LAPO，环境reward不错平直塑造latent reasoning space；

通过adaptive latent CoT，机器东谈主不错把柄任务难度动态退换想考长度。

这意味着，机器东谈主不再仅仅复现演示数据中的动作轨迹，而是在交互中逐步强化模子的物理推理。

从这个角度看，LaST-R1让具身大模子强化学习从“看见就动”走向“先想昭彰，再踏实行动”。

当具身大模子初始学会在latent space中想考，机器东谈主距离实在的自主操作，也许又近了一步。

论文贯穿: https://arxiv.org/abs/2604.28192

技俩主页: https://siriyep.github.io/last-r1/

代码贯穿：https://github.com/CHEN-H01/LaST-R1