LeRobot 0.7 让机器人途中换任务:指令切换会发生什么
北京时间 2026 年 11 月 6 日凌晨,开源机器人框架 LeRobot 发布 0.7.0,将交互式执行会话纳入新版能力。对调试机械臂、视觉语言动作模型和机器人应用的开发者,它提供了一个更方便的入口:模型保持加载,操作员可以继续换任务、提问和观察。本文用桌面整理场景,解释它省下哪部分等待,以及新指令进入后,旧动作到底怎样处理。来源:0.7.0 发行说明

原创 AI 概念插画,机械臂、路线与暂停标记均为示意,不代表真实硬件、产品界面或测试结果。
[配图建议:桌面机械臂旁,一条旧任务路线停在中途,新指令指向另一只收纳盘 + 哑光模型与柔和棚拍结合的科技杂志风格。]
一、把“一次演示”变成一个能继续操作的会话
假设机械臂正在把红色积木放进左侧盒子,你想改成右侧盒子。过去,重新指定任务可能意味着结束进程,再连接硬件、加载模型和处理器。对于大体积策略模型,实验中反复等待启动,往往比输入新指令更费时间。
交互式会话把这两部分拆开:昂贵的连接与加载保持,任务和执行片段可以重新开始。这也是交互功能原始开发提案明确提出的动机。相关 PR 在 8 月 13 日已经合并;这次新闻是 0.7.0 正式版发布与配套说明,不能把所有实现都算作今天首次出现。来源:交互会话开发提案
新版文档中的入口是 lerobot-rollout 加上 --interactive=true。会话先准备硬件和策略,等待操作员开始;随后可以切换子任务、查询当前画面,或交出一个高层目标。首要收益是调试循环更短:一次加载后,连续验证几种表达和几个场景。来源:交互会话说明
这改变了实验组织方式。与其只保存一段“成功抓取”的录像,不如连续记录:原任务是什么,什么时候改口,系统接收了什么,接下来发生什么。开发者由此能把指令变化与动作变化放在同一条时间线上讨论。
[配图建议:上方画反复连接和加载的长流程,下方画一次加载后接续多个任务片段 + 简洁时间轴插画,不标未经测试的节省比例。]
二、能换指令、能回答问题、能规划,是三个层次
LeRobot 团队在 11 月 5 日的版本文章中,把新能力概括为让语言进入执行过程。除了给策略更换任务,还可以提出视觉问题,或者让系统围绕目标选择后续子任务。来源:版本介绍
但应用需要分清三个层次:
- 指定下一步。操作员说“把红色积木放进右盒”,底层策略需要已经具备相应的语言条件控制能力。
- 询问眼前状态。“桌上还剩几块积木?”需要能从视觉输入产生文字回答的能力。
- 安排后续步骤。“整理桌面”需要把宽泛目标拆成策略能够执行的具体指令。
第二、第三层可以由具备文字生成能力的策略承担,也可以接外部视觉语言模型。外部规划器负责看图、回答或挑选子任务,动作策略仍负责把指令变成机械臂动作。
这里最容易高估的是能力迁移:给一个只学过积木搬运的策略接上大模型,并不会自动让它学会开抽屉。规划器能提出一句话,不等于执行策略能完成这句话。
对产品团队,更实用的设计是先列出少量已经验证的动作,再让高层规划从中选择。比如先支持“取红块”“放左盒”“放右盒”,再研究如何组合;这样一旦失败,可以分别检查视觉判断、子任务选择和动作执行,不必把整次失败都归给“机器人没听懂”。
[配图建议:目标“整理桌面”经视觉语言规划器变成一个子任务,再传给动作策略与机械臂 + 三层结构图,明确每层输入输出。]
三、新指令进来,动作可能先停一下
交互最重要的工程细节,是已经算好的旧动作如何处理。机器人经常一次预测一段动作;新指令到来时,部分动作可能已经排队,另一些仍在推理中。若只改任务文字,旧结果仍可能继续执行。
0.7 文档说明,切换发生在推理期间时,系统会丢弃过期结果;在支持本地保持的机器人上,还会让控制循环确认保持状态,再依据新观察请求新动作。因此,任务切换可能出现暂停,不能把它理解为任何条件下都平滑衔接。切换发生在两次请求之间时,也可能保留已经接受的动作。来源:任务切换语义
外部规划也有自己的节奏。高层模型在别处算下一步,并不意味着机器人控制循环可以无限等待。远程推理文档把完整往返时间分为编码、网络、排队、推理与解码;如果现有动作播放完了,还没有新动作,就要进入有时限的等待或终止流程。来源:远程推理与等待行为
所以验收时应分别观察“系统收到新指令”和“新动作真正开始”。两者之间的间隔,才是操作员感受到的改口成本。只测模型吐出一句子任务有多快,会漏掉队列失效、重新观察和执行端等待。
还要分清软件保持和物理停止。文档中的保持会继续发送最近应用的目标,机械臂可能仍向该位置收敛;它不保证夹持物保持不变,也不等同于硬件急停。这一差别直接影响你怎样布置实验、记录结果和设计操作入口。
[配图建议:新指令到达后,旧预测被划去,控制端确认保持,再采集新观察并生成动作 + 带暂停节点的流程图,避免连续无停顿的箭头暗示。]
四、第一次验证,先只改一个已经会做的任务
已经有可用机械臂、相机配置和经过验证的策略的团队,最容易判断这次更新有没有价值。还没有这些基础的读者,可以先读流程和样例;为了体验聊天入口,直接购买硬件或训练大模型,并不是必要的第一步。
老项目升级前要留一份环境记录。0.7.0 的发行说明列有破坏性变化:原有异步推理入口被远程推理接口替代,硬件依赖与训练配置也有调整。先在独立环境验证现有任务能否复现,再增加交互变量,更容易辨别问题来自升级还是新用法。来源:升级注意事项
第一次可以只做下列三组对照。这是本文建议的验收方案,不是官方测试成绩:
| 场景 | 要记录的证据 | 可以回答的问题 |
|---|---|---|
| 固定指令完成搬运 | 目标、动作与完成结果 | 原有能力是否仍正常 |
| 同一场景改放另一只盒子 | 指令接收、旧动作结束、新动作开始的时间 | 切换等待是否可接受 |
| 给出策略未学过的任务 | 系统反馈、人工接管与最终状态 | 产品怎样呈现能力边界 |
固定物体摆放、相机和策略版本,每次只改任务表达。若要加入外部规划器,再单独比较它选择的子任务和执行结果;若调用托管模型,把图像传输路径、请求费用和往返延迟一并记下。
观察结果后再决定投入方向:加载等待明显影响效率,就优先用会话减少重启;视觉判断常错,就先改观察与规划;动作本身不稳定,则先补训练或控制验证。新入口的价值,需要落在一个具体瓶颈上。
[配图建议:同一桌面场景的三张实验记录卡,对应固定任务、途中改口、超出已学能力 + 实验笔记风格,全部留作记录框而非虚构成绩。]
今天先画出一次“改口”经过的路径
LeRobot 0.7 值得关注的,是把持续交互接进已经加载的机器人执行环境。已有策略和硬件的团队,可以先验证一次明确的子任务切换;仍在选型的读者,先弄清语言判断、动作预测和物理执行各由谁负责。今天就选一句你希望途中修改的指令,画出它到新动作之间的步骤:最值得优化的等待,可能就藏在其中。你的应用更需要人工随时改口,还是高层规划器自动安排下一步?
[配图建议:一张纸上依次画出指令、队列、观察和机械臂,圈出待测的等待位置 + 手绘技术笔记风格。]
资料核查截至北京时间 2026 年 11 月 6 日。GitHub 版本发布时间为 11 月 5 日 17:13 UTC,对应北京时间 11 月 6 日 01:13;版本博客标注 11 月 5 日。本文为一手资料分析,未安装或操作真实机器人,未做性能实测;封面为原创 AI 概念图。