ToyBlocks 开源机器人评测，帮你分清规划与动作哪里出错

2026 年 11 月 6 日，Ai2 介绍并开放 ToyBlocks，把机器人数据生成、训练与评测放进一个受控的桌面积木环境。对研究视觉语言动作模型、开发机器人任务系统的团队，它提供了拆开检查失败环节的工具。本文从一次叠积木任务出发，解释怎样区分高层决策与低层执行问题，以及该如何理解仿真成绩和真实机器人证据。Ai2 发布文章

[配图建议：机械臂面对积木，纸上计划与实际抓取通过细线连接 + 淡紫与木色的科学杂志插画。]

一、同样叠错一次，背后可能是不同问题

机器人把字母积木叠反，原因可能出现在好几个位置。它可能看错了字母，选错了目标，也可能选对积木后没有完成预期动作。最后一张失败画面，很难直接告诉开发者该补哪类数据、改哪个模型。

ToyBlocks 把研究范围限定在机械臂操作桌面积木，围绕抓取、放置、翻转、旋转等技能构造任务。框架基于 IsaacSim／IsaacLab，能够自动生成示范数据，并将数据记录为 LeRobot 格式，衔接训练和闭环评测。项目仓库

受控环境的价值，在于可以明确改变什么、保留什么。 比较两种策略时，可以沿用任务目标和初始场景。研究位置泛化时，则可以保留任务，改变积木出现的区域。每次变化都有明确对象，结果差异才更容易解释。

这也给数据工作提出了更具体的问题。如果模型在桌面某一区域失败，团队可以检查训练示范覆盖了哪些位置，再决定补充什么。单纯增加数据量，很难说明究竟补到了哪个缺口。

主仓库采用 Apache 2.0 许可证，子模块与下载资产各有许可约定。准备复用时，应按代码、模型、数据和环境素材分别核对使用条件。仓库许可说明

[配图建议：同一叠积木任务只改变摆放位置，旁边保留相同目标与模型标记 + 对照实验式信息图。]

二、把“下一步做什么”和“手臂怎样动”拆开

ToyBlocks 展示的分层系统由两个部分配合。高层 Molmo 2 观察图像与目标，选择下一项技能及操作位置。低层 ManiFlow 根据指令和观测控制机械臂，完成相应动作。分层训练与评测说明

设想要把 A、B、C 按指定顺序叠起来。下面是解释性场景。高层先判断哪块积木应该移到哪里，低层完成靠近、抓取和放置。动作结束后，系统继续观察，再决定下一步。

当任务失败时，ToyBlocks 可以替换其中一个层级，形成几组诊断对照。这里的 oracle 指利用规划或已知任务信息提供参考决策、参考执行的组件。

官方评测还支持回放数据集中的专家动作，检查数据、仿真和评测设置能否对应起来。这一步可以帮助排查基础环境造成的问题。评测模式与回放

如果换成参考规划后表现改善，可以优先检查高层输出及其接口。 如果给出合适指令后仍反复失败，就要继续看执行模型、观测和动作定义。实际诊断还要保留目标点、调用时机与失败视频，避免只凭一个总分决定重训哪一层。

分层对照也有代价。不同执行组件可能改变任务节奏，固定场景和超时设置就格外重要。记录每组到底替换了什么，才能把结果转化为下一轮实验。

[配图建议：完整系统、参考高层、参考低层三条路径并排，突出唯一被替换的部分 + 清晰的工程对照图。]

三、模型没换，执行方式和测试场景也会改变成绩

Molmo2-4B-tb 模型卡给出了一组闭环仿真结果。简单任务中，字母已经可见且方向正确，主要需要抓取和放置。对训练中见过的积木，高层搭配运动规划技能时成功率为 97.5%，搭配 ManiFlow 时为 55.5%。换成留出的未见积木，两组分别为 81.0% 和 44.5%，每组评估为 200 个任务回合。模型卡评测条件与结果

这组结果适合用来观察组件配合。高层模型保持相同，低层执行改变后，整项任务表现随之变化。它提示团队，比较高层模型时，需要同时记录下面接的是哪套执行技能。

测试难度也要保留。字母可见、字母需要转正、字母起初被遮住，会增加不同的感知与操作要求。模型卡将它们划成不同测试集，读者可以沿着同一条件比较。任务难度划分

真实机器人验证还需要另外看样本与装置。官方发布文章报告，在字母可见且直立的容易场景中，Molmo 2 与 ManiFlow 的完整拼字任务完成了 30 次中的 15 次，使用 Franka FR3 与 Robotiq 夹爪。作者同时指出，需要更多试验来建立跨任务的统计信心。真实机器人实验说明

对准备做产品原型的团队，可以把这些条件转成自己的验收字段。积木是否见过、目标字母是否可见、初始位置如何采样、何时算任务完成，都应和成功率一起保存。

一个任务回合完成了多少目标，与一条动作指令执行成功，是不同统计单位。 先对齐分母，再谈组件表现，才能决定下一步该改规划、动作，还是测试设置。

[配图建议：简单、需转正、需搜索三种积木起始状态，旁边写明任务条件和样本数 + 科学编辑图解，数字标注为官方实验。]

四、第一次研究，从固定场景的小对照开始

官方安装路径要求 Linux、NVIDIA GPU，以及支持 CUDA 12.8 的驱动，文档列出驱动 570 或更新版本，并使用 Python 3.11。资产、子模块和所选工作流依赖都要准备齐全。安装与环境检查

准备研究时，可以先选一项短任务和一小组固定初始场景，按下面顺序留下记录。

1. 写明完成条件。 积木顺序、姿态、稳定状态与超时都提前约定，保留场景或数据集回合的标识。
2. 先验证回放。 观察已有专家动作在当前环境中是否表现合理，检查仿真与记录能否对应。
3. 再做层级替换。 用同一组场景比较完整系统与参考组件对照，记录首个发生偏差的步骤。
4. 整理下一轮数据。 将失败位置、目标点和动作结果分类，提出一项可验证的改动，再回到相同测试集。

这是本文建议的试点方式。团队可以把失败记录分成目标选择、技能执行和评测设置三类，每类都附一段视频或一份状态记录，便于复查。

还要给重复运行留出空间。官方文档说明，GPU 并行物理仿真主要追求统计上的可重复，同样设置下的单条轨迹仍可能变化。比较时应观察多个回合的汇总，调试某一条失败则可以使用回放或单环境运行。可重复性与诊断说明

适合从这里开始的，是已经准备研究仿真与机器人策略的团队。科技读者也可以用这套思路读演示视频，观察任务是否展示了中间决策、失败片段和明确条件。

[配图建议：实验记录页列出场景编号、参考组件、首个错误步骤和复测结果 + 淡紫色工程笔记插画。]

今天先给一次失败标出发生位置

ToyBlocks 把分层策略、参考组件与受控场景放到同一套评测流程里，让机器人失败有了更具体的检查入口。今天可以先选一段叠积木过程，记录目标选择、动作执行和完成判断各发生在何时。

如果只能再做一组对照，你会先替换规划，还是先验证动作？把这个选择及预期结果写下来，下一次实验就有了明确的问题。

[配图建议：失败过程中的一帧被圈出，并连接到下一次对照实验便笺 + 简洁的科学专栏收尾图。]

资料核查于 2026 年 11 月 8 日，Asia/Shanghai。本文依据官方发布文章、仓库、文档和模型卡分析，尚未在本站环境安装运行。实验数字均为官方结果，叠积木场景与试点步骤为作者解释性建议，封面为 AI 原创概念插画。