starRoboHarness

starRoboHarness

Jiehui HuangHaowen YanYuxin ChenZixuan WangSenqiao YangXia BinPengguang ChenJinhui YeShu LiuJiaya Jia

面向策略与推理器协同控制的可靠评测与效率分析

持续开发中
01 · 摘要

在推理决策与机器人动作之间建立可审计的边界

starRoboHarness 将策略提案绑定到精确观测,在执行前审查推理器决策,并记录实际动作确认和环境原生终止结果。策略、推理器与环境通过适配器接入。

在同一批 50 个 RoboDojo 场景布局上,两组历史 QwenPI_v3 + GPT-6 Astra 共成功 17/50,纯 QwenPI_v3 成功 9/50;独立采集的纯 π0.5 面板成功 10/50。各批次采集条件不同,这些数字是描述性比较。π0.5 + Astra 的续跑目前只有 9 个取得原生终止凭据的案例,另有覆盖十个任务各一个布局的纯策略固定 15 步节奏对照。网页同时报告完成情况、部分得分、有效性与推理消耗。

关键词:机器人策略 · 多模态推理 · 混合控制 · 原生评测 · 执行轨迹

starRoboHarness 框架图,展示任务与环境输入、控制模式、执行接口和评测审计;虚线模块为持续研究方向。
技术报告中的项目框架图。已评测路径包括 RoboDojo 上的 QwenPI_v3、π0.5 策略及相应的 GPT-6 Astra 审查;虚线模块仍在研究中。打开高清 PDF ↗
02 · 引言

让推理在需要判断的时候介入

机器人策略能够快速生成连续动作;多模态推理器能够检查可见失败、判断下一段动作是否符合任务目标,并规划短程恢复。结合两者时,关键是明确何时授权推理器,以及如何核验授权后的真实执行结果。

在 starRoboHarness 中,学习得到的策略是默认控制器。推理器只读取公开的任务、图像、机器人状态和追踪证据;接管必须通过证据与安全门。原有任务指令和原生终止判定保持在环境端,策略、推理器与仿真平台可以通过适配器独立替换。

01

协议稳定

提案、决策、执行和结果使用明确契约,各模型和平台通过适配器连接。

02

证据门控

单纯的不确定性不能触发接管;修正应对应可观察的失败或意图偏离。

03

控制有界

混合方法的学生动作前缀最多 15 步,局部纠正最多 5 步,然后重新观测。

04

留下凭据

记录提案、决策、动作确认、环境原生结果、版本和资源使用。

03 · 方法

策略生成动作,推理器选择性审查

每次控制循环从原始任务指令和精确观测开始。QwenPI_v3 提交动作段;推理器分别检查上一段真实执行情况与下一段可见动作意图。证据门决定沿用策略提案,或执行受限的末端执行器修正。安全验证与环境执行由明确的控制边界负责。

输入任务与观测3 路 RGB · 14 维状态 · 指令
策略QwenPI_v3 提案50 × 14 动作序列
审查证据门与安全验证执行结果 · 意图 · 新鲜度 · 边界
通过执行策略前缀1–15 步
纠正局部末端修正1–5 步
↺ 回到新的观测边界
≤ 15策略执行步
≤ 5纠正步
5 cm每臂平移上限
0.35 rad每臂旋转上限

QwenPI_v3 使用三路有序 RGB 图像、双臂 14 维关节状态,并预测 50 × 14 的绝对关节动作;服务端采用固定的 arx_x5 归一化。纯策略基线每次重规划执行 16 步,历史混合方法执行至多 15 步学生前缀或至多 5 步局部纠正。这一节奏差异也是结果比较的一部分。

03.2 · 系统架构

通过适配器连接外部系统

策略服务、推理服务和 RoboDojo 等环境实现均位于轻量核心包之外。

提案PolicyAdapter把动作提案与精确观测和动作契约绑定。
提案
权限Evidence Gate + SafetyGuard检查请求身份、新鲜度、证据、几何单位和动作边界。
决策
执行EnvironmentAdapter唯一改变环境状态的组件,返回实际确认和原生终止结果。
观测与上下文推理器适配器环境适配器追加式执行追踪
04 · 2026 年 9 月历史配对结果

两组五任务面板,50 个精确配对案例

每组比较纯 QwenPI_v3 策略与 GPT-6 Astra 审查 QwenPI_v3 提案的混合方法。两组数据采集于不同阶段,因而分别报告。成功和得分均来自仿真环境的原生终止凭据。

第一组成功数6/25

混合方法 · 纯策略 1/25

第二组成功数11/25

混合方法 · 纯策略 8/25

第一组平均得分43.6

混合方法 · 纯策略 9.0

第二组平均得分50.4

混合方法 · 纯策略 38.4

如何阅读这些结果同一任务内按变体、布局、随机种子和案例身份做精确配对。纯策略与混合方法的执行节奏不同;两个历史面板的采集时期和基础设施也不同。观察到的差异不能解释为单独由推理纠正产生的因果效果。
十个任务的纯策略与混合方法原生平均得分对比;八项上升,一项持平,打包下降。
任务平均原生得分与成功次数。图中的竖线区分两组历史面板。打开矢量图 ↗
表 1

原始五任务面板

每任务 5 个精确配对案例;得分为 0–100 的原生平均分。

原始五任务面板:纯策略与混合方法的原生成功数和平均得分
任务纯策略成功混合方法成功纯策略得分混合方法得分
整理桌面0/50/51065
按语言分类0/50/500
模仿排序序列0/51/5136
排列最大数字0/51/5237
叠衣服1/54/53280
本组汇总1/256/25943.6
表 2

新增五任务面板

每任务 5 个精确配对案例;得分为 0–100 的原生平均分。

新增五任务面板:纯策略与混合方法的原生成功数和平均得分
任务纯策略成功混合方法成功纯策略得分混合方法得分
把瓶子放入箱中3/54/56482
物体分类0/50/5622
搭建塔楼4/54/58286
拼成「孔」字1/53/52060
把物体装入盒中0/50/5202
本组汇总8/2511/2538.450.4

有原生终止凭据的超时仍计为有效失败。供应商或基础设施故障另记在尝试台账中。新增纯策略收集期间 18 次控制前故障不进入任一方法的分母。下载脱敏案例数据 · 下载汇总数据。

逐任务观察

完成率、部分分与纠正次数需要一起看

01 · 完成任务

叠衣服与 Make Kong 推动成功数增长

原始面板叠衣服从 1/5 升至 4/5;新增面板 Make Kong 从 1/5 升至 3/5。

02 · 部分得分

得分增加不等于任务完成

新增面板物体分类平均得分从 6 升至 22,但两种方法都没有完成任何案例。

03 · 退步案例

打包需要进一步分析轨迹

两种方法均为 0/5 成功,混合方法平均部分得分从 20 降至 2;五个混合案例都达到原生 1,300 步上限。

04 · 归因边界

成功运行也可能没有纠正动作

早期搭塔成功案例与后来两次成功开发案例均记录零纠正步。因此必须分别评估推理器放行和接管的作用。

新增 25 案例面板 · 推理消耗

质量和成本应在同一张账本上

混合方法累计 4,627 个纠正步,报告了 4.625 亿输入 token 和 156 万输出 token;约 93.95% 的输入 token 记为缓存。这些数值是异步使用量快照,不是最终账单。

4,627纠正步462.5M报告的输入 token

新增面板的平均控制循环用时分别为纯策略 330.5 秒和混合方法 4,999.8 秒。历史机器、传输方式与采集时期不同,不能据此得出受控的速度倍率。两组合并的混合方法描述性指标为 17/50 成功、平均得分 47.0。

已完成的独立面板 · 50 个原生终止案例

换用策略会改变成功的布局

π0.5 对照使用针对 RoboDojo 微调的 OpenPI 权重。所选 50 个场景布局文件与历史 QwenPI 面板的 SHA-256 完全一致,但在另一批次独立采集,且不使用 Astra。表格每格依次给出五例中的原生成功数和 0–100 平均部分得分。

纯 QWENPI9/50

原生平均分 23.7

QWENPI + ASTRA17/50

原生平均分 47.0

纯 π0.510/50

原生平均分 31.8

精确布局差异6 ↔ 5

仅 π0.5 成功 ↔ 仅 QwenPI 成功

表 3

十个任务、三种已完成方法

每任务五个相同布局;不同采集批次的平均分为描述性比较。

任务QwenPIQwenPI + Astraπ0.5
整理桌面0/5 · 10 分0/5 · 65 分0/5 · 35 分
按语言分类0/5 · 0 分0/5 · 0 分0/5 · 0 分
模仿排序0/5 · 1 分1/5 · 36 分0/5 · 0 分
排列最大数字0/5 · 2 分1/5 · 37 分0/5 · 3 分
叠衣服1/5 · 32 分4/5 · 80 分0/5 · 16 分
把瓶子放入箱中3/5 · 64 分4/5 · 82 分3/5 · 76 分
物体分类0/5 · 6 分0/5 · 22 分1/5 · 26 分
搭建塔楼4/5 · 82 分4/5 · 86 分3/5 · 68 分
拼成「孔」字1/5 · 20 分3/5 · 60 分3/5 · 60 分
把物体装入盒中0/5 · 20 分0/5 · 2 分0/5 · 34 分
合计 / 平均9/50 · 23.7 分17/50 · 47.0 分10/50 · 31.8 分

两种纯策略共同成功的布局有 4 个;仅 π0.5 成功 6 个,仅 QwenPI 成功 5 个。成功布局并集为 15/50,但这只是事后互补性分析,并非实际部署的选择器。三种已完成方法在全部五个语言分类布局上均未完成。打包任务都没有成功案例,平均部分得分却分别为 20、2、34。下载面板汇总。

进行中的续跑 · 九个有效原生案例

π0.5 + Astra 的阶段性证据

计划中的 50 个场景目前只有 9 个取得有效的原生终止凭据。在这 9 个精确布局上,混合方法成功 5 个,原节奏的纯 π0.5 成功 2 个。这是已完成案例的阶段性描述,不能写成完整面板的成功率。

有纠正的成功案例

语言分类,布局 0

纯 π0.5 在原节奏、固定 15 步和固定 5 步下均得 0 分。混合方法在第 711 步原生成功、得 100 分,期间放行 44 段策略前缀并执行 11 次五步纠正。这是单条轨迹,不能推断普遍因果效果。

部分进展

模仿排序,布局 0

混合方法执行 385 个纠正步,达到 50 分,但没有完成任务。纯 π0.5 在原节奏、固定 15 步和固定 5 步下都为 0 分。

零纠正成功

只审查也会产生开销

四条成功的混合轨迹没有任何纠正步,但总控制器时间仍为 3,731 秒,报告 token 共 3,410 万(含缓存)。不能仅凭成功就把收益归因于推理器。

有效性与成本

未评分尝试仍消耗资源

九个有效案例累计 1,180 个纠正步、1.8727 亿报告 token(含缓存)。另有 15 次尝试没有原生终止,不进入结果分母;其中八次有用量快照,累计 1.1051 亿 token,只是成本下界。

语言分类案例第 470 步,纠正前后期的机器人和物体状态。语言分类案例第 700 步,物体接近按指令分配到篮中。
语言分类单次轨迹的第 470 与 700 步画面。原生成功发生在第 711 步;图像展示可见进展,单次运行仍无法排除随机性。
纯策略节奏对照 · 十个任务的布局 0

缩短动作前缀也会改变结果

每个任务选一个保存的布局,让纯 π0.5 每次预测 50 步后只执行前 15 步,不调用推理器。相对原节奏,得分在三个布局上升、三个下降、四个持平。固定 15 步在物体分类和叠衣服上无需纠正即成功,与两个混合成功案例一致;却丢失了原本的 Make Kong 成功。混合方法列仅在有有效原生终止凭据时显示。

表 4

每个方法与布局仅一次原生运行

✓ 为完成,× 为有效失败;数字为部分得分;— 表示缺少有效混合终止凭据。

任务 · 布局 0π0.5 原节奏π0.5 固定 15 步π0.5 + Astra
整理桌面× · 75× · 50× · 50
按语言分类× · 0× · 0✓ · 100
模仿排序× · 0× · 0× · 50
排列最大数字× · 15× · 15× · 15
叠衣服× · 20✓ · 100✓ · 100
把瓶子放入箱中✓ · 100✓ · 100✓ · 100
物体分类× · 15✓ · 100✓ · 100
搭建塔楼× · 30× · 10—
拼成「孔」字✓ · 100× · 0—
把物体装入盒中× · 10× · 25—

七个同时有固定 15 步与混合方法原生凭据的布局中,五个得分持平;语言分类和模仿排序是有纠正动作的混合方法得分更高。固定 5 步纯策略在这两个布局也均为 0 分。每个方法和布局只有一次运行,尚不能分离执行节奏、推理监督和随机性的影响。下载节奏对照。

历史五任务视频

选定案例回放

早期版本素材,与上面的配对表分开

这些视频来自早期五任务网页版本,用于展示执行过程,不是上面 50 对案例的逐例证据。可以在各任务中切换纯策略和混合方法的回放。

05 · 评测协议

同时报告质量、有效性与计算成本

有效比较要对齐任务、布局、随机种子、指令、动作契约和原生终止判定。成功不能由模型自报代替。

主要指标原生成功与得分

使用环境终止凭据,而非模型自报。

配对比较胜/平/负

逐案例对齐任务、布局、种子与终止。

安全性无证据接管

记录缺乏失败或意图偏离证据的干预。

恢复能力失败后进展

检查观察到失败后是否恢复任务进度。

结果应附带的凭据有效案例覆盖、代码与权重身份、原生终止凭据、配对种子、模型用量、时延、纠正比例、总用时,以及被排除的基础设施尝试。
06 · 局限与后续

下一步应检验什么

每个已完成面板的每任务仅有五个案例。历史 QwenPI 与独立 π0.5 批次的机器、供应商会话、恢复尝试和执行节奏并未全部固定。两组的 50 对数据合并后有 9 个仅混合方法成功、1 个仅纯策略成功、40 个持平;这是描述性计数,不是一项预先冻结的统一试验。

打包

追踪抓取确认后的耗时、每次纠正的转移距离,以及接管是否对应真实失败。

分类

记录超时前哪些物体获得部分得分,重复纠正是否回到同一状态。

受控重测

冻结方法身份,在一致的案例、硬件、模型服务路由和动作节奏下重新运行。

完整成本

同时报告成功、部分得分、纠正比例、调用、token、时延和排除的尝试。

九个有效 π0.5 + Astra 案例与十个固定 15 步对照是每方法、每布局一次的探索性证据,不是完整的因子实验。另外,三个案例的 dev 验证是独立开发结果:两次成功、一次原生超时,没有同时收集的纯策略对照。Astra Direct 仅有报告中的一个早期、面板外搭塔案例,不属于上面的配对表。

07 · 路线图

从可信评测走向可迁移的执行层

M0

复现

冻结方法清单与协议边界。

M1

核心

建立契约、证据门、安全验证、追踪和一致性测试。

M2

原生 QwenPI_v3

建立原生终止凭据,整理历史精确配对基线。

M3–M5

质量与效率的受控评测

完成 π0.5 + Astra 续跑,分析打包和分类轨迹,冻结资源对齐的后续试验,同时报告质量与完整成本。

M6

泛化

接入非 VLA 策略与第二个环境,保持核心包与平台实现解耦。

项目目标

让每次干预都有证据,让每个提升都经得起配对评测。

新策略只需接入适配器;每个结果都说明有效性边界、时延与计算成本。