SLA登顶RoboDojo真机榜!港科广联合欧拉万象,让机器人更懂三维空间
FIELD
NOTE

ARTICLE DETAIL

资讯中心

从事实、趋势与实践出发,为您梳理文章中的关键信息,帮助读者更高效地理解内容重点。

ORIGINAL REPORT

SLA登顶RoboDojo真机榜!港科广联合欧拉万象,让机器人更懂三维空间

劲爆体育官网-首页赛程与热门赛事编辑部
935 阅读
约 5.5 分钟

把空间理解放进基础模型的持续学习过程,机器人能否更好地应对现实中的变化 机器人伸手抓取果蔬时,有人把目标挪走了。原本放好的物体,又被扔回桌面。另一组实验里,桌面不断升降,夹爪需要跟上目标的高度变化。同样是抓取和放置,空间关系一变,已经学过的技能还能不能继续用? 图 1 SLA 真机操作视频:https://mp.weixin.qq.com/s/F1euPsqRRP1FxAJZ7pPdJA 香港科技大学(广州)与欧拉万象(OLA Dimensions)联合,围绕这个问题提出了 SLA(Spatial-Language-Action Model,空间 — 语言 — 动作模型)。 先看结果:在 RoboDojo-Real 公开真机评测中,SLA-Preview 以平均得分 42.3 分、完整任务成功率 33.9% 位居榜首;相比 π0.5,成功率提高 21.1 个百分点,约为其 2.6 倍。 图 2 RoboDojo-Real 真机榜单截图,SLA-Preview 平均得分排名第一 在研究团队设置的八类真机测试中,SLA 的平均物体级成功率达到 83.8%,较 π0.5 提高 24.0 个百分点。从公开榜单到动态抓取、桌面升降等测试,SLA 展示了应对真实场景变化的能力。 SLA 的核心思路,是在机器人学习动作时,同步培养支撑动作的空间表征 。空间监督从具体任务的后训练阶段,扩展到更大规模的持续预训练,并在下游适配时继续保留。 01 真机榜第一之后再看机器人如何应对变化 RoboDojo-Real 覆盖 ARX X5、Piper 和 Piper X 三种机器人本体,共 18 项任务。SLA 联合使用三种本体的示范进行后训练,再用同一个模型完成测试。 在相同的公开评测中,π0.5 的平均得分与成功率分别为 22.9 分、12.8%,SLA 对应为 42.3 分、33.9%。得分反映部分任务进展,成功率则衡量完整任务是否完成。 榜单成绩给出了统一参照。要直观看到空间能力的作用,还可以看目标移动、桌面升降这些实验。 在果蔬抓取实验中,研究者先用 100 条基础场景示范完成后训练,再将同一个策略用于基础场景、位置扰动和动态干扰三类条件。测试时,物体可能被重新扔回桌面,抓取中的目标也可能被人移动。 位置与动态干扰条件没有额外采集对应的干扰示范用于后训练 图 3 基础果蔬操作、位置扰动、动态干扰与少样本跨本体适配。 位置扰动下,SLA 的物体级成功率为 82%,π0.5 为 52%;目标持续移动时,两者分别为 76% 和 42%。在桌面升降、目标高度不断变化的手表抓取条件下,两者分别为 78% 和 44%。 跨本体实验也有一个明确的数据条件:在原有 100 条 Piper 示范之外,额外加入 10 条 Franka 示范联合后训练,Franka 的物体级成功率达到 78%。这项结果检验的是少量目标本体数据下的适配能力。 八类部署条件各评估 50 个物体实例,成功要求完成该物体的完整操作过程。它们共同指向一个实际问题:当观察到的空间关系发生变化,策略能否据此调整动作。 02 空间理解怎样进入机器人基础模型 视觉 — 语言 — 动作模型(VLA)把图像、指令和动作连接起来,能够利用视觉语言模型预训练获得的知识。但机器人执行操作,还要处理距离、朝向、物体遮挡和夹爪运动之间的关系。 认出一个杯子,与把夹爪准确移动到杯子旁边,需要的能力并不完全相同。物体位置变了,接近路径可能要变;抓取角度变了,手腕朝向也需要随之调整。 一种常见路线是在后训练时引入深度图、点云等几何信息。现实数据却并不总是具备一致的三维标注:深度可能缺失,相机位置和标定状态各不相同,部分公开示范只有 RGB 图像。 如果空间学习只能依赖整齐、完整的几何输入,就很难充分利用已经积累的异构机器人经验。 SLA 选择在训练期间,将空间信息对齐到 VLA 自身的中间视觉表征中。它继承 π0.5 的预训练架构与权重,通过持续预训练学习空间表征,并在后训练适配具体任务时继续使用空间监督。 图 4 SLA 整体框架。统一异构机器人数据,在持续预训练与后训练阶段进行空间对齐。 具体来说,冻结的三维感知模型 OmniVGGT 充当空间教师。它读取多视角 RGB 图像,并利用样本中已有的深度或相机标定信息,提取空间特征。 VLA 在学习预测动作的同时,也让中间视觉特征与教师的空间特征对齐。空间监督由此进入动作生成所依赖的表征,让模型在学习操作时获得几何信息。 面对不同场景、纹理和相机视角,SLA 还会根据输入自适应汇聚多个层次的视觉特征。在 RoboTwin 消融中,多层自适应融合的 Clean2Random 成功率为 72.3%,比最佳固定单层方案高 5.0 个百分点。 另一个设计是训练期的状态丢弃:以一

about image
分享这篇内容

让更多人看到有价值的信息

返回资讯列表

YOU MAY ALSO LIKE

推荐阅读

继续浏览平台精选内容,发现更多行业观察。

TRENDING NOW

热点内容

从正在发生的行业事件到读者关注的热门话题,我们将值得关注的内容集中呈现,方便您快速了解当前讨论焦点。

查看全部资讯
大脑开始萎缩,喝水就知道?脑萎缩的人,喝水时多半有4个表现

HOT / 1

大脑开始萎缩,喝水就知道?脑萎缩的人,喝水时多半有4个表现

喝水你以为很简单?其实大脑里好几个区域要同时干活:一个负责指挥吞咽,一个负责协调手部动作,一个负责判断喝了多少,还有一个负责感觉渴不渴。 哪个区域的脑子开始退化,喝水的时候都能看出来。 但我先说清楚,很多老人做CT报告上写着“老年性脑萎缩”,照样吃好睡好,这是正常老化,跟长皱纹一个道理。 真正要留意的,是萎缩速度过快、影响到日常功能的。 有些喝水时的表现,如果最近几个月才出现,而且一周出现好几次,

皇马不想放人,阿森纳却被告知只是“经纪人推销”

HOT / 2

皇马不想放人,阿森纳却被告知只是“经纪人推销”

围绕恩德里克(Endrick)的未来,新的信息又浮出水面。核心事实只有一条:由于在皇马出场时间不足,他的经纪团队正在为明年1月的潜在下家探路。 但皇马这边的态度同样明确——俱乐部并不想放走这名球员。报道称,俱乐部上下都在支持他,包括穆里尼奥(Jose Mourinho)、弗洛伦蒂诺·佩雷斯(Florentino Perez)以及他的队友。与此同时,俱乐部也清楚需要让恩德里克保持愉快,上赛季后半程租

32场造22球,埃弗顿盯上这位26岁前锋补强锋线

HOT / 3

32场造22球,埃弗顿盯上这位26岁前锋补强锋线

埃弗顿有意在冬窗签下明尼苏达联前锋凯尔文·耶博阿,为主帅莫耶斯补充进攻端人手。 据Football Insider报道,埃弗顿已把这位意大利前锋列为潜在目标,并准备采取行动,有消息源将这笔交易形容为“现实可行”。太妃糖方面认为,相比欧洲市场上的其他锋线目标,耶博阿属于相对可负担的选择。 耶博阿本赛季在美职联状态出色: 32次出场打进18球并送出4次助攻 。这样的进球数据引来多家欧洲俱乐部关注,而重

25条顶级玄学真相,宁可信其有!第一条就命中,越看越头皮发麻

HOT / 4

25条顶级玄学真相,宁可信其有!第一条就命中,越看越头皮发麻

大家好,每天给大家带来最新动态 ,内容随缘更,每篇都掏干货;如果你觉得这些信息对生活有用,就点个关注 很多人觉得玄学是虚无缥缈的迷信,其实真正的传统玄学,从来不是怪力乱神,而是老祖宗总结的人性规律、能量磁场和生活天道。 它不搞封建糟粕,不讲鬼神之说,只是一套藏在日常里的人生运行逻辑。很多时候我们人生不顺、财运不济、人际坎坷,本质都是违背了这些底层规律。 今天整理25条经过生活验证、真实落地的顶级玄

🏀步行者送奇才5连败 西卡28+8+5 祖巴茨20+12 浓眉21+13

HOT / 5

🏀步行者送奇才5连败 西卡28+8+5 祖巴茨20+12 浓眉21+13

直播吧11月12日讯 NBA常规赛,步行者主场迎战奇才。步行者2连败后3胜8负,奇才4连败后4胜7负。本场比赛,哈利伯顿继续缺阵。 比赛开始,双方上来比较慢热但比分胶着,内姆哈德连送助攻,奇才则是靠单打解决问题,随后奇才9-0一度反超,步行者首节领先1分,次节特雷·约翰逊连得8分带领奇才反超比分,但步行者连续内线取分咬住,乌布雷接连抢断反击暴扣,半场步行者领先5分。下半场,步行者继续发力拉开双位数