原文一语气：icra-research-robotics-simulation-to-real-world
在国外机器东谈主和自动化会议上，八篇新的英伟达研究论文展示了经由模拟西席的机器东谈主是怎样插足本质寰宇的。
机器东谈主技巧正在插足一个新阶段：从受控演示和剧本自动化转向本质寰宇中可扩充、可靠的体现自主。
在国外机器东谈主和自动化会议（ICRA）上，NVIDIA Research 的 28 篇被秉承的论文中有 8 篇展示了模拟到本质的传输怎样成为这种转机的基础，匡助机器东谈主在动态、不能展望的环境中感知、推理、筹谋和行动。
这些论文共同涵盖了机器东谈主开采东谈主员靠近的挑战：并行和解多个手臂，构建跨机器东谈主肉体通用的策略，在散乱中收拢新事物，扩充精准的拼装，以及开采在转移前推理的视觉 - 讲话 - 四肢模子。
通谈很明晰：sim-to-real 正在成為機器东谈主的基礎，這些機器东谈主不错在實驗室外以更高的可靠性進行適應、玄虚和操作。
设想一下一个由机械臂运行的制药实验室：拾取试管、转机液体、搀和试剂——每个要领都需要不同的时候，都需要仔细和解。
传统的机器东谈主调理软件按规定处理这些要领，一次一个手臂。
ScheduleStream 透過在 GPU 上執行計算來改變這一點，讓多個手臂計劃移動並行操作。遵守——在 NVIDIA Jetson edge AI 平台等硬件上，跨多臂盘算场景加速了 3 倍的速率。框架的代码不错在 GitHub 上找到。
一个学习在空间中导航的机器东谈主——闪避缺乏物并找到主见地——闲居学会在一个肉体中作念到这小数。将相通的导航软件放入体式不同的机器东谈主中，它频频会散架，因为它的部件都以不同的时势转移。
COMPASS 策略框架通过率先使用师法学习构建基线导航功能，然后使用 NVIDIA Isaac Lab 中的剩余强化学习来为多样机器东谈主杀青构建大师来处置这个问题。至关要紧的是，任何阶段都不波及本质寰宇的机器东谈主数据：一切都在 Isaac Lab 模拟中进行西席。
与师法学习基线比拟，COMPASS 的平均告捷率提高了 4.5 倍。它还无缝传输到本质寰宇环境，在自主转移机器东谈主和东谈主形的 20 次本质寰宇导航测验中展示了约 80% 的告捷。
COMPASS 对代理友好，具有成心的手段——开采东谈主员不错将管谈与 NVIDIA Omniverse NuRec 勾通起来，以便在部署前在新环境的数字孪生中对机器东谈主进行后西席和考据。
大多数抓取系统识别对象，展望抓取，盘算旅途，然后扩充。但临了几厘米是小误差最要紧的场地。
Grasp-MPC 自相宜地盘算机器东谈主抓取，在机器东谈主辘集物体时束缚雠校其通顺，而不是扩充固定筹谋——一个东谈主通过嗅觉而不是提前盘算每个枢纽角度来抓取东西的时势。
为了制定该策略，研究东谈主员使用 GraspGen 数据集的谛视和来自 cuRobo（用于机器东谈主通顺生成的 CUDA 加速库）的通顺盘算数据，在 8000 个物体上生成了 200 万个物体的模拟轨迹。
在对告捷和失败轨迹进行培训后，Grasp-MPC 学会了在散乱的桌面和架子上掌捏新颖的物体——在确切机器东谈主上获取了约 75% 的总体告捷率，而基线为 41%。
可变形聚类操作引入了一个框架，该框架搪塞了一个平行挑战：使系统好像同期抓取扫数这个词生动、纠结的材料，而不单是是一个对象。
该框架的动机是一个本质寰宇的任务：取销孕育在电力线上的多半树枝，那里莫得干净的物体不错收拢。系统使用扫数这个词手臂，而不单是是抓手：将其缠绕在分支集群上，然后将其扫到一边，就像有东谈主可能会相聚一臂的电缆或将纠结的刷子推开的时势。
研究东谈主员使用生物孕育方程构建了一个树生成器，以创建很多不同体式和大小的合成树——然后在 NVIDIA Isaac 怒放模拟框架中西席了数千棵树的系统。
该策略部署到确切的分支零射击。除了电力线以外，AG真人·(中国)官方网站研究东谈主员还看到了电缆照应、农业查抄以及机器东谈主需要处理纠结而不是单个可抓取物品的任何场地的后劲。
在零射击模拟到确切部署中取销树枝。
精准的拼装——将螺母穿入螺栓上，将齿轮插入齿轮轴，将钉子压入孔中——仅通过模拟是出了名的难。
本质寰宇是复杂的。确切的名义并不完整光滑。传感器的活动不按王法进行。模拟器忽略的狭窄各别可能会绝交机器东谈主的脚步。
SPARR 措施通过将职责一分为二来处置这一问题。在 Isaac Lab 中西席的策略学习模拟中拼装任务的一般策略。然后，在本体硬件上，第二层学会雠校模拟器出错的任何东西——使用机器东谈主我方的相机，无需任何东谈主类演示或指导。
与零射击模拟到确切基线比拟，SPARR 的告捷率提高了 38%，周期时候裁汰了约 30%。
在培训时期莫得看到的国度范例与技巧研究所（NIST）拼装任务上，告捷率提高了近 75% ——接近需要东谈主工参与的措施的遵守。
真金不怕火油厂框架在装置中具有下一层难度：具有多个规定要领的任务，其中第一步的完成进程决定了第二步是否可能。这就像拼装产物同样——将面板放在误差的角度，下一个紧固件就进不去。
开云kaiyun体育中国APP下载通过了解告捷怎样因启动条款而异，以及数百个模拟拼装场景中的培训，真金不怕火油厂学习怎样完成每个要领，并将每个组件留不才一个建立的位置。与本质寰宇遵守很是可比的基线比拟，它杀青了 91% 的模拟告捷率和近 11% 的平均立异——其策略不错串联在一王人处理冗长的多部分序列。
PEEK 管谈匡助机器东谈主看到零七八碎的东西。在典型的操作任务中，机器东谈主的相契机捕捉到场景中的扫数内容——但其中大部分是不关要紧的杂音。
PEEK 名堂页面上展示的一项任务是“把香蕉交给英伟达首创东谈主兼首席扩充官黄仁”：一张黄的像片与迈克尔 · 乔丹的像片一王人放在桌子上，这是一组不关系的物体和其他散布戒备力的东西。
完成任務的东谈主立即專注於香蕉和正確的像片；標準的機器东谈主策略必須處理一切，並且經常感到困惑。PEEK 通过让视觉讲话模子读取任务领导并相应地聚焦机器东谈主的视野来处置这个问题——清晰通顺道径，并超过清晰要紧物体周围，同期淡化其他一切。
然后，该策略字据谛视的不雅点行事，而不是原始场景。关于精真金不怕火在模拟中西席的策略，添加 PEEK 的准确性比本质寰宇提高了 41 倍。关于大型 VLA 模子和较小的策略，收益范围为 2-3.5 倍。由于它在图像级别职责，PEEK 无需修改即可与任何基于相机的策略集成。
言出所力——与卡内基梅隆大学、犹他大学和悉尼大学的研究东谈主员和解——处置了机器东谈主处理更长、更复杂的任务时更要紧的特定故障模式。
给机器东谈主一个领导，比如“把扫数东西都放在柜子里的这个桌子上”或“准备曼哈顿”，它必须将其判辨成单独的要领，并按规定扩充它们。
问题是，东谈主工智能模子不错正确推理它需要作念的事情——然后扩充一些不同的东西。
这种称为 SEAL 的措施在运行时提拔了这小数，无需任何再西席：机器东谈主生成几个候选四肢序列，想考每个四肢序列本体上会指导到那儿，并采取与它所说的遵守相匹配的遵守。与之前的职责比拟，SEAL 提供了高达 15% 的精度栽种，对改写领导、更动对象、场景散乱和转移相机角度具有隆重性。
除了论文以外，英伟达还通过机器东谈主的大规模怒放数据集扩张机器东谈主研究基础设施。NVIDIA 物理东谈主工智能数据集是寰宇上最大的物理开采怒放数据集，下载量跳动 1500 万次，而 NVIDIA Isaac GR00T X Embodiment Sim 已成为下载量最大的机器东谈主数据集之一。
雷峰网 AG真人中国官网登录入口