使用NVIDIAIsaacROSDeveloperPreview3构建高性能机器人应用

原创 英伟达NVIDIA中国 2023-04-27 17:05


随着自主性提升、传感器数量与种类以及传感器融合算法的日益增加,机器人正变得越来越复杂。为了运行这些日益复杂的工作负载,必须利用硬件加速,使机器人应用能够以更快的速度和更高的效率运行更大规模的工作负载。


NVIDIA Isaac ROS 始终致力于为 ROS 开发者提供加速计算软件包和工具,用以开发高性能且节能的机器人应用。


NVIDIA 率先将加速计算纳入了 ROS 2,并不断改进更新版本。在过去的两年中,NVIDIA 已增加了 20 多个硬件加速 ROS 软件包,支持最新发行的 ROS 2。


团队去年与 Open Robotics 一起,在提供硬件加速器的计算平台上加入了适应和类型协商以提高 ROS 的性能。他们还实现了用于 Isaac ROS 的适应和类型协商—— NITROS(NVIDIA Isaac Transport for ROS)


最新发布的 NVIDIA Isaac ROS Developer Preview 3(DP3)包括重要功能的更新和提升。


NVIDIA Isaac ROS Developer Preview 3


NVIDIA Isaac ROS DP3 加入了许多新的功能,让 ROS 社区能够从硬件加速中获益,主要包括:用于自动定位机器人的新地图定位器,带有人类检测功能的更新版 NvBlox、用于对 ROS 2 图像进行实际基准测试的全新 ROS 2 基准测试工具,以及开源 NITROS 软件包。


不到半秒就能在地图中自动定位


移动机器人(比如用于仓库或服务的机器人等)在开始进入空间之前,需要知道它们在地图中的初始位姿。向机器人提供这种初始位姿信息的最常见方法是手动设置,不过这种方法不仅要在整个过程中增加人工干预,还可能需要 30 秒以上的时间。


使用新的 Isaac ROS 地图定位 ROS 软件包,就不需要手动设置机器人的初始位置和方向。该软件包使用激光雷达测距扫描,可在不到半秒的时间内自动估计在所占网格地图中的位姿。定位器可以与平面激光雷达或 3D 激光雷达同时工作,并且可用于初始化移动机器人的导航。


这个 ROS 软件包通过 GPU 加速并利用 NITROS 创建没有通信开销的高效 ROS 流程,已经与 Nav2 集成。



图 1 NVIDIA Isaac ROS 地图定位软件包

在不到半秒的时间内自动计算出初始全局位姿


移除三维重建中的人类


Isaac ROS NvBlox 提供了一个用于三维重建的 GPU 加速软件包,并利用传感器观测数据绘制了机器人周边环境的代价地图。这些都对路径规划器生成无碰撞路径十分有用。


在人群中移动的机器人需要首先检测到人类,然后根据与他们的接近程度选择不同的路线。尽管人类应该成为代价地图的一部分(用来计算无碰撞路径),但不应该成为三维重建的一部分。三维重建应该只包含静态障碍物。


Isaac ROS DP3 版本所包含的 Isaac ROS NvBlox 软件包更新版本可以检测和划分人类,并提供人类的代价地图以避免发生碰撞。同样,它还提供用于三维重建的静态代价地图,以避免与静态物体发生碰撞。



图 2 Isaac ROS NvBlox 软件包

在三维重建过程中检测并移除人类


对 ROS 图像进行标准的基准测试


对 ROS 图像进行的基准测试应反映出在实际工作负载下的性能。对整个 ROS 图像(而不是一个特定的 ROS 节点)进行基准测试十分重要,该测试将包含 RCL 中指示实际性能的消息传输成本。


Isaac ROS DP3 包含 ROS 2 的开源基准测试工具。该工具不需要通过修改节点来度量结果,而且可以将输入的 rosbag 数据集标准化,以便对基准结果进行独立验证。



图 3 ROS 2 基准架构


该基准测试工具采用行业最佳实践,并专门为了测量实时机器人应用中的节点图吞吐量和延迟而进行了专业强化。亮点包括:


  • 可靠的结果:在多秒内进行 N 次(默认 N=5 )自动性能测试,舍弃结果的最小和最大值以减少误差。基准结果在日志文件中报告,以便导入用户所选择的可视化工具中。

  • 输入数据集:可在 CCv4.0 归属许可证下从 NGC 下载,r2b data set 2023 为 rosbag 的图像提供一致的输入,并且用户可根据需要添加额外的输入数据。

  • 输入图像分辨率:各种计算硬件可根据机器人应用的不同以合适的分辨率处理图像。

  • 输入和输出传输时间:RCL 发布和接收进程间和进程内消息的时间包含在测量结果中,能够准确表示机器人应用中的预期情况,避免了去除消息传递成本后的夸大结果。

  • 输入和输出类型自适应:使用标准 ROS 类型输入数据或者使用类型适应类型协商

  • 基准参数:用于测试的参数包括数据输入长度、发布速率和输入数据大小,并且可通过配置文件自定义。

  • 吞吐量自动查找器:测量图像的峰值吞吐量,在 topic 下降到 <1% 的情况下,要求自动找到图像的峰值吞吐量。吞吐量自动查找器能够高效查找峰值吞吐量的输入数据发布速率。

  • 实时延迟:根据固定的 topic 发布速率实时测量延迟。该数据显示以预期的固定发布速率向实时系统传输内容,吞吐量会显示机器人应用可能的峰值性能。

  • 云原生:测试可以作为自动化测试的一部分在 Kubernetes 上执行,也可以作为现代软件开发的一部分在 CI/CD 每日夜间测试中执行。也可以在本地开发者系统上进行测试。

  • 黑盒测试:在基准测试中直接使用所有性能测量工具,将节点图像作为二进制文件进行测试。这期间不会修改被测试的图像中的代码,并且可以用相同的工具以一种自然的方式进行包含从开源到专有解决方案的性能测试。

  • 透明性:JSON 中的结果包含用于运行基准测试的参数,包括用于独立结果验证的输入 rosbag 的 MD5 算法的数据。


支持 NVIDIA Jetson 新增平台


Isaac ROS DP3 增加了对 NVIDIA Jetson 系列最新产品 NVIDIA Jetson Orin Nano  NVIDIA Jetson Orin NX 的支持。它还支持新发布的 NVIDIA Jetson Orin Nano 开发者套件。所有 Jetson Orin 和 Xavier 系列的模块和开发者套件均支持 Isaac ROS。



图 4 Isaac ROS DP3 

支持 Jetson Orin 系列的模块和开发者套件


新版本还增加了对新发布的 NVIDIA Ada Lovelace architecture 和 NVIDIA GeForce RTX 40 GPU 的支持。 


从此更新版本开始,NITROS 加速的 Isaac ROS 软件包中的大部分内容均已开源。作为 ROS 开发者,您现在可以扩展这些软件包、解决您遇到的任何问题并向 Isaac ROS 社区投稿。


总结


NVIDIA Isaac ROS Developer Preview 3 是一项重大更新,让 ROS 社区能够从硬件加速中获益,从而更轻松地构建高性能节能机器人应用。该版本的亮点主要包括:可对 ROS 2 图像进行实际基准测试的全新 ROS 2 基准测试工具;可对机器人进行自动定位的全新地图定位器;开源的 NITROS 软件包;以及带有人类检测功能的更新版 NvBlox。


其他资源:


  • 报名参与网络研讨会:使用 ros2_benchmark 测量机器人应用性能。(https://gateway.on24.com/wcc/experience/elitenvidiabrill/1407606/3998202/isaac-ros-webinar-series

  • 阅读 Isaac ROS 四月更新,了解更多细节和Isaac ROS DP3 中新增的功能。(https://discourse.ros.org/t/isaac-ros-april-update-open-source-orin-nano-lovelace-gpu-s/30755

  • 访问 GitHub 上的 Isaac ROS 并开始使用 Isaac ROS DP3。

    https://github.com/NVIDIA-ISAAC-ROS

  • 在 NVIDIA Isaac ROS 论坛上与其他用户进行交流。(https://forums.developer.nvidia.com/c/agx-autonomous-machines/isaac/isaac-ros/600



即刻点击 “阅读原文” 或扫描下方海报二维码在 NVIDIA On-Demand 上观看 GTC 精选回放,包括主题演讲相关精选、中国本地精选内容、生成式 AI 专题以及全球各行业及领域最新成果!


评论
  •  在全球能源结构加速向清洁、可再生方向转型的今天,风力发电作为一种绿色能源,已成为各国新能源发展的重要组成部分。然而,风力发电系统在复杂的环境中长时间运行,对系统的安全性、稳定性和抗干扰能力提出了极高要求。光耦(光电耦合器)作为一种电气隔离与信号传输器件,凭借其优秀的隔离保护性能和信号传输能力,已成为风力发电系统中不可或缺的关键组件。 风力发电系统对隔离与控制的需求风力发电系统中,包括发电机、变流器、变压器和控制系统等多个部分,通常工作在高压、大功率的环境中。光耦在这里扮演了
    晶台光耦 2025-01-08 16:03 58浏览
  • 根据Global Info Research项目团队最新调研,预计2030年全球封闭式电机产值达到1425百万美元,2024-2030年期间年复合增长率CAGR为3.4%。 封闭式电机是一种电动机,其外壳设计为密闭结构,通常用于要求较高的防护等级的应用场合。封闭式电机可以有效防止外部灰尘、水分和其他污染物进入内部,从而保护电机的内部组件,延长其使用寿命。 环洋市场咨询机构出版的调研分析报告【全球封闭式电机行业总体规模、主要厂商及IPO上市调研报告,2025-2031】研究全球封闭式电机总体规
    GIRtina 2025-01-06 11:10 124浏览
  • 故障现象一辆2017款东风风神AX7车,搭载DFMA14T发动机,累计行驶里程约为13.7万km。该车冷起动后怠速运转正常,热机后怠速运转不稳,组合仪表上的发动机转速表指针上下轻微抖动。 故障诊断 用故障检测仪检测,发动机控制单元中无故障代码存储;读取发动机数据流,发现进气歧管绝对压力波动明显,有时能达到69 kPa,明显偏高,推断可能的原因有:进气系统漏气;进气歧管绝对压力传感器信号失真;发动机机械故障。首先从节气门处打烟雾,没有发现进气管周围有漏气的地方;接着拔下进气管上的两个真空
    虹科Pico汽车示波器 2025-01-08 16:51 70浏览
  • 在智能家居领域中,Wi-Fi、蓝牙、Zigbee、Thread与Z-Wave等无线通信协议是构建短距物联局域网的关键手段,它们常在实际应用中交叉运用,以满足智能家居生态系统多样化的功能需求。然而,这些协议之间并未遵循统一的互通标准,缺乏直接的互操作性,在进行组网时需要引入额外的网关作为“翻译桥梁”,极大地增加了系统的复杂性。 同时,Apple HomeKit、SamSung SmartThings、Amazon Alexa、Google Home等主流智能家居平台为了提升市占率与消费者
    华普微HOPERF 2025-01-06 17:23 202浏览
  • By Toradex 秦海1). 简介嵌入式平台设备基于Yocto Linux 在开发后期量产前期,为了安全以及提高启动速度等考虑,希望将 ARM 处理器平台的 Debug Console 输出关闭,本文就基于 NXP i.MX8MP ARM 处理器平台来演示相关流程。 本文所示例的平台来自于 Toradex Verdin i.MX8MP 嵌入式平台。  2. 准备a). Verdin i.MX8MP ARM核心版配合Dahlia载板并
    hai.qin_651820742 2025-01-07 14:52 106浏览
  • 彼得·德鲁克被誉为“现代管理学之父”,他的管理思想影响了无数企业和管理者。然而,关于他的书籍分类,一种流行的说法令人感到困惑:德鲁克一生写了39本书,其中15本是关于管理的,而其中“专门写工商企业或为企业管理者写的”只有两本——《为成果而管理》和《创新与企业家精神》。这样的表述广为流传,但深入探讨后却发现并不完全准确。让我们一起重新审视这一说法,解析其中的矛盾与根源,进而重新认识德鲁克的管理思想及其著作的真正价值。从《创新与企业家精神》看德鲁克的视角《创新与企业家精神》通常被认为是一本专为企业管
    优思学院 2025-01-06 12:03 158浏览
  • 大模型的赋能是指利用大型机器学习模型(如深度学习模型)来增强或改进各种应用和服务。这种技术在许多领域都显示出了巨大的潜力,包括但不限于以下几个方面: 1. 企业服务:大模型可以用于构建智能客服系统、知识库问答系统等,提升企业的服务质量和运营效率。 2. 教育服务:在教育领域,大模型被应用于个性化学习、智能辅导、作业批改等,帮助教师减轻工作负担,提高教学质量。 3. 工业智能化:大模型有助于解决工业领域的复杂性和不确定性问题,尽管在认知能力方面尚未完全具备专家级的复杂决策能力。 4. 消费
    丙丁先生 2025-01-07 09:25 116浏览
  • 本文介绍编译Android13 ROOT权限固件的方法,触觉智能RK3562开发板演示,搭载4核A53处理器,主频高达2.0GHz;内置独立1Tops算力NPU,可应用于物联网网关、平板电脑、智能家居、教育电子、工业显示与控制等行业。关闭selinux修改此文件("+"号为修改内容)device/rockchip/common/BoardConfig.mkBOARD_BOOT_HEADER_VERSION ?= 2BOARD_MKBOOTIMG_ARGS :=BOARD_PREBUILT_DTB
    Industio_触觉智能 2025-01-08 00:06 92浏览
  • 根据环洋市场咨询(Global Info Research)项目团队最新调研,预计2030年全球无人机锂电池产值达到2457百万美元,2024-2030年期间年复合增长率CAGR为9.6%。 无人机锂电池是无人机动力系统中存储并释放能量的部分。无人机使用的动力电池,大多数是锂聚合物电池,相较其他电池,锂聚合物电池具有较高的能量密度,较长寿命,同时也具有良好的放电特性和安全性。 全球无人机锂电池核心厂商有宁德新能源科技、欣旺达、鹏辉能源、深圳格瑞普和EaglePicher等,前五大厂商占有全球
    GIRtina 2025-01-07 11:02 122浏览
  • 每日可见的315MHz和433MHz遥控模块,你能分清楚吗?众所周知,一套遥控设备主要由发射部分和接收部分组成,发射器可以将控制者的控制按键经过编码,调制到射频信号上面,然后经天线发射出无线信号。而接收器是将天线接收到的无线信号进行解码,从而得到与控制按键相对应的信号,然后再去控制相应的设备工作。当前,常见的遥控设备主要分为红外遥控与无线电遥控两大类,其主要区别为所采用的载波频率及其应用场景不一致。红外遥控设备所采用的射频信号频率一般为38kHz,通常应用在电视、投影仪等设备中;而无线电遥控设备
    华普微HOPERF 2025-01-06 15:29 164浏览
  • 「他明明跟我同梯进来,为什么就是升得比我快?」许多人都有这样的疑问:明明就战绩也不比隔壁同事差,升迁之路却比别人苦。其实,之间的差异就在于「领导力」。並非必须当管理者才需要「领导力」,而是散发领导力特质的人,才更容易被晓明。许多领导力和特质,都可以通过努力和学习获得,因此就算不是天生的领导者,也能成为一个具备领导魅力的人,进而被老板看见,向你伸出升迁的橘子枝。领导力是什么?领导力是一种能力或特质,甚至可以说是一种「影响力」。好的领导者通常具备影响和鼓励他人的能力,并导引他们朝着共同的目标和愿景前
    优思学院 2025-01-08 14:54 61浏览
  • 村田是目前全球量产硅电容的领先企业,其在2016年收购了法国IPDiA头部硅电容器公司,并于2023年6月宣布投资约100亿日元将硅电容产能提升两倍。以下内容主要来自村田官网信息整理,村田高密度硅电容器采用半导体MOS工艺开发,并使用3D结构来大幅增加电极表面,因此在给定的占位面积内增加了静电容量。村田的硅技术以嵌入非结晶基板的单片结构为基础(单层MIM和多层MIM—MIM是指金属 / 绝缘体/ 金属) 村田硅电容采用先进3D拓扑结构在100um内,使开发的有效静电容量面积相当于80个
    知白 2025-01-07 15:02 141浏览
  • 这篇内容主要讨论三个基本问题,硅电容是什么,为什么要使用硅电容,如何正确使用硅电容?1.  硅电容是什么首先我们需要了解电容是什么?物理学上电容的概念指的是给定电位差下自由电荷的储藏量,记为C,单位是F,指的是容纳电荷的能力,C=εS/d=ε0εrS/4πkd(真空)=Q/U。百度百科上电容器的概念指的是两个相互靠近的导体,中间夹一层不导电的绝缘介质。通过观察电容本身的定义公式中可以看到,在各个变量中比较能够改变的就是εr,S和d,也就是介质的介电常数,金属板有效相对面积以及距离。当前
    知白 2025-01-06 12:04 223浏览
  • 本文介绍Linux系统更换开机logo方法教程,通用RK3566、RK3568、RK3588、RK3576等开发板,触觉智能RK3562开发板演示,搭载4核A53处理器,主频高达2.0GHz;内置独立1Tops算力NPU,可应用于物联网网关、平板电脑、智能家居、教育电子、工业显示与控制等行业。制作图片开机logo图片制作注意事项(1)图片必须为bmp格式;(2)图片大小不能大于4MB;(3)BMP位深最大是32,建议设置为8;(4)图片名称为logo.bmp和logo_kernel.bmp;开机
    Industio_触觉智能 2025-01-06 10:43 93浏览
  • PLC组态方式主要有三种,每种都有其独特的特点和适用场景。下面来简单说说: 1. 硬件组态   定义:硬件组态指的是选择适合的PLC型号、I/O模块、通信模块等硬件组件,并按照实际需求进行连接和配置。    灵活性:这种方式允许用户根据项目需求自由搭配硬件组件,具有较高的灵活性。    成本:可能需要额外的硬件购买成本,适用于对系统性能和扩展性有较高要求的场合。 2. 软件组态   定义:软件组态主要是通过PLC
    丙丁先生 2025-01-06 09:23 98浏览
我要评论
0
点击右上角,分享到朋友圈 我知道啦
请使用浏览器分享功能 我知道啦