使用NVIDIAIsaacROSDeveloperPreview3构建高性能机器人应用

原创 英伟达NVIDIA中国 2023-04-27 17:05


随着自主性提升、传感器数量与种类以及传感器融合算法的日益增加,机器人正变得越来越复杂。为了运行这些日益复杂的工作负载,必须利用硬件加速,使机器人应用能够以更快的速度和更高的效率运行更大规模的工作负载。


NVIDIA Isaac ROS 始终致力于为 ROS 开发者提供加速计算软件包和工具,用以开发高性能且节能的机器人应用。


NVIDIA 率先将加速计算纳入了 ROS 2,并不断改进更新版本。在过去的两年中,NVIDIA 已增加了 20 多个硬件加速 ROS 软件包,支持最新发行的 ROS 2。


团队去年与 Open Robotics 一起,在提供硬件加速器的计算平台上加入了适应和类型协商以提高 ROS 的性能。他们还实现了用于 Isaac ROS 的适应和类型协商—— NITROS(NVIDIA Isaac Transport for ROS)


最新发布的 NVIDIA Isaac ROS Developer Preview 3(DP3)包括重要功能的更新和提升。


NVIDIA Isaac ROS Developer Preview 3


NVIDIA Isaac ROS DP3 加入了许多新的功能,让 ROS 社区能够从硬件加速中获益,主要包括:用于自动定位机器人的新地图定位器,带有人类检测功能的更新版 NvBlox、用于对 ROS 2 图像进行实际基准测试的全新 ROS 2 基准测试工具,以及开源 NITROS 软件包。


不到半秒就能在地图中自动定位


移动机器人(比如用于仓库或服务的机器人等)在开始进入空间之前,需要知道它们在地图中的初始位姿。向机器人提供这种初始位姿信息的最常见方法是手动设置,不过这种方法不仅要在整个过程中增加人工干预,还可能需要 30 秒以上的时间。


使用新的 Isaac ROS 地图定位 ROS 软件包,就不需要手动设置机器人的初始位置和方向。该软件包使用激光雷达测距扫描,可在不到半秒的时间内自动估计在所占网格地图中的位姿。定位器可以与平面激光雷达或 3D 激光雷达同时工作,并且可用于初始化移动机器人的导航。


这个 ROS 软件包通过 GPU 加速并利用 NITROS 创建没有通信开销的高效 ROS 流程,已经与 Nav2 集成。



图 1 NVIDIA Isaac ROS 地图定位软件包

在不到半秒的时间内自动计算出初始全局位姿


移除三维重建中的人类


Isaac ROS NvBlox 提供了一个用于三维重建的 GPU 加速软件包,并利用传感器观测数据绘制了机器人周边环境的代价地图。这些都对路径规划器生成无碰撞路径十分有用。


在人群中移动的机器人需要首先检测到人类,然后根据与他们的接近程度选择不同的路线。尽管人类应该成为代价地图的一部分(用来计算无碰撞路径),但不应该成为三维重建的一部分。三维重建应该只包含静态障碍物。


Isaac ROS DP3 版本所包含的 Isaac ROS NvBlox 软件包更新版本可以检测和划分人类,并提供人类的代价地图以避免发生碰撞。同样,它还提供用于三维重建的静态代价地图,以避免与静态物体发生碰撞。



图 2 Isaac ROS NvBlox 软件包

在三维重建过程中检测并移除人类


对 ROS 图像进行标准的基准测试


对 ROS 图像进行的基准测试应反映出在实际工作负载下的性能。对整个 ROS 图像(而不是一个特定的 ROS 节点)进行基准测试十分重要,该测试将包含 RCL 中指示实际性能的消息传输成本。


Isaac ROS DP3 包含 ROS 2 的开源基准测试工具。该工具不需要通过修改节点来度量结果,而且可以将输入的 rosbag 数据集标准化,以便对基准结果进行独立验证。



图 3 ROS 2 基准架构


该基准测试工具采用行业最佳实践,并专门为了测量实时机器人应用中的节点图吞吐量和延迟而进行了专业强化。亮点包括:


  • 可靠的结果:在多秒内进行 N 次(默认 N=5 )自动性能测试,舍弃结果的最小和最大值以减少误差。基准结果在日志文件中报告,以便导入用户所选择的可视化工具中。

  • 输入数据集:可在 CCv4.0 归属许可证下从 NGC 下载,r2b data set 2023 为 rosbag 的图像提供一致的输入,并且用户可根据需要添加额外的输入数据。

  • 输入图像分辨率:各种计算硬件可根据机器人应用的不同以合适的分辨率处理图像。

  • 输入和输出传输时间:RCL 发布和接收进程间和进程内消息的时间包含在测量结果中,能够准确表示机器人应用中的预期情况,避免了去除消息传递成本后的夸大结果。

  • 输入和输出类型自适应:使用标准 ROS 类型输入数据或者使用类型适应类型协商

  • 基准参数:用于测试的参数包括数据输入长度、发布速率和输入数据大小,并且可通过配置文件自定义。

  • 吞吐量自动查找器:测量图像的峰值吞吐量,在 topic 下降到 <1% 的情况下,要求自动找到图像的峰值吞吐量。吞吐量自动查找器能够高效查找峰值吞吐量的输入数据发布速率。

  • 实时延迟:根据固定的 topic 发布速率实时测量延迟。该数据显示以预期的固定发布速率向实时系统传输内容,吞吐量会显示机器人应用可能的峰值性能。

  • 云原生:测试可以作为自动化测试的一部分在 Kubernetes 上执行,也可以作为现代软件开发的一部分在 CI/CD 每日夜间测试中执行。也可以在本地开发者系统上进行测试。

  • 黑盒测试:在基准测试中直接使用所有性能测量工具,将节点图像作为二进制文件进行测试。这期间不会修改被测试的图像中的代码,并且可以用相同的工具以一种自然的方式进行包含从开源到专有解决方案的性能测试。

  • 透明性:JSON 中的结果包含用于运行基准测试的参数,包括用于独立结果验证的输入 rosbag 的 MD5 算法的数据。


支持 NVIDIA Jetson 新增平台


Isaac ROS DP3 增加了对 NVIDIA Jetson 系列最新产品 NVIDIA Jetson Orin Nano  NVIDIA Jetson Orin NX 的支持。它还支持新发布的 NVIDIA Jetson Orin Nano 开发者套件。所有 Jetson Orin 和 Xavier 系列的模块和开发者套件均支持 Isaac ROS。



图 4 Isaac ROS DP3 

支持 Jetson Orin 系列的模块和开发者套件


新版本还增加了对新发布的 NVIDIA Ada Lovelace architecture 和 NVIDIA GeForce RTX 40 GPU 的支持。 


从此更新版本开始,NITROS 加速的 Isaac ROS 软件包中的大部分内容均已开源。作为 ROS 开发者,您现在可以扩展这些软件包、解决您遇到的任何问题并向 Isaac ROS 社区投稿。


总结


NVIDIA Isaac ROS Developer Preview 3 是一项重大更新,让 ROS 社区能够从硬件加速中获益,从而更轻松地构建高性能节能机器人应用。该版本的亮点主要包括:可对 ROS 2 图像进行实际基准测试的全新 ROS 2 基准测试工具;可对机器人进行自动定位的全新地图定位器;开源的 NITROS 软件包;以及带有人类检测功能的更新版 NvBlox。


其他资源:


  • 报名参与网络研讨会:使用 ros2_benchmark 测量机器人应用性能。(https://gateway.on24.com/wcc/experience/elitenvidiabrill/1407606/3998202/isaac-ros-webinar-series

  • 阅读 Isaac ROS 四月更新,了解更多细节和Isaac ROS DP3 中新增的功能。(https://discourse.ros.org/t/isaac-ros-april-update-open-source-orin-nano-lovelace-gpu-s/30755

  • 访问 GitHub 上的 Isaac ROS 并开始使用 Isaac ROS DP3。

    https://github.com/NVIDIA-ISAAC-ROS

  • 在 NVIDIA Isaac ROS 论坛上与其他用户进行交流。(https://forums.developer.nvidia.com/c/agx-autonomous-machines/isaac/isaac-ros/600



即刻点击 “阅读原文” 或扫描下方海报二维码在 NVIDIA On-Demand 上观看 GTC 精选回放,包括主题演讲相关精选、中国本地精选内容、生成式 AI 专题以及全球各行业及领域最新成果!


评论 (0)
  • 硅二极管温度传感器是一种基于硅半导体材料特性的测温装置,其核心原理是利用硅二极管的电学参数(如正向压降或电阻)随温度变化的特性实现温度检测。以下是其工作原理、技术特点及典型应用:一、工作原理1、‌PN结温度特性‌硅二极管由PN结构成,当温度变化时,其正向电压 VF与温度呈线性负相关关系。例如,温度每升高1℃,VF约下降2 mV。2、‌电压—温度关系‌通过jing确测量正向电压的微小变化,可推算出环境温度值。部分型号(如SI410)在宽温域内(如1.4 K至475 K)仍能保持高线性度。
    锦正茂科技 2025-05-09 13:52 111浏览
  • 温度传感器的工作原理依据其类型可分为以下几种主要形式:一、热电阻温度传感器利用金属或半导体材料的电阻值随温度变化的特性实现测温:l ‌金属热电阻‌(如铂电阻 Pt100、Pt1000):高温下电阻值呈线性增长,稳定性高,适用于工业精密测温。l ‌热敏电阻‌(NTC/PTC):NTC 热敏电阻阻值随温度升高而下降,PTC 则相反;灵敏度高但线性范围较窄,常用于电子设备温控。二、热电偶传感器基于‌塞贝克效应‌(Seebeck effect):两种不同
    锦正茂科技 2025-05-09 13:31 99浏览
  • 这款无线入耳式蓝牙耳机是长这个样子的,如下图。侧面特写,如下图。充电接口来个特写,用的是卡座卡在PCB板子上的,上下夹紧PCB的正负极,如下图。撬开耳机喇叭盖子,如下图。精致的喇叭(HY),如下图。喇叭是由电学产生声学的,具体结构如下图。电池包(AFS 451012  21 12),用黄色耐高温胶带进行包裹(安规需求),加强隔离绝缘的,如下图。451012是电池包的型号,聚合物锂电池+3.7V 35mAh,详细如下图。电路板是怎么拿出来的呢,剪断喇叭和电池包的连接线,底部抽出PCB板子
    liweicheng 2025-05-06 22:58 520浏览
  • 二位半 5线数码管的驱动方法这个2位半的7段数码管只用5个管脚驱动。如果用常规的7段+共阳/阴则需要用10个管脚。如果把每个段看成独立的灯。5个管脚来点亮,任选其中一个作为COM端时,另外4条线可以单独各控制一个灯。所以实际上最多能驱动5*4 = 20个段。但是这里会有一个小问题。如果想点亮B1,可以让第3条线(P3)置高,P4 置低,其它阳极连P3的灯对应阴极P2 P1都应置高,此时会发现C1也会点亮。实际操作时,可以把COM端线P3设置为PP输出,其它线为OD输出。就可以单独控制了。实际的驱
    southcreek 2025-05-07 15:06 417浏览
  • 随着智能驾驶时代到来,汽车正转变为移动计算平台。车载AI技术对存储器提出新挑战:既要高性能,又需低功耗和车规级可靠性。贞光科技代理的紫光国芯车规级LPDDR4存储器,以其卓越性能成为国产芯片产业链中的关键一环,为智能汽车提供坚实的"记忆力"支持。作为官方授权代理商,贞光科技通过专业技术团队和完善供应链,让这款国产存储器更好地服务国内汽车厂商。本文将探讨车载AI算力需求现状及贞光科技如何通过紫光国芯LPDDR4产品满足市场需求。 车载AI算力需求激增的背景与挑战智能驾驶推动算力需求爆发式
    贞光科技 2025-05-07 16:54 185浏览
  • Matter协议是一个由Amazon Alexa、Apple HomeKit、Google Home和Samsung SmartThings等全球科技巨头与CSA联盟共同制定的开放性标准,它就像一份“共生契约”,能让原本相互独立的家居生态在应用层上握手共存,同时它并非另起炉灶,而是以IP(互联网协议)为基础框架,将不同通信协议下的家居设备统一到同一套“语义规则”之下。作为应用层上的互通标准,Matter协议正在重新定义智能家居行业的运行逻辑,它不仅能向下屏蔽家居设备制造商的生态和系统,让设备、平
    华普微HOPERF 2025-05-08 11:40 268浏览
  • 飞凌嵌入式作为龙芯合作伙伴,隆重推出FET-2K0300i-S全国产自主可控工业级核心板!FET-2K0300i-S核心板基于龙芯2K0300i工业级处理器开发设计,集成1个64位LA264处理器,主频1GHz,提供高效的计算能力;支持硬件ECC;2K0300i还具备丰富的连接接口USB、SDIO、UART、SPI、CAN-FD、Ethernet、ADC等一应俱全,龙芯2K0300i支持四路CAN-FD接口,具备良好的可靠性、实时性和灵活性,可满足用户多路CAN需求。除性价比超高的国产处理器外,
    飞凌嵌入式 2025-05-07 11:54 63浏览
  • 后摄像头是长这个样子,如下图。5孔(D-,D+,5V,12V,GND),说的是连接线的个数,如下图。4LED,+12V驱动4颗LED灯珠,给摄像头补光用的,如下图。打开后盖,发现里面有透明白胶(防水)和白色硬胶(固定),用合适的工具,清理其中的胶状物。BOT层,AN3860,Panasonic Semiconductor (松下电器)制造的,Cylinder Motor Driver IC for Video Camera,如下图。TOP层,感光芯片和广角聚焦镜头组合,如下图。感光芯片,看着是玻
    liweicheng 2025-05-07 23:55 284浏览
  • 在过去的很长一段时间里,外卖市场呈现出美团和饿了么双寡头垄断的局面。美团凭借先发优势、强大的地推团队以及精细化的运营策略,在市场份额上长期占据领先地位。数据显示,截至2024年上半年,美团外卖以68.2%的市场份额领跑外卖行业,成为当之无愧的行业老大。其业务广泛覆盖,从一线城市的繁华商圈到二三线城市的大街小巷,几乎无处不在,为无数消费者提供便捷的外卖服务。饿了么作为阿里本地生活服务的重要一环,依托阿里强大的资金和技术支持,也在市场中站稳脚跟,以25.4%的份额位居第二。尽管市场份额上与美团有一定
    用户1742991715177 2025-05-06 19:43 63浏览
  • 文/郭楚妤编辑/cc孙聪颖‍相较于一众措辞谨慎、毫无掌舵者个人风格的上市公司财报,利亚德的财报显得尤为另类。利亚德光电集团成立于1995年,是一家以LED显示、液晶显示产品设计、生产、销售及服务为主业的高新技术企业。自2016年年报起,无论业绩优劣,董事长李军每年都会在财报末尾附上一首七言打油诗,抒发其对公司当年业绩的感悟。从“三年翻番顺大势”“智能显示我第一”“披荆斩棘幸从容”等词句中,不难窥见李军的雄心壮志。2012年,利亚德(300296.SZ)在深交所创业板上市。成立以来,该公司在细分领
    华尔街科技眼 2025-05-07 19:25 346浏览
  • UNISOC Miracle Gaming奇迹手游引擎亮点:• 高帧稳帧:支持《王者荣耀》等主流手游90帧高画质模式,连续丢帧率最高降低85%;• 丝滑操控:游戏冷启动速度提升50%,《和平精英》开镜开枪操作延迟降低80%;• 极速网络:专属游戏网络引擎,使《王者荣耀》平均延迟降低80%;• 智感语音:与腾讯GVoice联合,弱网环境仍能保持清晰通话;• 超高画质:游戏画质增强、超级HDR画质、游戏超分技术,优化游戏视效。全球手游市场规模日益壮大,游戏玩家对极致体验的追求愈发苛刻。紫光展锐全新U
    紫光展锐 2025-05-07 17:07 273浏览
我要评论
0
0
点击右上角,分享到朋友圈 我知道啦
请使用浏览器分享功能 我知道啦