基于NVIDIAJetson使用硬件在环设计机器人

原创 英伟达NVIDIA中国 2023-06-14 18:25


Hardware-in-the-Loop(硬件在环,HIL)测试是一种强大的工具,用于验证和核实包括机器人技术和计算机视觉在内的复杂系统的性能。本文探讨了 HIL 测试是如何通过 NVIDIA Isaac 平台应用于这些领域的。


NVIDIA Isaac 平台由 NVIDIA Isaac Sim NVIDIA Isaac ROS 组成。前者是一个仿真器,为测试机器人算法提供仿真环境,后者是针对 NVIDIA Jetson 优化的硬件加速软件,其中包含机器学习、计算机视觉和定位算法。基于 NVIDIA Isaac 平台进行 HIL 测试,您可以验证和优化机器人软件栈的性能,从而获得更安全、更可靠、更高效的产品。


下文将讨论 HIL 系统的各个组件,包括 NVIDIA Isaac 平台的软件和硬件。此外还会研究它们如何协同工作,以优化机器人和计算机视觉算法的性能。我们也将探讨使用 NVIDIA Isaac 平台进行 HIL 测试的好处,并与其他测试方法进行比较。


NVIDIA Isaac Sim


基于 Omniverse 的 NVIDIA Isaac Sim 为测试机器人和计算机视觉算法提供了一个照片级真实、物理精准的虚拟环境,使用户能够在无损坏物理硬件风险的前提下对性能进行微调。同时,该仿真器也是高度可定制的,是测试各种场景和用例的理想选择。


您可以利用 NVIDIA Isaac Sim 创造更智能、更先进的机器人。平台提供了一套能够帮您构建复杂算法的工具和技术,使机器人能够执行复杂的任务。


通过使用 Omniverse Nucleus 和 Omniverse ConnectorsNVIDIA Isaac Sim 可以轻松协作、共享和导入通用场景描述(USD)格式的环境和机器人模型。通过集成 Isaac ROS/ROS 2 接口、全功能的 Python 脚本,以及用于导入机器人和环境模型的插件,可以实现更加高效和有效的机器人仿真。



图 1. NVIDIA Isaac Sim 堆栈


您可以使用 ROS 或 ROS 2,又或是 Python 与 NVIDIA Isaac Sim 进行交互。运行 NVIDIA Isaac GymNVIDIA Isaac Cortex,生成合成数据,或者将其用于数字孪生。


NVIDIA Isaac Sim 在内部采用定制版本ROS Noetic,使用 roscpp 构建用于 ROS Bridge,与 Omniverse 框架和 Python 3.7 无缝协作。这个版本与 ROS Melodic 兼容。


NVIDIA Isaac Sim 目前支持 ROS 2 Foxy 和 Humble 的 ROS 2 Bridge,建议将 Ubuntu 20.04 用于 ROS 2。


了解更多详细信息,请参阅 NVIDIA Isaac Simhttps://developer.nvidia.com/isaac-sim


NVIDIA Isaac ROS


NVIDIA Isaac ROS 建立在机器人操作系统(ROS)之上,提供了一系列先进的功能和工具,帮您打造更智能、更强大的机器人。这些功能包括先进的绘图和定位,以及物体检测和跟踪。有关最新功能的更多信息,请参阅 Isaac ROS Developer Preview 3 (https://developer.nvidia.com/blog/build-high-performance-robotic-applications-with-nvidia-isaac-ros-developer-preview-3/


通过使用 NVIDIA Isaac 平台的 Isaac ROS,您可以创建复杂的机器人应用程序,精确地执行复杂的任务。凭借强大的计算机视觉和定位算法,Isaac ROS 对于任何希望创建高级机器人应用程序的开发人员来说都是一个有价值的工具。



图 2. Isaac ROS 和软件层


Isaac GEMs for ROS 是一套为机器人社区发布的 GPU 加速 ROS 2 软件包,是 NVIDIA Jetson 平台的一部分。


Isaac ROS 提供了一套用于感知及 AI 的软件包,以及被称为 NVIDIA Isaac Transport for ROS (NITROS) 的完整管线。这些软件包已经针对 NVIDIA GPU 和 Jetson 平台进行了优化,具有图像处理和计算机视觉的功能。


在这篇文章中,我们收录了如何为以下软件包运行 HIL 的示例:


  • NVIDIA Isaac ROS vslam

  • NVIDIA Isaac ROS apriltag

  • NVIDIA Isaac ROS nvblox

  • NVIDIA Isaac ROS Proximity segmentation


有关其他 Isaac ROS 软件包和最新 Isaac ROS Developer Preview 3 的更多信息,请参阅 NVIDIA Isaac ROS (https://developer.nvidia.com/isaac-ros)


硬件规格和设置


对于此测试,您需要一个工作站或笔记本电脑,以及一个 NVIDIA Jetson 平台:


  • 搭载 Ubuntu 20.04 的 x86/64 计算机

  • 带 NVIDIA RTX 的 NVIDIA 显卡 

  • 显示器

  • 键盘和鼠标

  • NVIDIA Jetson AGX Orin 或 NVIDIA Jetson Orin NX

  • NVIDIA JetPack 5+(测试版本为 5.1.1)

  • 路由器

  • 以太网电缆



图 3. 硬件设置


当在设备之间(如 NVIDIA Jetson 模块和电脑传输大量数据时,通常首选使用有线以太网连接而不是 Wi-Fi。这是因为以太网连接提供了更快、更可靠的数据传输速率,对于实时数据处理和机器学习任务尤为重要。


在 Jetson 模块和电脑之间建立以太网连接,您需要按照以下步骤操作:


  1. 准备一根以太网电缆和一个带有免费以太网端口的路由器。

  2. 将电缆的一端插入设备的以太网端口。

  3. 将电缆的另一端插入路由器上其他未使用的以太网端口。

  4. 打开设备,等待其完全启动。

  5. 通过查找以太网图标,或使用如 ifconfig 或 ipconfig 的网络诊断工具。


当电脑和 NVIDIA Jetson 准备就绪并连接后,请按照 /NVIDIA-AI-IOT/isaac_demo (https://github.com/NVIDIA-AI-IOT/isaac_demo)进行操作。


运行 Demo 和驱动


第一步,在工作站上运行 NVIDIA Isaac Sim。使用 ./isaac_ros.sh 脚本运行一个 Carter 机器人的 Demo。


Carter 1.0 是一个机器人平台,使用了 Segway 的差速器底座、一个用于 3D 范围扫描的 Velodyne P16、一个 ZED 摄像头、一个 IMU 以及一个作为系统核心的 Jetson 模块,与定制的安装支架一起,为 NVIDIA Isaac 导航堆栈提供了一个强大而坚固的演示平台。


当仿真开始时,您可以看到 NVIDIA Isaac Sim 的立体相机进行输出。使用两个摄像头,机器人已经准备好接收在 NVIDIA Jetson 模块上运行的 Isaac ROS 的输入。



图 4. NVIDIA Isaac Sim 上的 Carter


在 Demo 中试用 Isaac ROS 软件包


在这篇文章中,我们探讨用于 AMR 机器人或轮式机器人的 NVIDIA Isaac ROS 软件包。我们会重点讨论用于定位、绘图和 AprilTag 检测的软件包,您也可以根据需要修改资源库,以测试其他需要使用的软件包。


Isaac ROS Visual SLAM


NVIDIA Isaac ROS Visual SLAM 采用了视觉里程计和同步定位与建图技术(SLAM)的结合。


视觉里程计用于估计摄像机相对于其起始位置的位置。该技术涉及分析两个连续输入帧或立体声对识别关键点集合的迭代过程。通过匹配这两个集合的关键点,可以确定摄像机的过渡和帧之间的相对旋转。


SLAM 是一种通过结合先前获得的轨迹来增强视觉 SLAM 准确性的方法。通过检测当前场景是否曾被看过(摄像机运动的循环),就可以优化先前估计的摄像机姿势。



图 5. Isaac ROS vslam 和 nvblox 



图 6. Isaac ROS vslam 和 nvblox 运行状态


Isaac ROS nvblox


nvblox 软件包通过使用传感器观测数据,实时建立机器人周围环境的 3D 模型,路径规划人员可以使用该模型来创建无碰撞路径。软件包使用 NVIDIA CUDA 技术来加速这一过程,以获得实时性能。这个存储库包括用于 nvblox 库的 ROS 2 集成。



图 7. Isaac ROS NVblox 工作流程



图 8. Isaac ROS vs.lam 输出


按照 /NVIDIA-AI-IOT/isaac_demo (https://github.com/NVIDIA-AI-IOT/isaac_demo进行操作,Isaac ROS vslam 软件包即可在 Demo 上运行。


NVIDIA Isaac ROS apriltag


ROS 2 apriltag 软件包使用 NVIDIA GPU 来加速图像中的检测,并发布位姿、ID 和其他元数据。这个软件包可与 ROS 2 节点的 CPU AprilTag 检测相媲美。


这些标签是驱动机器人或操纵者从特定点开始动作或完成作业的基准。它们也被用于增强现实,以校准观察孔的测距。这些标签在许多系列中都可用,也易用桌面打印机打印,如图 9 中的标签。


图 9. AprilTags 代替二维码的例子



图 10. Isaac ROS apriltag 检测 Demo


Isaac ROS proximity segmentation


isaac_ros_bi3d 软件包采用了一个 Bi3D 模型,该模型经过优化,通过二元分类可执行立体深度评估。这个过程被用于 proximity segmentation,有助于识别某个范围内是否存在障碍物,并有助于在环境中导航时防止碰撞。



图 11. Isaac ROS proximity segmentation


使用 rviz 驱动 Carter


当读取 rviz 并全部运行时,rviz 显示了下图中的输出。图 12 显示了 Carter 在地图的中心和所有区块的位置。



图 12. 使用 Isaac ROS vslam 和 

Isaac ROS nvblox 构建地图的 rviz


以下视频展示的是您可以使用 rviz 在所有环境中驱动机器人,并查看由 nvblox 生成的地图。



视频 1. NVIDIA Orin NX 上的 HIL,基于

 Isaac ROS vslam 和 nvblox


您也可以使用 Foxglove 来测试仿真。



图 13. 使用 Foxglove 进行仿真测试


总结


在这篇文章中,我们向您展示了如何设置 HIL 使用 NVIDIA Jetson Isaac ROS 模块进行测试,以及如何尝试 NVIDIA Isaac Sim。请在桌面电脑和 Jetson 模块之间使用有线连接。想要显示所有遥测的原始数据,您需要一个可靠的连接。


您也可以测试刚刚添加到 /isaac-ros_dev 文件夹的其他 NVIDIA Isaac ROS 软件包。更多详细信息,请参阅 readme . md 文件,位置是 /NVIDIA-AI-IOT/isaac_demo (https://github.com/NVIDIA-AI-IOT/isaac_demo


更多详细信息,请参阅 Isaac ROS 系列网络研讨会https://gateway.on24.com/wcc/experience/elitenvidiabrill/1407606/3998202/isaac-ros-webinar-series)


点击 “阅读原文”,或扫描下方海报二维码观看 NVIDIA 创始人兼 CEO 黄仁勋在 COMPUTEX 2023 的主题演讲直播回放,主题演讲中文字幕版已上线,了解 AI、图形及其他领域的最新进展!


评论
  • 在驾驶培训与考试的严谨流程中,EST580驾培驾考系统扮演着至关重要的数据角色。它不仅集成了转速监控、车速管理、转向角度测量、转向灯光控制以及手刹与安全带状态检测等多项功能,还通过高精度的OBD数据采集器实时捕捉车辆运行状态,确保学员在模拟及实际驾驶中的每一步操作都精准无误。EST580驾培驾考转速车速转向角转向灯光手刹安全带OBD数据采集器系统的重要性及其功能:1、提高评判效率:通过原车CAN协议兼容,不同车型通过刷写固件覆盖,不仅提高了考试的数字化、自动化程度,还减少了人为干预的安装需要,从
    lauguo2013 2024-12-09 16:51 42浏览
  • 自20世纪60年代问世以来,光耦合器彻底改变了电子系统实现电气隔离和信号传输的方式。通过使用光作为传输信号的媒介,光耦合器消除了直接电气连接的需求,确保了安全性和可靠性。本文记录了光耦合器技术的发展,重点介绍了关键创新、挑战以及这一不可或缺组件的未来发展。 过去:起源和早期应用光耦合器的发明源于处理高压或嘈杂环境的系统对安全电气隔离的需求。早期的光耦合器由LED和光电晶体管的简单组合组成,可提供可靠的隔离,但具有明显的局限性:低速:早期的光耦合器速度慢,频率响应有限,不适合高速数字通信
    腾恩科技-彭工 2024-12-06 16:28 140浏览
  •   在外地五年,回家就是大清洁、大清理,忙活了一个多月,废旧物品实在太多太多!除了老旧或出故障了的家具家电外,就是以前职业生涯养成的研究分析习惯而收留和拆解下的电子电器电脑整机、部件、零件、材料、辅料等等。  家具家电不说了,说说保留的各种各样机械、电器、电气、电子类的吧!有好有坏,扔又舍不得,满满的回忆,历史的烙印。留又没有用,拆解做分析和学习是忙不过来的了,加之,到如今个人做拆解的学习目的已经淡化了,也是因为用不着了。以前是研究学习和促进废物利用,理想也梦想能唤起循环使用产业链,结论是根本不
    自做自受 2024-12-08 22:59 151浏览
  • 光耦合器以其提供电气隔离的能力而闻名,广泛应用于从电源到通信系统的各种应用。尽管光耦合器非常普遍,但人们对其特性和用途存在一些常见的误解。本文将揭穿一些最常见的误解,以帮助工程师和爱好者做出更明智的决策。 误解1:光耦合器的使用寿命较短事实:虽然光耦合器内部的LED会随着时间的推移而退化,但LED材料和制造工艺的进步已显著提高了其使用寿命。现代光耦合器的设计使用寿命为正常工作条件下的数十年。适当的热管理和在推荐的电流水平内工作可以进一步延长其使用寿命。误解2:光耦合器对于现代应用来说太
    腾恩科技-彭工 2024-12-06 16:29 182浏览
  • “SPI转CAN-FD”是嵌入式开发领域的常用方法,它极大地促进了不同通信接口之间的无缝连接,并显著降低了系统设计的复杂性。飞凌嵌入式依托瑞芯微RK3562J处理器打造的OK3562J-C开发板因为内置了SPI转CAN-FD驱动,从而原生支持这一功能。该开发板特别设计了一组SPI引脚【P8】,专为SPI转CAN-FD应用而引出,为用户提供了极大的便利。MCP2518FD是一款在各行业中都有着广泛应用的CAN-FD控制器芯片,本文就将为大家介绍如何在飞凌嵌入式RK3562J开发板上适配MCP251
    飞凌嵌入式 2024-12-07 14:30 82浏览
  • 随着各行各业对可靠、高效电子元件的需求不断增长,国产光耦合器正成为全球半导体市场的重要参与者。这些元件利用先进的制造工艺和研究驱动的创新,弥补了高性能和可负担性之间的差距。本文探讨了国产光耦合器日益突出的地位,重点介绍了其应用和技术进步。 关键技术进步国产光耦合器制造商在提高性能和多功能性方面取得了重大进展。高速光耦合器现在能够处理快速数据传输,使其成为电信和工业自动化中不可或缺的一部分。专为电力电子设计的栅极驱动器光耦合器可确保电动汽车和可再生能源逆变器等高压系统的精确控制。采用碳化
    克里雅半导体科技 2024-12-06 16:34 154浏览
  • 进入11月中下旬,智能手机圈再度热闹起来。包括华为、小米、OPPO、vivo等诸多手机厂商,都在陆续预热发布新机,其中就包括华为Mate 70、小米Redmi K80、vivo的S20,IQOO Neo10等热门新机,这些热门新机的集中上市迅速吸引了全行业的目光。而在诸多手机厂商集体发布新机的背后,是智能手机行业的“触底反弹”。据机构数据显示,2024年第三季度,中国智能手机市场出货量约为6878万台,同比增长3.2%,连续四个季度保持同比增长,显然新一轮手机换机潮已在加速到来。憋了三年,国内智
    刘旷 2024-12-09 10:43 74浏览
  • 光耦合器对于确保不同电路部分之间的电气隔离和信号传输至关重要。通过防止高压干扰敏感元件,它们可以提高安全性和可靠性。本指南将指导您使用光耦合器创建一个简单的电路,介绍其操作的基本原理和实际实施。光耦合器的工作原理光耦合器包含一个LED和一个光电晶体管。当LED接收到信号时,它会发光,激活光电晶体管,在保持隔离的同时传输信号。这使其成为保护低功耗控制电路免受高压波动影响的理想选择。组件和电路设置对于这个项目,我们将使用晶体管输出光耦合器(例如KLV2002)。收集以下组件:光耦合器、1kΩ电阻(输
    克里雅半导体科技 2024-12-06 16:34 226浏览
  • 习学习笔记&记录学习学习笔记&记录学习学习笔记&记录学习学习笔记&记录学习笔记&记录学习习笔记&记学习学习笔记&记录学习学习笔记&记录学习习笔记&记录学习学习笔记&记录学习学习笔记记录学习学习笔记&记录学习学习笔记&记录学习学习笔记&记录学习学习笔记&记录学习学习笔记&记录学习习笔记&记录学习学习笔记&记录学习学习笔记&记录学习学习笔记&记录学习学习笔记&记录学习学习笔记&记录学习学习笔记&记录学习学习笔记&学习学习笔记&记录学习学习笔记&记录学习学习笔记&记录学习学习笔记&记录学习学习笔记&记
    youyeye 2024-12-09 08:53 73浏览
  • 2024年12月09日 环洋市场咨询机构出版了一份详细的、综合性的调研分析报告【全球电机控制系统芯片 (SoC)行业总体规模、主要厂商及IPO上市调研报告,2024-2030】。本报告研究全球电机控制系统芯片 (SoC)总体规模,包括产量、产值、消费量、主要生产地区、主要生产商及市场份额,同时分析电机控制系统芯片 (SoC)市场主要驱动因素、阻碍因素、市场机遇、挑战、新产品发布等。报告从电机控制系统芯片 (SoC)产品类型细分、应用细分、企业、地区等角度,进行定量和定性分析,包括产量、产值、均价
    GIRtina 2024-12-09 11:32 75浏览
  • 开发板在默认情况下,OpenHarmony系统开机后 30 秒会自动息屏,自动息屏会让不少用户感到麻烦,触觉智能教大家两招轻松取消自动息屏。使用触觉智能Purple Pi OH鸿蒙开发板演示,搭载了瑞芯微RK3566四核处理器,Laval鸿蒙社区推荐开发板,已适配全新OpenHarmony5.0 Release系统,SDK源码全开放!SDK源码中修改修改以下文件参数:base/powermgr/power_manager/services/native/profile/power_mode_co
    Industio_触觉智能 2024-12-09 11:39 63浏览
我要评论
0
点击右上角,分享到朋友圈 我知道啦
请使用浏览器分享功能 我知道啦