基于NVIDIAJetson使用硬件在环设计机器人

原创 英伟达NVIDIA中国 2023-06-14 18:25


Hardware-in-the-Loop(硬件在环,HIL)测试是一种强大的工具,用于验证和核实包括机器人技术和计算机视觉在内的复杂系统的性能。本文探讨了 HIL 测试是如何通过 NVIDIA Isaac 平台应用于这些领域的。


NVIDIA Isaac 平台由 NVIDIA Isaac Sim NVIDIA Isaac ROS 组成。前者是一个仿真器,为测试机器人算法提供仿真环境,后者是针对 NVIDIA Jetson 优化的硬件加速软件,其中包含机器学习、计算机视觉和定位算法。基于 NVIDIA Isaac 平台进行 HIL 测试,您可以验证和优化机器人软件栈的性能,从而获得更安全、更可靠、更高效的产品。


下文将讨论 HIL 系统的各个组件,包括 NVIDIA Isaac 平台的软件和硬件。此外还会研究它们如何协同工作,以优化机器人和计算机视觉算法的性能。我们也将探讨使用 NVIDIA Isaac 平台进行 HIL 测试的好处,并与其他测试方法进行比较。


NVIDIA Isaac Sim


基于 Omniverse 的 NVIDIA Isaac Sim 为测试机器人和计算机视觉算法提供了一个照片级真实、物理精准的虚拟环境,使用户能够在无损坏物理硬件风险的前提下对性能进行微调。同时,该仿真器也是高度可定制的,是测试各种场景和用例的理想选择。


您可以利用 NVIDIA Isaac Sim 创造更智能、更先进的机器人。平台提供了一套能够帮您构建复杂算法的工具和技术,使机器人能够执行复杂的任务。


通过使用 Omniverse Nucleus 和 Omniverse ConnectorsNVIDIA Isaac Sim 可以轻松协作、共享和导入通用场景描述(USD)格式的环境和机器人模型。通过集成 Isaac ROS/ROS 2 接口、全功能的 Python 脚本,以及用于导入机器人和环境模型的插件,可以实现更加高效和有效的机器人仿真。



图 1. NVIDIA Isaac Sim 堆栈


您可以使用 ROS 或 ROS 2,又或是 Python 与 NVIDIA Isaac Sim 进行交互。运行 NVIDIA Isaac GymNVIDIA Isaac Cortex,生成合成数据,或者将其用于数字孪生。


NVIDIA Isaac Sim 在内部采用定制版本ROS Noetic,使用 roscpp 构建用于 ROS Bridge,与 Omniverse 框架和 Python 3.7 无缝协作。这个版本与 ROS Melodic 兼容。


NVIDIA Isaac Sim 目前支持 ROS 2 Foxy 和 Humble 的 ROS 2 Bridge,建议将 Ubuntu 20.04 用于 ROS 2。


了解更多详细信息,请参阅 NVIDIA Isaac Simhttps://developer.nvidia.com/isaac-sim


NVIDIA Isaac ROS


NVIDIA Isaac ROS 建立在机器人操作系统(ROS)之上,提供了一系列先进的功能和工具,帮您打造更智能、更强大的机器人。这些功能包括先进的绘图和定位,以及物体检测和跟踪。有关最新功能的更多信息,请参阅 Isaac ROS Developer Preview 3 (https://developer.nvidia.com/blog/build-high-performance-robotic-applications-with-nvidia-isaac-ros-developer-preview-3/


通过使用 NVIDIA Isaac 平台的 Isaac ROS,您可以创建复杂的机器人应用程序,精确地执行复杂的任务。凭借强大的计算机视觉和定位算法,Isaac ROS 对于任何希望创建高级机器人应用程序的开发人员来说都是一个有价值的工具。



图 2. Isaac ROS 和软件层


Isaac GEMs for ROS 是一套为机器人社区发布的 GPU 加速 ROS 2 软件包,是 NVIDIA Jetson 平台的一部分。


Isaac ROS 提供了一套用于感知及 AI 的软件包,以及被称为 NVIDIA Isaac Transport for ROS (NITROS) 的完整管线。这些软件包已经针对 NVIDIA GPU 和 Jetson 平台进行了优化,具有图像处理和计算机视觉的功能。


在这篇文章中,我们收录了如何为以下软件包运行 HIL 的示例:


  • NVIDIA Isaac ROS vslam

  • NVIDIA Isaac ROS apriltag

  • NVIDIA Isaac ROS nvblox

  • NVIDIA Isaac ROS Proximity segmentation


有关其他 Isaac ROS 软件包和最新 Isaac ROS Developer Preview 3 的更多信息,请参阅 NVIDIA Isaac ROS (https://developer.nvidia.com/isaac-ros)


硬件规格和设置


对于此测试,您需要一个工作站或笔记本电脑,以及一个 NVIDIA Jetson 平台:


  • 搭载 Ubuntu 20.04 的 x86/64 计算机

  • 带 NVIDIA RTX 的 NVIDIA 显卡 

  • 显示器

  • 键盘和鼠标

  • NVIDIA Jetson AGX Orin 或 NVIDIA Jetson Orin NX

  • NVIDIA JetPack 5+(测试版本为 5.1.1)

  • 路由器

  • 以太网电缆



图 3. 硬件设置


当在设备之间(如 NVIDIA Jetson 模块和电脑传输大量数据时,通常首选使用有线以太网连接而不是 Wi-Fi。这是因为以太网连接提供了更快、更可靠的数据传输速率,对于实时数据处理和机器学习任务尤为重要。


在 Jetson 模块和电脑之间建立以太网连接,您需要按照以下步骤操作:


  1. 准备一根以太网电缆和一个带有免费以太网端口的路由器。

  2. 将电缆的一端插入设备的以太网端口。

  3. 将电缆的另一端插入路由器上其他未使用的以太网端口。

  4. 打开设备,等待其完全启动。

  5. 通过查找以太网图标,或使用如 ifconfig 或 ipconfig 的网络诊断工具。


当电脑和 NVIDIA Jetson 准备就绪并连接后,请按照 /NVIDIA-AI-IOT/isaac_demo (https://github.com/NVIDIA-AI-IOT/isaac_demo)进行操作。


运行 Demo 和驱动


第一步,在工作站上运行 NVIDIA Isaac Sim。使用 ./isaac_ros.sh 脚本运行一个 Carter 机器人的 Demo。


Carter 1.0 是一个机器人平台,使用了 Segway 的差速器底座、一个用于 3D 范围扫描的 Velodyne P16、一个 ZED 摄像头、一个 IMU 以及一个作为系统核心的 Jetson 模块,与定制的安装支架一起,为 NVIDIA Isaac 导航堆栈提供了一个强大而坚固的演示平台。


当仿真开始时,您可以看到 NVIDIA Isaac Sim 的立体相机进行输出。使用两个摄像头,机器人已经准备好接收在 NVIDIA Jetson 模块上运行的 Isaac ROS 的输入。



图 4. NVIDIA Isaac Sim 上的 Carter


在 Demo 中试用 Isaac ROS 软件包


在这篇文章中,我们探讨用于 AMR 机器人或轮式机器人的 NVIDIA Isaac ROS 软件包。我们会重点讨论用于定位、绘图和 AprilTag 检测的软件包,您也可以根据需要修改资源库,以测试其他需要使用的软件包。


Isaac ROS Visual SLAM


NVIDIA Isaac ROS Visual SLAM 采用了视觉里程计和同步定位与建图技术(SLAM)的结合。


视觉里程计用于估计摄像机相对于其起始位置的位置。该技术涉及分析两个连续输入帧或立体声对识别关键点集合的迭代过程。通过匹配这两个集合的关键点,可以确定摄像机的过渡和帧之间的相对旋转。


SLAM 是一种通过结合先前获得的轨迹来增强视觉 SLAM 准确性的方法。通过检测当前场景是否曾被看过(摄像机运动的循环),就可以优化先前估计的摄像机姿势。



图 5. Isaac ROS vslam 和 nvblox 



图 6. Isaac ROS vslam 和 nvblox 运行状态


Isaac ROS nvblox


nvblox 软件包通过使用传感器观测数据,实时建立机器人周围环境的 3D 模型,路径规划人员可以使用该模型来创建无碰撞路径。软件包使用 NVIDIA CUDA 技术来加速这一过程,以获得实时性能。这个存储库包括用于 nvblox 库的 ROS 2 集成。



图 7. Isaac ROS NVblox 工作流程



图 8. Isaac ROS vs.lam 输出


按照 /NVIDIA-AI-IOT/isaac_demo (https://github.com/NVIDIA-AI-IOT/isaac_demo进行操作,Isaac ROS vslam 软件包即可在 Demo 上运行。


NVIDIA Isaac ROS apriltag


ROS 2 apriltag 软件包使用 NVIDIA GPU 来加速图像中的检测,并发布位姿、ID 和其他元数据。这个软件包可与 ROS 2 节点的 CPU AprilTag 检测相媲美。


这些标签是驱动机器人或操纵者从特定点开始动作或完成作业的基准。它们也被用于增强现实,以校准观察孔的测距。这些标签在许多系列中都可用,也易用桌面打印机打印,如图 9 中的标签。


图 9. AprilTags 代替二维码的例子



图 10. Isaac ROS apriltag 检测 Demo


Isaac ROS proximity segmentation


isaac_ros_bi3d 软件包采用了一个 Bi3D 模型,该模型经过优化,通过二元分类可执行立体深度评估。这个过程被用于 proximity segmentation,有助于识别某个范围内是否存在障碍物,并有助于在环境中导航时防止碰撞。



图 11. Isaac ROS proximity segmentation


使用 rviz 驱动 Carter


当读取 rviz 并全部运行时,rviz 显示了下图中的输出。图 12 显示了 Carter 在地图的中心和所有区块的位置。



图 12. 使用 Isaac ROS vslam 和 

Isaac ROS nvblox 构建地图的 rviz


以下视频展示的是您可以使用 rviz 在所有环境中驱动机器人,并查看由 nvblox 生成的地图。



视频 1. NVIDIA Orin NX 上的 HIL,基于

 Isaac ROS vslam 和 nvblox


您也可以使用 Foxglove 来测试仿真。



图 13. 使用 Foxglove 进行仿真测试


总结


在这篇文章中,我们向您展示了如何设置 HIL 使用 NVIDIA Jetson Isaac ROS 模块进行测试,以及如何尝试 NVIDIA Isaac Sim。请在桌面电脑和 Jetson 模块之间使用有线连接。想要显示所有遥测的原始数据,您需要一个可靠的连接。


您也可以测试刚刚添加到 /isaac-ros_dev 文件夹的其他 NVIDIA Isaac ROS 软件包。更多详细信息,请参阅 readme . md 文件,位置是 /NVIDIA-AI-IOT/isaac_demo (https://github.com/NVIDIA-AI-IOT/isaac_demo


更多详细信息,请参阅 Isaac ROS 系列网络研讨会https://gateway.on24.com/wcc/experience/elitenvidiabrill/1407606/3998202/isaac-ros-webinar-series)


点击 “阅读原文”,或扫描下方海报二维码观看 NVIDIA 创始人兼 CEO 黄仁勋在 COMPUTEX 2023 的主题演讲直播回放,主题演讲中文字幕版已上线,了解 AI、图形及其他领域的最新进展!


评论
  • 在阅读了《高速PCB设计经验规则应用实践》后,对于PCB设计的布局经验有了更为深入和系统的理解。该书不仅详细阐述了高速PCB设计中的经验法则,还通过实际案例和理论分析,让读者能够更好地掌握这些法则并将其应用于实际工作中。布局是走线的基础,预先的规划再到叠层的选择,电源和地的分配,信号网络的走线等等,对布局方面也是非常的关注。布局规划的重要性: 在PCB设计中,布局规划是至关重要的一步。它直接影响到后续布线的难易程度、信号完整性以及电磁兼容性等方面。因此,在进行元件布局之前,我们必须对PCB的平
    戈壁滩上绽放 2024-12-05 19:43 44浏览
  • ①辐射发射测试(RE):评估电子、电气产品或系统在工作状态下产生的电磁辐射干扰程度,确保其不会干扰其他电子设备,同时可以确保产品的电磁辐射水平在安全范围内,从而保护用户免受电磁辐射的危害。消费类常见测试标准:EN55032 (RE&CE)、 CLASS A和CLASS B ②传导发射测试(CE):评估电子、电气产品或系统在工作状态下传导电磁骚扰的水平,是确保产品符合电磁兼容性(EMC)要求的重要步骤,保护其他设备免受干扰。常见测试标准:国标18655(RE&CE) 分为5个等级,常规的是过3等级
    时源芯微 2024-12-05 15:16 32浏览
  • RK3506单板机(卡片电脑)是一款高性能三核Cortex-A7处理器,内部集成Cortex-M0核心,RK3506单板机具有接口丰富、实时性高、显示开发简单、低功耗及多系统支持等特点,非常适合于工业控制、工业通信、人机交互等应用场景。 多核异构3xCortex-A7+Cortex-M0 外设接口丰富,板载网络、串口、CAN总线 支持Buildroot、Yocto系统,支持AMP混合部署 支持2D硬件加速,适用于轻量级HMI目前RK3506主要分为3种型号
    万象奥科 2024-12-05 16:59 32浏览
  • 现在最热门的AI PC,泛指配备了人工智能AI的个人电脑,虽然目前的AI功能大多仅运用于增加个人电脑的运算力及用户使用体验。然而,各家AI PC厂商/品牌商却不约而同针对Webcam的AI功能大作文章,毕竟这是目前可以直接让消费者感受到、最显著、也是最有感觉的应用情境!目前各家推出Webcam 的AI功能包括有:● 背景虚化● 面部识别和追踪。● 自动调节● 虚拟化和滤镜● 安全和隐私面临的困境:惊吓大于惊喜的AI优化调校由于每款AI PC的相机都有自己的设定偏好及市场定位,一旦经过AI的优化调
    百佳泰测试实验室 2024-12-05 15:30 31浏览
  • 一、前言随着智能驾驶技术的发展,端到端的解决方案被越来越多的开发者提及,各大汽车企业争先恐后将端到端智驾方案部署到量产新车型上。过去,智能驾驶方案一直是按照感知、决策、规划、控制这类规则驱动(rule-based)的模块化方法推进,然而规则驱动的模块化方案存在“规则难以穷举、ODD边界模糊、扩展与维护升级困难”等局限性。因此端到端的学习驱动(learning-based)方案应运而生。端到端的方案具有很多显而易见的优势,首先,它具备较强的泛化能力,可以通过数据发现潜在规律,适应多样化和复杂场景;
    康谋 2024-12-05 10:16 28浏览
  • 热电偶是zui常用的温度传感器类型。它们用于工业、汽车和消费应用。热电偶是自供电的,可以在很宽的温度范围内工作,并且具有快速的响应时间。热电偶是通过将两条不同的金属线连接在一起制成的。这会导致塞贝克效应。塞贝克效应是两种不同导体的温差在两种物质之间产生电压差的现象。正是这种电压差可以测量并用于计算温度。有几种类型的热电偶由各种不同的材料制成,允许不同的温度范围和不同的灵敏度。不同的类型由zhi定的字母区分。zui常用的是K型。热电偶的一些缺点包括测量温度可能具有挑战性,因为它们的输出电压小,需要
    锦正茂科技 2024-12-05 14:22 17浏览
  • 本文介绍RK3566/RK3568开发板Android11系统,编译ROOT权限固件的方法。触觉智能Purple Pi OH鸿蒙开发板演示,搭载了瑞芯微RK3566四核处理器,Laval鸿蒙社区推荐开发板,已适配全新OpenHarmony5.0 Release系统,SDK源码全开放!关闭Selinux修改以下路径文件:adevice/rockchip/common/BoardConfig.mk修改代码如下:BOARD_BOOT_HEADER_VERSION ?= 2BOARD_MKBOOTIMG
    Industio_触觉智能 2024-12-05 10:27 14浏览
  • 在电子工程领域,高速PCB设计是一项极具挑战性和重要性的工作。随着集成电路的迅猛发展,电路系统的复杂度和运行速度不断提升,对PCB设计的要求也越来越高。在这样的背景下,我有幸阅读了田学军老师所著的《高速PCB设计经验规则应用实践》一书,深感受益匪浅。以下是我从本书中学习到的新知识和经验分享,重点涵盖特殊应用电路的PCB设计、高速PCB设计经验等方面。一、高速PCB设计的基础知识回顾与深化 在阅读本书之前,我对高速PCB设计的基础知识已有一定的了解,但通过阅读,我对这些知识的认识得到了进一步的深
    金玉其中 2024-12-05 10:01 154浏览
  • 2024年12月3日至5日,中国电信2024数字科技生态大会在广州举行,通过主题峰会、多场分论坛、重要签约及合作发布等环节,与合作伙伴共绘数字科技发展新愿景。紫光展锐作为中国电信的战略合作伙伴受邀参会,全面呈现了技术、产品创新进展,以及双方在多领域的合作成果。紫光展锐董事长马道杰受邀出席大会主论坛,并在大会期间发表视频致辞。  深化战略合作,共建数字未来马道杰董事长在视频致辞中指出,紫光展锐作为世界一流芯片设计企业,依托在芯片、通信和软硬件集成领域的深厚积累,与中国电信密切合
    紫光展锐 2024-12-05 14:04 26浏览
  • ~同等额定功率产品尺寸小一号,并保证长期稳定供应~全球知名半导体制造商ROHM(总部位于日本京都市)在其通用贴片电阻器“MCR系列”产品阵容中又新增了助力应用产品实现小型化和更高性能的“MCRx系列”。新产品包括大功率型“MCRS系列”和低阻值大功率型“MCRL系列”两个系列。在电子设备日益多功能化和电动化的当今世界,电子元器件的小型化和性能提升已成为重要课题。尤其是在汽车市场,随着电动汽车(xEV)的普及,电子元器件的使用量迅速增加。另外,在工业设备市场,随着设备的功能越来越多,效率越来越高,
    电子资讯报 2024-12-05 17:03 31浏览
  • 应用环境与客户需求蓝牙设备越来越普及,但在高密度使用环境下,你知道里面潜藏的风险吗?用户在使用蓝牙配件(如键盘、鼠标和耳机)时,经常面临干扰问题,这主要是因为蓝牙设备使用的2.4GHz频段与许多其他无线设备(如Wi-Fi、Thread等)重迭,导致频段拥挤,进而增加干扰的可能性。【常见干扰情境】客服中心:客服中心通常有大量的工作站,每个工作站可能都配备有蓝牙键盘、鼠标和耳机。由于这些设备都使用4GHz频段,客服中心内部的频段拥挤会增加讯号干扰的可能性。再加上中心内部可能有多个无线网络设备和其他电
    百佳泰测试实验室 2024-12-05 16:17 45浏览
  • CS5466AUUSB-C  (2lanes)to HDMI2.1 8K@30HZ(4K@144) +PD3.1  CS5563DP  (4lanes) to HDMI2.1 10k@60Hz CS5565USB-C  (4lanes) to HDMI2.1 10k@60Hz CS5569USB-C (4lanes) to HDMI2.1 10k@60Hz +PD3.1CS5228ANDP++ to HDMI(4K
    QQ1540182856 2024-12-05 15:56 77浏览
  • DT640系列硅二极管温度传感器选用了专门适用于低温温度测量的硅二极管。相比普通硅二极管,具有重复性好、离散性小、精度更高温度范围更宽、低温下电压相对高而易于测量等特点。所有此款温度计都较好地遵循一个电压-温度(V-T)曲线,因而具有更好的可互换性。很多应用中都不需要单独的标定。DT640-BC型裸片温度计,相比市场上的其它温度计,具有尺寸更小、热容更小、响应时间更短的特点。在尺寸、热容以及响应时间有特殊要求的应用中具有du特的优势。   以下是二极管温度传感器的测
    锦正茂科技 2024-12-05 13:57 18浏览
  • 延续前一篇「抢搭智慧家庭生态圈热潮(一) 充满陷阱的产品介绍」系列文章,购买智能家电时需留意是否标有Works With Alexa (WWA)标章,然而,即使有了WWA标章后,产品难道就不会发生问题了吗?本篇由百佳泰将重点探讨在Alexa智能家居设备应用的实验中所遭遇到的问题。智能家庭隐忧浮现:智能家电APP使用状态不同步在先前的文章中,我们有提过建构Alexa智能家庭的三个主要元素:Alexa Built-in Devices(ABI)、Alexa Connected Device,以及Al
    百佳泰测试实验室 2024-12-05 15:26 32浏览
我要评论
0
点击右上角,分享到朋友圈 我知道啦
请使用浏览器分享功能 我知道啦