NVIDIAIsaac平台先进的仿真和感知工具助力AI机器人技术加速发展

原创 英伟达NVIDIA中国 2023-10-19 21:03

在 ROSCon 2023 上,NVIDIA 发布了 NVIDIA Isaac Robotics 平台的重大更新。该平台可为全球机器人开发者提供高性能感知和高保真仿真,本次更新针对 NVIDIA Isaac ROS 2.0 和 NVIDIA Isaac Sim 2023.1 以及感知和仿真升级进行了发布,用以简化 ROS 开发者对高性能 AI 机器人应用的构建与测试。

开源机器人基金会首席技术官 Geoff Biggs 表示:“ROS 一直在持续发展壮大,并为整个机器人社区提供开源软件。此次发布的 NVIDIA 全新预构建 ROS 2 软件包,能够让广大 NVIDIA Jetson 开发者轻松上手 ROS 2,从而加速 ROS 的发展进程。”

 1. NVIDIA Isaac Robotics 平台集合了丰富的技术,将助推 AI 在机器人领域的应用

Isaac ROS 2.0


机器人技术自主化程度日益提升,各种传感器技术不断涌现,CPU 密集型处理已经显示出局限性,而加速计算自然成为了克服这些瓶颈的解决方案。

为推动开发新一代机器人解决方案,ROS 社区急需加速计算能力,而 Isaac ROS 能够满足这一需求。除了提供一系列加速 ROS 软件包,NVIDIA 也与 Open Robotics 密切合作,共同促进中间件的自身效率提升。更多信息,请阅读文章:通过 NVIDIA Isaac ROS 传输改善 ROS 2 应用的感知性能

Isaac ROS 2.0 版本已经达到了生产就绪水平的品质,主要的优化升级包括:

  • 原生 ROS 2 Humble 支持:NVIDIA 提供安装就绪型 ROS 2 Humble 软件包,用于 Ubuntu 20.04 上运行 JetPack 5,而无需编译源代码。

  • NITROS ROS 桥接器:将 Isaac ROS 加速扩展到 ROS Noetic 应用,优化后的 ROS 桥接器比标准 ROS 桥接器提速 2 倍。

  • CUDA NITROS:支持开发者使用带有自定义编码器和解码器的 DNN 模型,以充分利用 NITROS 的加速功能。

  • Stereolabs ZED 摄像机集成:Isaac ROS 现已与 Stereolabs ZED 相机集成。

  • Nova Carter:Isaac ROS 软件(包括 Nav 2 导航堆栈)现已支持 Nova Carter。Nova Carter 是用于机器人研发的参考 AMR,由 NVIDIA Jetson AGX Orin 驱动。

  • ESS 3.0 性能:全新 ESS 3.0 深度感知 DNN 模型具有更高的准确性和更强的性能。


全球开发者都可以使用 Isaac ROS 来创建高性能机器人解决方案,并将其应用于农业、仓储自动化、最后一公里配送、服务机器人等多个领域。

 2. NVIDIA Isaac ROSNVIDIA Isaac 机器人平台的关键组件)中的软件模块

FarmX 机器人技术副总裁 Dan Hennage 表示:“NVIDIA 提供丰富的产品及功能,能够完美适用于 FarmX。从 Isaac ROS 的运行环境和程序库,到可以在无人机、大型拖拉机等载具上部署的各种模块,NVIDIA Jetson 和 Isaac ROS 使我们专注于应用开发,完全不必担心平台问题。”

.lumen 首席执行官兼创始人 Cornel Amariei 表示:“我们研发了目前最先进的视障辅助技术,将自动驾驶技术的应用尺寸缩小,直到人们可以舒适地戴在头上。实现这一切完全得益于 NVIDIA Jetson 平台以及 Isaac ROS 中经过优化的软件包、节点和功能。不论是视觉实时定位建模(vSLAM)还是立体感知,我们都无法通过其他平台做到这样的程度。”

Isaac Sim 2023.1


从制造到物流再到汽车,AI 在机器人领域的应用日益广泛,进而加速了各行各业的自动化进程。起初,在开发和测试用于机器人感知或控制的 AI 模型时,相关人员往往面临数据稀缺的难题。解决这一问题的关键技术便是高保真仿真。

建立于 NVIDIA Omniverse 的机器人仿真器 Isaac Sim,可用于开发、训练、测试和部署 AI 机器人。其具备强大的内置功能,包括用于生成合成数据的 NVIDIA Omniverse Replicator 和用于 GPU 加速强化学习的 Isaac Gym 等。通过最新发布的 Omniverse Replicator 1.10,开发者利用基于 YAML 的低代码配置器和异步渲染功能,就可以提高合成数据生成能力。

此外,Isaac Sim 的精准传感器仿真适用于当今的多数主流传感器。Isaac Sim 还支持 ROS 和 ROS 2,也可以通过 Python 脚本进行控制。

Isaac Sim 2023.1 提供众多新功能与升级,以促进基于 AI 的机器人发展,包括:

  • 全新内置机器人模型和传感器:使用内置机器人模型和传感器快速入门。新机器人模型包括 FANUC 和 Techman。新传感器包括 Orbbec、SENSING、Zvision、Ouster 和 RealSense。

  • 升级的 ROS 及 ROS 2 支持:为仿真应用创建自定义 ROS 和 ROS 2 消息。URDF / MJCF 导入器现已开源,便于将机器人导入 Isaac Sim 平台。

  • 增强的合成数据生成(SDG)支持:针对机械臂和移动机器人应用,现已添加仿真随机化功能。进一步了解新版 Omniverse Replicator 新增的 SDG 功能,请查看: 

    https://developer.nvidia.com/blog/boost-synthetic-data-generation-with-low-code-workflows-in-nvidia-omniverse-replicator-1-10/

  • 仓库构建器模块化 3D 资产:使用 SimReady 仓库场景和资产,快速创建强大的仓库环境,即可测试和演练机器人解决方案。


在开发机器人和自动化解决方案时,许多公司都采用“仿真先行”策略,这意味着在构建解决方案之前,需要通过高保真仿真来验证设计和吞吐量。

Technology Strategy 的副总裁 Jon Battles 表示:“Collaborative Robotics 深信,协作机器人与人类并肩工作的场景,将是机器人技术发展的未来图景。我们采用了仿真优先的开发方法,通过广泛使用 Isaac Sim 来加快开发用时和部署节奏。”

RIOS 工程副总裁 Chris Paulson 表示:“RIOS 在构建未来智能工厂时,对于如何设计、测试和实现先进的 AI 机器人即服务(RaaS)工作单元,NVIDIA Isaac Sim 发挥着至关重要的作用。为降低项目风险,消除新工作单元设计风险,并针对复杂机器人任务执行能力的开发进行简化,Isaac Sim 是关键平台。我们面向客户的内部工具也是以 Isaac Sim 作为平台,快速、高效地为客户提供最先进的机器人技术。”

 3. NVIDIA Isaac Sim 2023.1 新增的内置机器人模型包括 FANUC Robot Arm(左)、Fraunhofer EvoBOT(中)和 Techman Cobot(右)

NVIDIA Isaac Robotics 平台专为推动机器人领域的 AI 应用而开发。最新版本的 Isaac ROS 将助力 ROS 开发者更便捷地使用 NVIDIA AI 感知技术。全新版本的 Isaac Sim 已添加众多新功能,在虚拟世界中,开发者可以轻松开发、测试和训练 AI 机器人,随后再进行现实世界的部署。使用 NVIDIA Isaac ROS 和 Isaac Sim 的开发者已有数千人,欢迎加入这一行列。

更多信息,请报名参加即将举行的 Isaac ROS 网络研讨会 —— Noetic 的提速需求:将 NITROS 引入 ROS:https://gateway.on24.com/wcc/experience/elitenvidiabrill/1407606/3998202/isaac-ros-webinar-series

与 NVIDIA 一起了解 ROSCon 2023 大会上的最新发布、演示、竞赛咨询及合作伙伴新闻:https://www.nvidia.com/en-us/events/roscon/

GTC 2024 将于 2024 年 3 月 18 至 21 日在美国加州圣何塞会议中心举行,线上大会也将同期开放。点击 “阅读原文” 扫描下方海报二维码,关注更多会议及活动信息。


评论
  • 一、SAE J1939协议概述SAE J1939协议是由美国汽车工程师协会(SAE,Society of Automotive Engineers)定义的一种用于重型车辆和工业设备中的通信协议,主要应用于车辆和设备之间的实时数据交换。J1939基于CAN(Controller Area Network)总线技术,使用29bit的扩展标识符和扩展数据帧,CAN通信速率为250Kbps,用于车载电子控制单元(ECU)之间的通信和控制。小北同学在之前也对J1939协议做过扫盲科普【科普系列】SAE J
    北汇信息 2024-12-11 15:45 68浏览
  • 天问Block和Mixly是两个不同的编程工具,分别在单片机开发和教育编程领域有各自的应用。以下是对它们的详细比较: 基本定义 天问Block:天问Block是一个基于区块链技术的数字身份验证和数据交换平台。它的目标是为用户提供一个安全、去中心化、可信任的数字身份验证和数据交换解决方案。 Mixly:Mixly是一款由北京师范大学教育学部创客教育实验室开发的图形化编程软件,旨在为初学者提供一个易于学习和使用的Arduino编程环境。 主要功能 天问Block:支持STC全系列8位单片机,32位
    丙丁先生 2024-12-11 13:15 45浏览
  • 习学习笔记&记录学习学习笔记&记录学习学习笔记&记录学习学习笔记&记录学习笔记&记录学习习笔记&记学习学习笔记&记录学习学习笔记&记录学习习笔记&记录学习学习笔记&记录学习学习笔记记录学习学习笔记&记录学习学习笔记&记录学习学习笔记&记录学习学习笔记&记录学习学习笔记&记录学习习笔记&记录学习学习笔记&记录学习学习笔记&记录学习学习笔记&记录学习学习笔记&记录学习学习笔记&记录学习学习笔记&记录学习学习笔记&学习学习笔记&记录学习学习笔记&记录学习学习笔记&记录学习学习笔记&记录学习学习笔记&记
    youyeye 2024-12-10 16:13 105浏览
  • 智能汽车可替换LED前照灯控制运行的原理涉及多个方面,包括自适应前照灯系统(AFS)的工作原理、传感器的应用、步进电机的控制以及模糊控制策略等。当下时代的智能汽车灯光控制系统通过车载网关控制单元集中控制,表现特殊点的有特斯拉,仅通过前车身控制器,整个系统就包括了灯光旋转开关、车灯变光开关、左LED前照灯总成、右LED前照灯总成、转向柱电子控制单元、CAN数据总线接口、组合仪表控制单元、车载网关控制单元等器件。变光开关、转向开关和辅助操作系统一般连为一体,开关之间通过内部线束和转向柱装置连接为多,
    lauguo2013 2024-12-10 15:53 78浏览
  • RK3506 是瑞芯微推出的MPU产品,芯片制程为22nm,定位于轻量级、低成本解决方案。该MPU具有低功耗、外设接口丰富、实时性高的特点,适合用多种工商业场景。本文将基于RK3506的设计特点,为大家分析其应用场景。RK3506核心板主要分为三个型号,各型号间的区别如下图:​图 1  RK3506核心板处理器型号场景1:显示HMIRK3506核心板显示接口支持RGB、MIPI、QSPI输出,且支持2D图形加速,轻松运行QT、LVGL等GUI,最快3S内开
    万象奥科 2024-12-11 15:42 65浏览
  • 我的一台很多年前人家不要了的九十年代SONY台式组合音响,接手时只有CD功能不行了,因为不需要,也就没修,只使用收音机、磁带机和外接信号功能就够了。最近五年在外地,就断电闲置,没使用了。今年9月回到家里,就一个劲儿地忙着收拾家当,忙了一个多月,太多事啦!修了电气,清理了闲置不用了的电器和电子,就是一个劲儿地扔扔扔!几十年的“工匠式”收留收藏,只能断舍离,拆解不过来的了。一天,忽然感觉室内有股臭味,用鼻子的嗅觉功能朝着臭味重的方向寻找,觉得应该就是这台组合音响?怎么会呢?这无机物的东西不会腐臭吧?
    自做自受 2024-12-10 16:34 136浏览
  • 【萤火工场CEM5826-M11测评】OLED显示雷达数据本文结合之前关于串口打印雷达监测数据的研究,进一步扩展至 OLED 屏幕显示。该项目整体分为两部分: 一、框架显示; 二、数据采集与填充显示。为了减小 MCU 负担,采用 局部刷新 的方案。1. 显示框架所需库函数 Wire.h 、Adafruit_GFX.h 、Adafruit_SSD1306.h . 代码#include #include #include #include "logo_128x64.h"#include "logo_
    无垠的广袤 2024-12-10 14:03 69浏览
  • 全球知名半导体制造商ROHM Co., Ltd.(以下简称“罗姆”)宣布与Taiwan Semiconductor Manufacturing Company Limited(以下简称“台积公司”)就车载氮化镓功率器件的开发和量产事宜建立战略合作伙伴关系。通过该合作关系,双方将致力于将罗姆的氮化镓器件开发技术与台积公司业界先进的GaN-on-Silicon工艺技术优势结合起来,满足市场对高耐压和高频特性优异的功率元器件日益增长的需求。氮化镓功率器件目前主要被用于AC适配器和服务器电源等消费电子和
    电子资讯报 2024-12-10 17:09 84浏览
  • 时源芯微——RE超标整机定位与解决详细流程一、 初步测量与问题确认使用专业的电磁辐射测量设备,对整机的辐射发射进行精确测量。确认是否存在RE超标问题,并记录超标频段和幅度。二、电缆检查与处理若存在信号电缆:步骤一:拔掉所有信号电缆,仅保留电源线,再次测量整机的辐射发射。若测量合格:判定问题出在信号电缆上,可能是电缆的共模电流导致。逐一连接信号电缆,每次连接后测量,定位具体哪根电缆或接口导致超标。对问题电缆进行处理,如加共模扼流圈、滤波器,或优化电缆布局和屏蔽。重新连接所有电缆,再次测量
    时源芯微 2024-12-11 17:11 65浏览
  • 近日,搭载紫光展锐W517芯片平台的INMO GO2由影目科技正式推出。作为全球首款专为商务场景设计的智能翻译眼镜,INMO GO2 以“快、准、稳”三大核心优势,突破传统翻译产品局限,为全球商务人士带来高效、自然、稳定的跨语言交流体验。 INMO GO2内置的W517芯片,是紫光展锐4G旗舰级智能穿戴平台,采用四核处理器,具有高性能、低功耗的优势,内置超微高集成技术,采用先进工艺,计算能力相比同档位竞品提升4倍,强大的性能提供更加多样化的应用场景。【视频见P盘链接】 依托“
    紫光展锐 2024-12-11 11:50 44浏览
我要评论
0
点击右上角,分享到朋友圈 我知道啦
请使用浏览器分享功能 我知道啦