NVIDIAIsaac平台先进的仿真和感知工具助力AI机器人技术加速发展

原创 英伟达NVIDIA中国 2023-10-19 21:03

在 ROSCon 2023 上,NVIDIA 发布了 NVIDIA Isaac Robotics 平台的重大更新。该平台可为全球机器人开发者提供高性能感知和高保真仿真,本次更新针对 NVIDIA Isaac ROS 2.0 和 NVIDIA Isaac Sim 2023.1 以及感知和仿真升级进行了发布,用以简化 ROS 开发者对高性能 AI 机器人应用的构建与测试。

开源机器人基金会首席技术官 Geoff Biggs 表示:“ROS 一直在持续发展壮大,并为整个机器人社区提供开源软件。此次发布的 NVIDIA 全新预构建 ROS 2 软件包,能够让广大 NVIDIA Jetson 开发者轻松上手 ROS 2,从而加速 ROS 的发展进程。”

 1. NVIDIA Isaac Robotics 平台集合了丰富的技术,将助推 AI 在机器人领域的应用

Isaac ROS 2.0


机器人技术自主化程度日益提升,各种传感器技术不断涌现,CPU 密集型处理已经显示出局限性,而加速计算自然成为了克服这些瓶颈的解决方案。

为推动开发新一代机器人解决方案,ROS 社区急需加速计算能力,而 Isaac ROS 能够满足这一需求。除了提供一系列加速 ROS 软件包,NVIDIA 也与 Open Robotics 密切合作,共同促进中间件的自身效率提升。更多信息,请阅读文章:通过 NVIDIA Isaac ROS 传输改善 ROS 2 应用的感知性能

Isaac ROS 2.0 版本已经达到了生产就绪水平的品质,主要的优化升级包括:

  • 原生 ROS 2 Humble 支持:NVIDIA 提供安装就绪型 ROS 2 Humble 软件包,用于 Ubuntu 20.04 上运行 JetPack 5,而无需编译源代码。

  • NITROS ROS 桥接器:将 Isaac ROS 加速扩展到 ROS Noetic 应用,优化后的 ROS 桥接器比标准 ROS 桥接器提速 2 倍。

  • CUDA NITROS:支持开发者使用带有自定义编码器和解码器的 DNN 模型,以充分利用 NITROS 的加速功能。

  • Stereolabs ZED 摄像机集成:Isaac ROS 现已与 Stereolabs ZED 相机集成。

  • Nova Carter:Isaac ROS 软件(包括 Nav 2 导航堆栈)现已支持 Nova Carter。Nova Carter 是用于机器人研发的参考 AMR,由 NVIDIA Jetson AGX Orin 驱动。

  • ESS 3.0 性能:全新 ESS 3.0 深度感知 DNN 模型具有更高的准确性和更强的性能。


全球开发者都可以使用 Isaac ROS 来创建高性能机器人解决方案,并将其应用于农业、仓储自动化、最后一公里配送、服务机器人等多个领域。

 2. NVIDIA Isaac ROSNVIDIA Isaac 机器人平台的关键组件)中的软件模块

FarmX 机器人技术副总裁 Dan Hennage 表示:“NVIDIA 提供丰富的产品及功能,能够完美适用于 FarmX。从 Isaac ROS 的运行环境和程序库,到可以在无人机、大型拖拉机等载具上部署的各种模块,NVIDIA Jetson 和 Isaac ROS 使我们专注于应用开发,完全不必担心平台问题。”

.lumen 首席执行官兼创始人 Cornel Amariei 表示:“我们研发了目前最先进的视障辅助技术,将自动驾驶技术的应用尺寸缩小,直到人们可以舒适地戴在头上。实现这一切完全得益于 NVIDIA Jetson 平台以及 Isaac ROS 中经过优化的软件包、节点和功能。不论是视觉实时定位建模(vSLAM)还是立体感知,我们都无法通过其他平台做到这样的程度。”

Isaac Sim 2023.1


从制造到物流再到汽车,AI 在机器人领域的应用日益广泛,进而加速了各行各业的自动化进程。起初,在开发和测试用于机器人感知或控制的 AI 模型时,相关人员往往面临数据稀缺的难题。解决这一问题的关键技术便是高保真仿真。

建立于 NVIDIA Omniverse 的机器人仿真器 Isaac Sim,可用于开发、训练、测试和部署 AI 机器人。其具备强大的内置功能,包括用于生成合成数据的 NVIDIA Omniverse Replicator 和用于 GPU 加速强化学习的 Isaac Gym 等。通过最新发布的 Omniverse Replicator 1.10,开发者利用基于 YAML 的低代码配置器和异步渲染功能,就可以提高合成数据生成能力。

此外,Isaac Sim 的精准传感器仿真适用于当今的多数主流传感器。Isaac Sim 还支持 ROS 和 ROS 2,也可以通过 Python 脚本进行控制。

Isaac Sim 2023.1 提供众多新功能与升级,以促进基于 AI 的机器人发展,包括:

  • 全新内置机器人模型和传感器:使用内置机器人模型和传感器快速入门。新机器人模型包括 FANUC 和 Techman。新传感器包括 Orbbec、SENSING、Zvision、Ouster 和 RealSense。

  • 升级的 ROS 及 ROS 2 支持:为仿真应用创建自定义 ROS 和 ROS 2 消息。URDF / MJCF 导入器现已开源,便于将机器人导入 Isaac Sim 平台。

  • 增强的合成数据生成(SDG)支持:针对机械臂和移动机器人应用,现已添加仿真随机化功能。进一步了解新版 Omniverse Replicator 新增的 SDG 功能,请查看: 

    https://developer.nvidia.com/blog/boost-synthetic-data-generation-with-low-code-workflows-in-nvidia-omniverse-replicator-1-10/

  • 仓库构建器模块化 3D 资产:使用 SimReady 仓库场景和资产,快速创建强大的仓库环境,即可测试和演练机器人解决方案。


在开发机器人和自动化解决方案时,许多公司都采用“仿真先行”策略,这意味着在构建解决方案之前,需要通过高保真仿真来验证设计和吞吐量。

Technology Strategy 的副总裁 Jon Battles 表示:“Collaborative Robotics 深信,协作机器人与人类并肩工作的场景,将是机器人技术发展的未来图景。我们采用了仿真优先的开发方法,通过广泛使用 Isaac Sim 来加快开发用时和部署节奏。”

RIOS 工程副总裁 Chris Paulson 表示:“RIOS 在构建未来智能工厂时,对于如何设计、测试和实现先进的 AI 机器人即服务(RaaS)工作单元,NVIDIA Isaac Sim 发挥着至关重要的作用。为降低项目风险,消除新工作单元设计风险,并针对复杂机器人任务执行能力的开发进行简化,Isaac Sim 是关键平台。我们面向客户的内部工具也是以 Isaac Sim 作为平台,快速、高效地为客户提供最先进的机器人技术。”

 3. NVIDIA Isaac Sim 2023.1 新增的内置机器人模型包括 FANUC Robot Arm(左)、Fraunhofer EvoBOT(中)和 Techman Cobot(右)

NVIDIA Isaac Robotics 平台专为推动机器人领域的 AI 应用而开发。最新版本的 Isaac ROS 将助力 ROS 开发者更便捷地使用 NVIDIA AI 感知技术。全新版本的 Isaac Sim 已添加众多新功能,在虚拟世界中,开发者可以轻松开发、测试和训练 AI 机器人,随后再进行现实世界的部署。使用 NVIDIA Isaac ROS 和 Isaac Sim 的开发者已有数千人,欢迎加入这一行列。

更多信息,请报名参加即将举行的 Isaac ROS 网络研讨会 —— Noetic 的提速需求:将 NITROS 引入 ROS:https://gateway.on24.com/wcc/experience/elitenvidiabrill/1407606/3998202/isaac-ros-webinar-series

与 NVIDIA 一起了解 ROSCon 2023 大会上的最新发布、演示、竞赛咨询及合作伙伴新闻:https://www.nvidia.com/en-us/events/roscon/

GTC 2024 将于 2024 年 3 月 18 至 21 日在美国加州圣何塞会议中心举行,线上大会也将同期开放。点击 “阅读原文” 扫描下方海报二维码,关注更多会议及活动信息。


评论
  • 二位半 5线数码管的驱动方法这个2位半的7段数码管只用5个管脚驱动。如果用常规的7段+共阳/阴则需要用10个管脚。如果把每个段看成独立的灯。5个管脚来点亮,任选其中一个作为COM端时,另外4条线可以单独各控制一个灯。所以实际上最多能驱动5*4 = 20个段。但是这里会有一个小问题。如果想点亮B1,可以让第3条线(P3)置高,P4 置低,其它阳极连P3的灯对应阴极P2 P1都应置高,此时会发现C1也会点亮。实际操作时,可以把COM端线P3设置为PP输出,其它线为OD输出。就可以单独控制了。实际的驱
    southcreek 2025-05-07 15:06 555浏览
  • 文/Leon编辑/cc孙聪颖‍《中国家族企业传承研究报告》显示,超四成“企二代” 明确表达接班意愿,展现出对家族企业延续发展的主动担当。中国研究数据服务平台(CNRDS)提供的精准数据进一步佐证:截至 2022 年,已有至少 280 家上市家族企业完成权杖交接,其中八成新任掌门人为创始人之子,凸显家族企业代际传承中 “子承父业” 的主流模式。然而,对于“企二代” 而言,接棒掌舵绝非易事。在瞬息万变的商业环境中,他们既要在白热化的市场竞争中开拓创新、引领企业突破发展瓶颈,又需应对来自父辈管理层的经
    华尔街科技眼 2025-05-06 18:17 42浏览
  • 温度传感器的工作原理依据其类型可分为以下几种主要形式:一、热电阻温度传感器利用金属或半导体材料的电阻值随温度变化的特性实现测温:l ‌金属热电阻‌(如铂电阻 Pt100、Pt1000):高温下电阻值呈线性增长,稳定性高,适用于工业精密测温。l ‌热敏电阻‌(NTC/PTC):NTC 热敏电阻阻值随温度升高而下降,PTC 则相反;灵敏度高但线性范围较窄,常用于电子设备温控。二、热电偶传感器基于‌塞贝克效应‌(Seebeck effect):两种不同
    锦正茂科技 2025-05-09 13:31 242浏览
  • 文/郭楚妤编辑/cc孙聪颖‍相较于一众措辞谨慎、毫无掌舵者个人风格的上市公司财报,利亚德的财报显得尤为另类。利亚德光电集团成立于1995年,是一家以LED显示、液晶显示产品设计、生产、销售及服务为主业的高新技术企业。自2016年年报起,无论业绩优劣,董事长李军每年都会在财报末尾附上一首七言打油诗,抒发其对公司当年业绩的感悟。从“三年翻番顺大势”“智能显示我第一”“披荆斩棘幸从容”等词句中,不难窥见李军的雄心壮志。2012年,利亚德(300296.SZ)在深交所创业板上市。成立以来,该公司在细分领
    华尔街科技眼 2025-05-07 19:25 442浏览
  • 硅二极管温度传感器是一种基于硅半导体材料特性的测温装置,其核心原理是利用硅二极管的电学参数(如正向压降或电阻)随温度变化的特性实现温度检测。以下是其工作原理、技术特点及典型应用:一、工作原理1、‌PN结温度特性‌硅二极管由PN结构成,当温度变化时,其正向电压 VF与温度呈线性负相关关系。例如,温度每升高1℃,VF约下降2 mV。2、‌电压—温度关系‌通过jing确测量正向电压的微小变化,可推算出环境温度值。部分型号(如SI410)在宽温域内(如1.4 K至475 K)仍能保持高线性度。
    锦正茂科技 2025-05-09 13:52 254浏览
  • 随着智能驾驶时代到来,汽车正转变为移动计算平台。车载AI技术对存储器提出新挑战:既要高性能,又需低功耗和车规级可靠性。贞光科技代理的紫光国芯车规级LPDDR4存储器,以其卓越性能成为国产芯片产业链中的关键一环,为智能汽车提供坚实的"记忆力"支持。作为官方授权代理商,贞光科技通过专业技术团队和完善供应链,让这款国产存储器更好地服务国内汽车厂商。本文将探讨车载AI算力需求现状及贞光科技如何通过紫光国芯LPDDR4产品满足市场需求。 车载AI算力需求激增的背景与挑战智能驾驶推动算力需求爆发式
    贞光科技 2025-05-07 16:54 229浏览
  • 在过去的很长一段时间里,外卖市场呈现出美团和饿了么双寡头垄断的局面。美团凭借先发优势、强大的地推团队以及精细化的运营策略,在市场份额上长期占据领先地位。数据显示,截至2024年上半年,美团外卖以68.2%的市场份额领跑外卖行业,成为当之无愧的行业老大。其业务广泛覆盖,从一线城市的繁华商圈到二三线城市的大街小巷,几乎无处不在,为无数消费者提供便捷的外卖服务。饿了么作为阿里本地生活服务的重要一环,依托阿里强大的资金和技术支持,也在市场中站稳脚跟,以25.4%的份额位居第二。尽管市场份额上与美团有一定
    用户1742991715177 2025-05-06 19:43 116浏览
  • 后摄像头是长这个样子,如下图。5孔(D-,D+,5V,12V,GND),说的是连接线的个数,如下图。4LED,+12V驱动4颗LED灯珠,给摄像头补光用的,如下图。打开后盖,发现里面有透明白胶(防水)和白色硬胶(固定),用合适的工具,清理其中的胶状物。BOT层,AN3860,Panasonic Semiconductor (松下电器)制造的,Cylinder Motor Driver IC for Video Camera,如下图。TOP层,感光芯片和广角聚焦镜头组合,如下图。感光芯片,看着是玻
    liweicheng 2025-05-07 23:55 457浏览
  • UNISOC Miracle Gaming奇迹手游引擎亮点:• 高帧稳帧:支持《王者荣耀》等主流手游90帧高画质模式,连续丢帧率最高降低85%;• 丝滑操控:游戏冷启动速度提升50%,《和平精英》开镜开枪操作延迟降低80%;• 极速网络:专属游戏网络引擎,使《王者荣耀》平均延迟降低80%;• 智感语音:与腾讯GVoice联合,弱网环境仍能保持清晰通话;• 超高画质:游戏画质增强、超级HDR画质、游戏超分技术,优化游戏视效。全球手游市场规模日益壮大,游戏玩家对极致体验的追求愈发苛刻。紫光展锐全新U
    紫光展锐 2025-05-07 17:07 337浏览
  • Matter协议是一个由Amazon Alexa、Apple HomeKit、Google Home和Samsung SmartThings等全球科技巨头与CSA联盟共同制定的开放性标准,它就像一份“共生契约”,能让原本相互独立的家居生态在应用层上握手共存,同时它并非另起炉灶,而是以IP(互联网协议)为基础框架,将不同通信协议下的家居设备统一到同一套“语义规则”之下。作为应用层上的互通标准,Matter协议正在重新定义智能家居行业的运行逻辑,它不仅能向下屏蔽家居设备制造商的生态和系统,让设备、平
    华普微HOPERF 2025-05-08 11:40 388浏览
  • 这款无线入耳式蓝牙耳机是长这个样子的,如下图。侧面特写,如下图。充电接口来个特写,用的是卡座卡在PCB板子上的,上下夹紧PCB的正负极,如下图。撬开耳机喇叭盖子,如下图。精致的喇叭(HY),如下图。喇叭是由电学产生声学的,具体结构如下图。电池包(AFS 451012  21 12),用黄色耐高温胶带进行包裹(安规需求),加强隔离绝缘的,如下图。451012是电池包的型号,聚合物锂电池+3.7V 35mAh,详细如下图。电路板是怎么拿出来的呢,剪断喇叭和电池包的连接线,底部抽出PCB板子
    liweicheng 2025-05-06 22:58 635浏览
  • 飞凌嵌入式作为龙芯合作伙伴,隆重推出FET-2K0300i-S全国产自主可控工业级核心板!FET-2K0300i-S核心板基于龙芯2K0300i工业级处理器开发设计,集成1个64位LA264处理器,主频1GHz,提供高效的计算能力;支持硬件ECC;2K0300i还具备丰富的连接接口USB、SDIO、UART、SPI、CAN-FD、Ethernet、ADC等一应俱全,龙芯2K0300i支持四路CAN-FD接口,具备良好的可靠性、实时性和灵活性,可满足用户多路CAN需求。除性价比超高的国产处理器外,
    飞凌嵌入式 2025-05-07 11:54 97浏览
我要评论
0
点击右上角,分享到朋友圈 我知道啦
请使用浏览器分享功能 我知道啦