扩展基于NVIDIA Jetson Nano的JetBot智能车功能

原创 嵌入式资讯精选 2021-10-19 11:38

 

作者 | DerekRunberg (USA)

译者 | 透镜


电子开发套件是为了简化使用。就机器人技术而言,提供一个预先构建的底盘、参考代码,乃至一个可实际运行的例子。基于这个例子,能够快速创建可以实际运行的最小系统。一个好的开发套件将大大降低开发难度,我们称之为一步到位的”交钥匙工程”。

     


SparkFun JetBot AI套件正是此类套件。它由NVIDIA发起,基于开源JetBot项目,为没有3D打印的客户提供现成购买方案。此版本的JetBot提供了快速构建桌面机器人的模块,包括底盘和所有必要的机械系统。该套件还提供了Jetson Nano开箱即用的相机视觉 (CV) 和机器学习 (ML) 基础知识所需的组件。SparkFun JetBot AI套件节省了3D打印的时间,以及早期原型制作的大量工作。 


我经常遇到关于JetBot可扩展性的问题,比如“可以以此为基础,进行机器人系统扩展吗”,答案当然是肯定的。Jetbot作为桌面级产品,使用了较少的传感器,可以很容易适配不同的底盘、电机和摄像头。然而,这些对我来说都是理论上的,所以我决定卷起袖子,深入研究,看看哪些部分对升级我的 JetBot 有意义。这篇文章记录了我使用JetBot套件进行升级扩展过程中所踩过的坑,以及取得的进展。


规  划

拿到JetBot,首先需要确定哪些东西能为我所用。就NVIDIA Jetson Nano而言,如果要使用Qwiic生态系统的板卡,那么就需要用到Python,以及一些其他的支持。从Github可以获取Qwiic_Py库,找到针对板卡所支持的对应驱动目录。JetBot使用了其中的两个驱动:Qwiic电机驱动器和Qwiic OLED显示器。深入地查看驱动列表后,我在想,为我的机器人添加什么功能,才能构建出下一代机器人。花了一些时间研究后,我确定使用三个不同的板卡,这些板卡可以释放出最大的潜力(见图 1)。 

 


图1  选择用于升级JetBot的3个SparkFun板卡

(1)GPS-RTK-SMA ZED-F9P

对我来说,高端机器人需要GPS,更不用说远离办公桌的室外机器人了。u-blox的 ZED-F9P模块具有最新、最出色的技术,包括执行实时运动学 (RTK) 将精度提高到毫米的能力(使用基站)。GPS可以被用作导航和远程测量。通过计算机视觉和GPS的结合,绘制岩石、植物,甚至人等不同物体的地图。


(2)SparkFun Auto Phat

SparkFun Auto Phat是一种树莓派扩展板,与 NVIDIA Jetson兼容。具有与Qwiic电机驱动器相同的电机驱动器芯片,以扩展板的形式进行升级。扩展板包括电机控制器、电机编码器输入、IMU和伺服控制输出。通过这个扩展板替换单一的电机驱动器,不仅能够提高控制电机的能力,而且可以使用伺服系统和增强IMU检测。 


(3)VL53L1X 飞行时间距离传感器

JetBot带有一个传感器和一个摄像头。由于计算机视觉的强大功能,JetBot只用计算机视觉和一些机器学习就能做很多神奇的事情。增加几个传感器使机器人能够识别物体并确定与该物体的距离,甚至检测相机视野之外的物体。


距离传感器有很多选择。我最终选择了飞行时间 (ToF) 传感器,该传感器具有高性价比、低功耗的特点,并且能更好的适配 JetBot 。VL53L1X 距离传感器,具有四米有效范围和相对狭窄的视野。我将它与机器人的中心视野对齐,并在相机的视野中获得与物体的大致距离。通过鱼眼镜头,实现起来还是有一定的难度。 


硬件集成

基于现有系统构建我的JetBot——Auto Phat。取代了Qwiic Phat和Qwiic Motor Driver。此外,由于Auto Phat具有电机编码器输入,故将齿轮电机换成了带编码器的电机(见图 2)。

 

图2 在改装的JetBot上,Auto Phat取代简单的Qwiic Phat和Qwiic Motor Driver


这个项目比较简单。整个步骤中最困难的部分是找到一种方法有效地将电机线连接到 Phat。然而,引线很长,所以将它们穿过底盘一直延伸到phat上的螺钉端子没任何问题,我按照Phat的连接指南将它们连接起来。


更换Phat后,我所要做的就是将Qwiic OLED显示器的Qwiic电缆和电池组USB电缆重新插入Phat上的USB端口,一切就绪!


接下来是GPS单元。该板本身比我们的标准Qwiic板尺寸1 ̋×1 ̋(~2.5 cm × 2.5 cm)稍大,因此将其安装到Auto Phat是不可能的。更复杂的是,我还需要在已经很拥挤的 JetBot上找个地方安装天线。为了稍微扩大占地面积,我使用了备件箱中的一块备用机箱,并将其安装在Jetson Nano和相机支架上方(见图3)。这给了我更多的空间来安装GPS和距离传感器(见图4)。GPS很好地安装在插槽中,我在底盘上钻了大小合适的孔来安装SMA扩展。

 

图3  GPS板安装在一个单独的底盘上,用于安装在Jetson Nano和相机支架上方


 图4 改装JetBot的后视图(带有额外的安装板),用于固定GPS板和OLED板


GPS板通过UART端口控制。虽然我可以连接到接头上的其中一个UART,但我选择使用 USB端口作为UART端口,因为更加方便,干扰更少。


为JetBot添加的最后一个功能是ToF距离传感器。很幸运,该传感器符合我们的 Qwiic 1 ̋ × 1 ̋ 外形规格。我使用自制的一个简单支架和一个方形3M Dual Lock(见图5),将它直接安装在相机上方。我喜欢在这里使用Dual Lock,因为它可以让我在安装传感器时具有一定的灵活性,避免钻一堆孔。

 

图5  兼容Qwiic的ToF距离传感器和摄像头模块固定在支架上,用于连接到JetBot


安装传感器后的最后一步是找到合适长度的Qwiic电缆,并将其连接到最近的 Qwiic 板,结果如图 6 所示。 


 

图6  完成升级后的JetBot

软件集成

JetBot支持多种软件集成环境,但最简单的方法是使用SparkFun JetBot的自定义镜像。它将SparkFun的Qwiic电机驱动程序集成到JetBot包中,以及NVIDIA用于JetBot的例子,这些例子通过Jupyter Notebooks访问文件系统,并远程运行Python脚本。


可以通过在JetBot上安装Qwiic py Python包构建,并开始测试每个板卡的示例代码。我们可以通过终端命令行和pip快速完成。从台式机或Jupyter笔记本电脑打开NVIDIA Jetson Nano上的终端窗口,然后键入以下命令:

sudo pip install sparkfun-qwiic


此命令将为Qwiic板卡下载并安装目前在生态系统中支持的所有驱动程序。最后安装是 PySerial包,这是Jetson Nano和F9P GPS板卡之间通过USB的主要通信方法。安装 PySerial包,请键入以下命令:

sudo pip install py_serial


安装了两组软件包后,我们现在可以为每个附加传感器运行示例代码。可以在网站链接[1]中找到Qwiic_py github库中每个支持的Qwiic板卡的示例Python代码。将示例代码下载或复制并粘贴到Python文件中,然后通过键入以下命令从命令行中运行它:

python3 example.py


如果您正在运行GPS相关的任何脚本,则需要在命令中使用sudo,因为您需要通过 USB读取和写入UART连接的权限:

sudo python3 exampleGPS.py


注意:如果您使用Jupyter Notebooks并希望使用GPS或任何其他需要访问UART连接的脚本,您将需要更改UART端口的权限。您可以使用以下命令执行此操作:

sudo chmod 660 /dev/ttyAMC0


如果对我使用Jupyter Notebook形式的几个Python程序示例感到好奇,可以在网站链接[2]中的github上找到它们,并将其下载到您自己的JetBot。每个Jupyter Notebook 都提供了代码片段的解释,并允许您从那里运行代码,而无需命令行。如果您不熟悉Jupyter Notebooks,请查看网站链接[3]中的快速入门教程。 


结  语

我们只是触及了升级JetBot方法的皮毛。市面上有许多不同的传感器和执行器,它们很容易与单板计算机集成和使用。NVIDIA Jetson Nano的机器学习和人工智能功能,使其成为简单、高效的机器人平台的领跑者。


通过一些配件,我升级了JetBot本身,但这并不是全部工作!如果你考虑将Jetson Nano作为机器人平台的控制系统,可以考虑扩大规模或将其植入其他平台。


事实上,去年我采用了 JetBot 平台并将其移植到 Sphero RVR 机器人平台,其中包含 Spark-Fun 目录中的一些部件、通过一些切割、打磨和钻孔工作,使 RVR 更智能并利用 Jetson Nano的 ML功能。在网站链接[4]中,可以找到我的分步教程。


NVIDIA Jetson Nano和JetBot平台一直是我使用过的最有趣的机器人套件和产品之一,它们将尖端技术与易用性和灵活性相结合,可以用来做很多有趣的事情。我一直在寻找改进机器人的方法,同时,不断提升我对 机器学习和人工智能的理解。


相关链接

[1] Example Python code for Qwiic boards: https://bit.ly/39CB5O2.

[2] Example Python programs in Jupyter Notebook: https://bit.ly/3a9RbO7.

[3] Jupyter Notebook how-to tutorial: https://bit.ly/36eanJA.

[4] Sphero RVR mash-up tutorial: https://bit.ly/3c7Non3.

本文授权来自本刊的合作伙伴Elektor媒体集团,如果希望免费订阅Elektor的英文在线内容,请访问https://www.elektormagazine.com/。 

1.STM32U5,意法半导体新打造的超低功耗MCU旗舰版

2.【例说Arm-2D界面设计】从不规则图标的显示说起

3.STM8CubeMX和STM32CubeMX功能一样吗?

4.这九种情况下的单片机项目尽量不要接~

5.偷偷把室友的STM32换成了GD32后。。。

6.剖开苹果A15芯片,看看die的布局!

嵌入式资讯精选 掌握最鲜资讯,尽领行业新风
评论 (0)
  • 4月22日下午,备受瞩目的飞凌嵌入式「2025嵌入式及边缘AI技术论坛」在深圳深铁皇冠假日酒店盛大举行,此次活动邀请到了200余位嵌入式技术领域的技术专家、企业代表和工程师用户,共享嵌入式及边缘AI技术的盛宴!1、精彩纷呈的展区产品及方案展区是本场活动的第一场重头戏,从硬件产品到软件系统,从企业级应用到高校教学应用,都吸引了现场来宾的驻足观看和交流讨论。全产品矩阵展区展示了飞凌嵌入式丰富的产品线,从嵌入式板卡到工控机,从进口芯片平台到全国产平台,无不体现出飞凌嵌入式在嵌入式主控设备研发设计方面的
    飞凌嵌入式 2025-04-28 14:43 137浏览
  • 文/郭楚妤编辑/cc孙聪颖‍越来越多的企业开始蚕食动力电池市场,行业“去宁王化”态势逐渐明显。随着这种趋势的加强,打开新的市场对于宁德时代而言至关重要。“我们不希望被定义为电池的制造者,而是希望把自己称作新能源产业的开拓者。”4月21日,在宁德时代举行的“超级科技日”发布会上,宁德时代掌门人曾毓群如是说。随着宁德时代核心新品骁遥双核电池的发布,其搭载的“电电增程”技术也走进业界视野。除此之外,经过近3年试水,宁德时代在换电业务上重资加码。曾毓群认为换电是一个重资产、高投入、长周期的产业,涉及的利
    华尔街科技眼 2025-04-28 21:55 146浏览
  • 在CAN总线分析软件领域,当CANoe不再是唯一选择时,虹科PCAN-Explorer 6软件成为了一个有竞争力的解决方案。在现代工业控制和汽车领域,CAN总线分析软件的重要性不言而喻。随着技术的进步和市场需求的多样化,单一的解决方案已无法满足所有用户的需求。正是在这样的背景下,虹科PCAN-Explorer 6软件以其独特的模块化设计和灵活的功能扩展,为CAN总线分析领域带来了新的选择和可能性。本文将深入探讨虹科PCAN-Explorer 6软件如何以其创新的模块化插件策略,提供定制化的功能选
    虹科汽车智能互联 2025-04-28 16:00 171浏览
  • 文/Leon编辑/cc孙聪颖‍2023年,厨电行业在相对平稳的市场环境中迎来温和复苏,看似为行业增长积蓄势能。带着对市场向好的预期,2024 年初,老板电器副董事长兼总经理任富佳为企业定下双位数增长目标。然而现实与预期相悖,过去一年,这家老牌厨电企业不仅未能达成业绩目标,曾提出的“三年再造一个老板电器”愿景,也因市场下行压力面临落空风险。作为“企二代”管理者,任富佳在掌舵企业穿越市场周期的过程中,正面临着前所未有的挑战。4月29日,老板电器(002508.SZ)发布了2024年年度报告及2025
    华尔街科技眼 2025-04-30 12:40 171浏览
  • 在智能硬件设备趋向微型化的背景下,语音芯片方案厂商针对小体积设备开发了多款超小型语音芯片方案,其中WTV系列和WT2003H系列凭借其QFN封装设计、高性能与高集成度,成为微型设备语音方案的理想选择。以下从封装特性、功能优势及典型应用场景三个方面进行详细介绍。一、超小体积封装:QFN技术的核心优势WTV系列与WT2003H系列均提供QFN封装(如QFN32,尺寸为4×4mm),这种封装形式具有以下特点:体积紧凑:QFN封装通过减少引脚间距和优化内部结构,显著缩小芯片体积,适用于智能门铃、穿戴设备
    广州唯创电子 2025-04-30 09:02 202浏览
  • 贞光科技代理品牌紫光国芯的车规级LPDDR4内存正成为智能驾驶舱的核心选择。在汽车电子国产化浪潮中,其产品以宽温域稳定工作能力、优异电磁兼容性和超长使用寿命赢得市场认可。紫光国芯不仅确保供应链安全可控,还提供专业本地技术支持。面向未来,紫光国芯正研发LPDDR5车规级产品,将以更高带宽、更低功耗支持汽车智能化发展。随着智能网联汽车的迅猛发展,智能驾驶舱作为人机交互的核心载体,对处理器和存储器的性能与可靠性提出了更高要求。在汽车电子国产化浪潮中,贞光科技代理品牌紫光国芯的车规级LPDDR4内存凭借
    贞光科技 2025-04-28 16:52 227浏览
  • 一、gao效冷却与控温机制‌1、‌冷媒流动设计‌采用低压液氮(或液氦)通过毛细管路导入蒸发器,蒸汽喷射至样品腔实现快速冷却,冷却效率高(室温至80K约20分钟,至4.2K约30分钟)。通过控温仪动态调节蒸发器加热功率,结合温度传感器(如PT100铂电阻或Cernox磁场不敏感传感器),实现±0.01K的高精度温度稳定性。2、‌宽温区覆盖与扩展性‌标准温区为80K-325K,通过降压选件可将下限延伸至65K(液氮模式)或4K(液氦模式)。可选配475K高温模块,满足材料在ji端温度下的性能测试需求
    锦正茂科技 2025-04-30 13:08 173浏览
  • 网约车,真的“饱和”了?近日,网约车市场的 “饱和” 话题再度引发热议。多地陆续发布网约车风险预警,提醒从业者谨慎入局,这背后究竟隐藏着怎样的市场现状呢?从数据来看,网约车市场的“过剩”现象已愈发明显。以东莞为例,截至2024年12月底,全市网约车数量超过5.77万辆,考取网约车驾驶员证的人数更是超过13.48万人。随着司机数量的不断攀升,订单量却未能同步增长,导致单车日均接单量和营收双双下降。2024年下半年,东莞网约出租车单车日均订单量约10.5单,而单车日均营收也不容乐
    用户1742991715177 2025-04-29 18:28 196浏览
  • 你是不是也有在公共场合被偷看手机或笔电的经验呢?科技时代下,不少现代人的各式机密数据都在手机、平板或是笔电等可携式的3C产品上处理,若是经常性地需要在公共场合使用,不管是工作上的机密文件,或是重要的个人信息等,民众都有防窃防盗意识,为了避免他人窥探内容,都会选择使用「防窥保护贴片」,以防止数据外泄。现今市面上「防窥保护贴」、「防窥片」、「屏幕防窥膜」等产品就是这种目的下产物 (以下简称防窥片)!防窥片功能与常见问题解析首先,防窥片最主要的功能就是用来防止他人窥视屏幕上的隐私信息,它是利用百叶窗的
    百佳泰测试实验室 2025-04-30 13:28 232浏览
  • 浪潮之上:智能时代的觉醒    近日参加了一场课题的答辩,这是医疗人工智能揭榜挂帅的国家项目的地区考场,参与者众多,围绕着医疗健康的主题,八仙过海各显神通,百花齐放。   中国大地正在发生着激动人心的场景:深圳前海深港人工智能算力中心高速运转的液冷服务器,武汉马路上自动驾驶出租车穿行的智慧道路,机器人参与北京的马拉松竞赛。从中央到地方,人工智能相关政策和消息如雨后春笋般不断出台,数字中国的建设图景正在智能浪潮中徐徐展开,战略布局如同围棋
    广州铁金刚 2025-04-30 15:24 168浏览
  • 随着电子元器件的快速发展,导致各种常见的贴片电阻元器件也越来越小,给我们分辨也就变得越来越难,下面就由smt贴片加工厂_安徽英特丽就来告诉大家如何分辨的SMT贴片元器件。先来看看贴片电感和贴片电容的区分:(1)看颜色(黑色)——一般黑色都是贴片电感。贴片电容只有勇于精密设备中的贴片钽电容才是黑色的,其他普通贴片电容基本都不是黑色的。(2)看型号标码——贴片电感以L开头,贴片电容以C开头。从外形是圆形初步判断应为电感,测量两端电阻为零点几欧,则为电感。(3)检测——贴片电感一般阻值小,更没有“充放
    贴片加工小安 2025-04-29 14:59 193浏览
我要评论
0
0
点击右上角,分享到朋友圈 我知道啦
请使用浏览器分享功能 我知道啦