使用KRIASOM开发机械臂控制器,到底有多简单?

FPGA开发圈 2022-12-19 12:07

去年我们玩KV260的时候用的是官方示例,在很短时间之内就完成了一个视觉加速器的开发。那么这次用KR260,我们挑战了一下更高难度,想尝试一下实际开发起来是一种怎样的体验,也想体验一下ROS系统的使用,以及这种开发方式带来的好处。

—— 老石


Kria 系列是AMD Xilinx 专门针对边缘部署而精心设计的 SOM 产品组合,从入门套件到量产型 SOM,可简化系统开发,助力加速产品上市进程。Kria 系列产品的发布引发了业界广泛的关注,也产生了很多基于该系列板卡的设计案例,今天要向大家推荐的是来自业界知名开发者“老石”的一个视频项目。


关于Kria KR260的学习资料,还有这个基于KR260的机械臂控制项目的具体细节、步骤和代码,我们都总结成了详细的文档。大家可以点击“阅读原文”填写问卷(该问卷为不记名形式)后即可获取。


(以下内容全文摘自“老石谈芯”有关KR260 的开发记录)


基于软件开发的新型FPGA开发方法,是否会成为未来的主流?


KR260入门套件的最大特点就是采用了SoM - System on Module的形式,也就是说它其实是有两块板卡,上面这个带黑色风扇的部分就是FPGA卡本身,里面装着一个定制版的SoC芯片,而下面的这个部分就是母板,我们叫它base board或者carrier board。母板上包含了各种接口,最明显的就是这4个RJ45以太网端口,以及一个SFP+10G光口,这些都是为了做工业通信的;此外还有4个USB3.0,主要设计用来做为多个摄像头的接口。


点击展开了解“什么是SOM模式”。


这种使用两种板卡的SoM模式,本质就是一种模块化的设计方法。我们可以分别设计这些核心板和母板,来满足不同应用场景的需要。花最小的代价,满足最多种不同场景的需要。比如在一个设计的开发阶段,我们肯定需要一个有着很多接口和调试功能的开发板,这样就可以把母板上的IO接口做多一些、调试手段做丰富一些,方便我们的开发。当开发调试结束、需要实际应用和部署的时候,可能就不需要这些额外的调试接口和IO了,留着它们反而会成为方便别人入侵的安全隐患。在这种情况下,就可以在母板上保留必要功能,而FPGA的部分保持不变,这样能快速组成一个可以部署的产品化系统。


那么具体到KR260,它的FPGA核心板使用的是一个Zynq UltraScale+ FPGA芯片。这是一个16纳米的器件,包含4核ARM Cortex-A53处理器,以及围绕它搭建的一系列SoC子系统,包括嵌入式的GPU、内存控制器,还有各种IO和总线控制单元等等。可编程逻辑部分,也就是PL,包含25.6万个可编程逻辑单元,144个BRAM、64个URAM,这些都是片上的存储单元,此外还有1200多个DSP。


母板的部分前面说过,有四个以太网、4个USB3.0,此外还有显示接口、树莓派接口等等,能很大程度满足开发的需求。


不过我觉得,Kria系列的最大特点,除了这种模块化的板卡设计之外,更多的是它的开发方法。


不写RTL的FPGA开发


FPGA一直是很多开发者又爱又恨的存在,一方面FPGA有各种的好处,比如可以用来做并行计算和硬件加速,同时功耗又很低;但另一方面,FPGA的学习和开发方法非常的复杂和繁琐,这个也是制约FPGA大规模发展的最主要因素。


但是,包括KR260在内的Kria系列FPGA的开发方法就有很大不同,我们不需要Vitis、不需要使用RTL语言,而是通过Python语言进行开发,就能很快跑起来一个应用。对于KR260来说,它还有一个重要的特性,就是能支持运行机器人操作系统ROS2。它虽然名字里有「操作系统」,但其实并不是像windows、linux那样的操作系统,它更多的是一个中间件和编程框架,包含了一整套开源的软件库和工具,专门用来做机器人编程。ROS的作用是抽象机器人控制和传感器驱动的过程,让不同协议的器件之间能够互相通信。起到了一个总线的作用,不需要交互协议,所有的控制用Python,C 来完成。


机械臂控制器的开发过程


这次使用KR260,我们挑战了一下更高难度,想尝试一下实际开发起来是一种怎样的体验,也想体验一下ROS系统的使用,以及这种开发方式带来的好处。


机械臂的控制,是机器人领域的主要应用之一。我们要实现的功能其实并不是特别复杂,就是通过摄像头定位不同颜色的小方块,然后通过机械臂对小方块进行抓取和分类放置。我们这次开发的主要目的,其实就是评估KR260和ROS系统的易用性。


确定功能之后,就是梳理出具体的开发步骤,主要分以下这么几步:

⬇️上下滑动查看更多内容⬇️

第一步

配置KR260的Ubuntu环境。我们接下来所有的开发,都要基于Ubuntu操作系统,所以这一步是基础。具体做法可以参考赛灵思给出的一些步骤,链接我放在下方的评论区里。不过需要注意的是,这里需要选择支持KR260的Ubuntu版本,不能随便下。这个要到赛灵思的官网,找到Ubuntu Desktop22.04 LTS的映像,确保它支持KR260,然后下载,并且烧录到SD卡里。

烧录好SD卡之后,就是把线缆插到KR260上,注意以太网口不要插错,也插上SD卡,连接键盘鼠标,上电启动Ubuntu。这一步的最后,就是为Ubuntu LTS设置一下赛灵思的开发环境,用这里的几个命令就可以了。

sudo snap install xlnx-config --classic --channel=2.x

xlnx-config.sysinit


第二步

配置KR260的ROS2环境。对于KR260+Ubuntu22.04这样的环境来说,目前只有ROS2 Humble Hawksbill这个版本。在安装之前,需要先安装一系列的依赖、配置源、然后再下载ROS包进行安装。所有的命令代码和文档都是开源的,有条件的小伙伴可以试试看。安装好之后可以做一些简单的信息收发的测试,没问题的话就证明ROS2已经正常运行在KR260上了。

第三步

在KR260上安装jupyter lab方便调试。先下载依赖、配置一下远程登录,然后重启一下就好了。

第四步

搭建机械臂的硬件结构。这一步其实独立于FPGA开发,我们用的是现成的机械臂硬件,主要涉及一些组装和调试的工作。某宝上其实有很多机械臂开发件在卖,但是大家在买的时候一定要注意,问清楚控制接口到底是什么协议。这里我们踩了一个大坑,后面会介绍。

第五步

就是开发实际的功能了。功能主要包含两块,一块是对机械臂动作的控制,一块是通过摄像头进行物体和颜色的识别。对于机械臂动作的控制,是通过动作组来实现的,每个动作组包含初始化、复位、抓取、转移、放置,这五个基本的行为。


每个行为的本质其实就是对机械臂里对应的舵机进行控制,比如控制舵机旋转的角度和方向等等,这些都可以通过Python来进行精确的编程控制。摄像头识别的部分,使用OpenCV来实现。主要的工作有两个部分,分别是颜色识别、以及物体中心坐标定位等等。

别着急,还有第六步

也就是最后一步,就是把这些分立的功能通过ROS连接起来。相当于前一步我们做的都是一个个砖块,现在可以把砖砌成房子了。除了识别算法和控制算法,ROS还可以直接驱动摄像头,并且通过CV bridge把摄像头的图像传递给识别算法。识别出物体的轮廓和坐标之后,自动判断下一步要执行的动作,然后在ROS里发送给机械臂完成执行。


踩坑总结


开发过程肯定不是一帆风顺的,一些搭环境装软件的小问题就不说了,我们在开发过程中遇到的最大问题,其实是KR260目前存在的一些限制。一开始我们想用一个性能更好、功能更强的机械臂,买好了抱回来之后发现,那个机械臂的控制端口用的是I2C总线。根据KR260目前板卡的设计和引脚分配我们发现,必须要把这个I2C总线连到KR260的FPGA端。但是问题就来了,目前赛灵思提供的Ubuntu系统还不能访问FPGA PL端的新增AXI 设备,需要修改Ubuntu系统。


然后很自然的就想试试其他操作系统,比如我们试过Petalinux,并且成功修改了设备树,实现和I2C的通信,但是问题又来了,Petalinux不支持ROS,也没办法下载大部分依赖的安装包和支持库。


最后的方案,就是选了另外一个支持USB串口驱动的机械臂,并且直接在Ubuntu+ROS的环境下完成了前面的开发。


事实上,这并不是什么bug,而是一些相关的功能和支持还没完全开放。比如说不定过一段时间赛灵思就更新了Ubuntu版本,添加了对FPGA PL端IO资源的访问支持。也就是说,可以直接从FPGA的可编程硬件部分访问各种外设,这样肯定就方便更多了。


所以,回到了项目刚刚开始的问题:


基于软件开发的新型FPGA开发方法,是否会成为未来的主流?

折腾完我们的答案是,很有可能,但(前面的路还有很多)。详细的踩坑总结以及解决方案,我们以文档的形式列出来了,感兴趣的朋友可以点击这里,或“阅读原文”填写问卷(该问卷为不记名形式)后即可获取。


小结


这期视频带大家一起看了一下赛灵思最新的Kria KR260机器人开发套件的开发全过程。在这个过程中,可以不接触到FPGA的底层硬件内容。如果你是个软件开发者,可以利用这个平台直接进行上层机器人相关软件和算法的开发和加速,这个就大大降低了使用FPGA的门槛。这个过程也很有趣,同时也能慢慢接触到软硬件协同开发的知识细节,并且锻炼这方面的技能。




FPGA开发圈 这里介绍、交流、有关FPGA开发资料(文档下载,技术解答等),提升FPGA应用能力。
评论 (0)
  • 温度传感器的工作原理依据其类型可分为以下几种主要形式:一、热电阻温度传感器利用金属或半导体材料的电阻值随温度变化的特性实现测温:l ‌金属热电阻‌(如铂电阻 Pt100、Pt1000):高温下电阻值呈线性增长,稳定性高,适用于工业精密测温。l ‌热敏电阻‌(NTC/PTC):NTC 热敏电阻阻值随温度升高而下降,PTC 则相反;灵敏度高但线性范围较窄,常用于电子设备温控。二、热电偶传感器基于‌塞贝克效应‌(Seebeck effect):两种不同
    锦正茂科技 2025-05-09 13:31 31浏览
  • 后摄像头是长这个样子,如下图。5孔(D-,D+,5V,12V,GND),说的是连接线的个数,如下图。4LED,+12V驱动4颗LED灯珠,给摄像头补光用的,如下图。打开后盖,发现里面有透明白胶(防水)和白色硬胶(固定),用合适的工具,清理其中的胶状物。BOT层,AN3860,Panasonic Semiconductor (松下电器)制造的,Cylinder Motor Driver IC for Video Camera,如下图。TOP层,感光芯片和广角聚焦镜头组合,如下图。感光芯片,看着是玻
    liweicheng 2025-05-07 23:55 200浏览
  • 在过去的很长一段时间里,外卖市场呈现出美团和饿了么双寡头垄断的局面。美团凭借先发优势、强大的地推团队以及精细化的运营策略,在市场份额上长期占据领先地位。数据显示,截至2024年上半年,美团外卖以68.2%的市场份额领跑外卖行业,成为当之无愧的行业老大。其业务广泛覆盖,从一线城市的繁华商圈到二三线城市的大街小巷,几乎无处不在,为无数消费者提供便捷的外卖服务。饿了么作为阿里本地生活服务的重要一环,依托阿里强大的资金和技术支持,也在市场中站稳脚跟,以25.4%的份额位居第二。尽管市场份额上与美团有一定
    用户1742991715177 2025-05-06 19:43 41浏览
  • 文/郭楚妤编辑/cc孙聪颖‍相较于一众措辞谨慎、毫无掌舵者个人风格的上市公司财报,利亚德的财报显得尤为另类。利亚德光电集团成立于1995年,是一家以LED显示、液晶显示产品设计、生产、销售及服务为主业的高新技术企业。自2016年年报起,无论业绩优劣,董事长李军每年都会在财报末尾附上一首七言打油诗,抒发其对公司当年业绩的感悟。从“三年翻番顺大势”“智能显示我第一”“披荆斩棘幸从容”等词句中,不难窥见李军的雄心壮志。2012年,利亚德(300296.SZ)在深交所创业板上市。成立以来,该公司在细分领
    华尔街科技眼 2025-05-07 19:25 301浏览
  • 二位半 5线数码管的驱动方法这个2位半的7段数码管只用5个管脚驱动。如果用常规的7段+共阳/阴则需要用10个管脚。如果把每个段看成独立的灯。5个管脚来点亮,任选其中一个作为COM端时,另外4条线可以单独各控制一个灯。所以实际上最多能驱动5*4 = 20个段。但是这里会有一个小问题。如果想点亮B1,可以让第3条线(P3)置高,P4 置低,其它阳极连P3的灯对应阴极P2 P1都应置高,此时会发现C1也会点亮。实际操作时,可以把COM端线P3设置为PP输出,其它线为OD输出。就可以单独控制了。实际的驱
    southcreek 2025-05-07 15:06 318浏览
  • 文/Leon编辑/cc孙聪颖‍《中国家族企业传承研究报告》显示,超四成“企二代” 明确表达接班意愿,展现出对家族企业延续发展的主动担当。中国研究数据服务平台(CNRDS)提供的精准数据进一步佐证:截至 2022 年,已有至少 280 家上市家族企业完成权杖交接,其中八成新任掌门人为创始人之子,凸显家族企业代际传承中 “子承父业” 的主流模式。然而,对于“企二代” 而言,接棒掌舵绝非易事。在瞬息万变的商业环境中,他们既要在白热化的市场竞争中开拓创新、引领企业突破发展瓶颈,又需应对来自父辈管理层的经
    华尔街科技眼 2025-05-06 18:17 19浏览
  • 硅二极管温度传感器是一种基于硅半导体材料特性的测温装置,其核心原理是利用硅二极管的电学参数(如正向压降或电阻)随温度变化的特性实现温度检测。以下是其工作原理、技术特点及典型应用:一、工作原理1、‌PN结温度特性‌硅二极管由PN结构成,当温度变化时,其正向电压 VF与温度呈线性负相关关系。例如,温度每升高1℃,VF约下降2 mV。2、‌电压—温度关系‌通过jing确测量正向电压的微小变化,可推算出环境温度值。部分型号(如SI410)在宽温域内(如1.4 K至475 K)仍能保持高线性度。
    锦正茂科技 2025-05-09 13:52 29浏览
  • 飞凌嵌入式作为龙芯合作伙伴,隆重推出FET-2K0300i-S全国产自主可控工业级核心板!FET-2K0300i-S核心板基于龙芯2K0300i工业级处理器开发设计,集成1个64位LA264处理器,主频1GHz,提供高效的计算能力;支持硬件ECC;2K0300i还具备丰富的连接接口USB、SDIO、UART、SPI、CAN-FD、Ethernet、ADC等一应俱全,龙芯2K0300i支持四路CAN-FD接口,具备良好的可靠性、实时性和灵活性,可满足用户多路CAN需求。除性价比超高的国产处理器外,
    飞凌嵌入式 2025-05-07 11:54 55浏览
  • UNISOC Miracle Gaming奇迹手游引擎亮点:• 高帧稳帧:支持《王者荣耀》等主流手游90帧高画质模式,连续丢帧率最高降低85%;• 丝滑操控:游戏冷启动速度提升50%,《和平精英》开镜开枪操作延迟降低80%;• 极速网络:专属游戏网络引擎,使《王者荣耀》平均延迟降低80%;• 智感语音:与腾讯GVoice联合,弱网环境仍能保持清晰通话;• 超高画质:游戏画质增强、超级HDR画质、游戏超分技术,优化游戏视效。全球手游市场规模日益壮大,游戏玩家对极致体验的追求愈发苛刻。紫光展锐全新U
    紫光展锐 2025-05-07 17:07 238浏览
  • 这款无线入耳式蓝牙耳机是长这个样子的,如下图。侧面特写,如下图。充电接口来个特写,用的是卡座卡在PCB板子上的,上下夹紧PCB的正负极,如下图。撬开耳机喇叭盖子,如下图。精致的喇叭(HY),如下图。喇叭是由电学产生声学的,具体结构如下图。电池包(AFS 451012  21 12),用黄色耐高温胶带进行包裹(安规需求),加强隔离绝缘的,如下图。451012是电池包的型号,聚合物锂电池+3.7V 35mAh,详细如下图。电路板是怎么拿出来的呢,剪断喇叭和电池包的连接线,底部抽出PCB板子
    liweicheng 2025-05-06 22:58 454浏览
  • ‌一、高斯计的正确选择‌1、‌明确测量需求‌‌磁场类型‌:区分直流或交流磁场,选择对应仪器(如交流高斯计需支持交变磁场测量)。‌量程范围‌:根据被测磁场强度选择覆盖范围,例如地球磁场(0.3–0.5 G)或工业磁体(数百至数千高斯)。‌精度与分辨率‌:高精度场景(如科研)需选择误差低于1%的仪器,分辨率需匹配微小磁场变化检测需求。2、‌仪器类型选择‌‌手持式‌:便携性强,适合现场快速检测;‌台式‌:精度更高,适用于实验室或工业环境。‌探头类型‌:‌横向/轴向探头‌:根据磁场方向选择,轴向探头适合
    锦正茂科技 2025-05-06 11:36 421浏览
  • Matter协议是一个由Amazon Alexa、Apple HomeKit、Google Home和Samsung SmartThings等全球科技巨头与CSA联盟共同制定的开放性标准,它就像一份“共生契约”,能让原本相互独立的家居生态在应用层上握手共存,同时它并非另起炉灶,而是以IP(互联网协议)为基础框架,将不同通信协议下的家居设备统一到同一套“语义规则”之下。作为应用层上的互通标准,Matter协议正在重新定义智能家居行业的运行逻辑,它不仅能向下屏蔽家居设备制造商的生态和系统,让设备、平
    华普微HOPERF 2025-05-08 11:40 193浏览
  • 随着智能驾驶时代到来,汽车正转变为移动计算平台。车载AI技术对存储器提出新挑战:既要高性能,又需低功耗和车规级可靠性。贞光科技代理的紫光国芯车规级LPDDR4存储器,以其卓越性能成为国产芯片产业链中的关键一环,为智能汽车提供坚实的"记忆力"支持。作为官方授权代理商,贞光科技通过专业技术团队和完善供应链,让这款国产存储器更好地服务国内汽车厂商。本文将探讨车载AI算力需求现状及贞光科技如何通过紫光国芯LPDDR4产品满足市场需求。 车载AI算力需求激增的背景与挑战智能驾驶推动算力需求爆发式
    贞光科技 2025-05-07 16:54 169浏览
我要评论
0
0
点击右上角,分享到朋友圈 我知道啦
请使用浏览器分享功能 我知道啦