使用KRIASOM开发机械臂控制器,到底有多简单?

FPGA开发圈 2022-12-19 12:07

去年我们玩KV260的时候用的是官方示例,在很短时间之内就完成了一个视觉加速器的开发。那么这次用KR260,我们挑战了一下更高难度,想尝试一下实际开发起来是一种怎样的体验,也想体验一下ROS系统的使用,以及这种开发方式带来的好处。

—— 老石


Kria 系列是AMD Xilinx 专门针对边缘部署而精心设计的 SOM 产品组合,从入门套件到量产型 SOM,可简化系统开发,助力加速产品上市进程。Kria 系列产品的发布引发了业界广泛的关注,也产生了很多基于该系列板卡的设计案例,今天要向大家推荐的是来自业界知名开发者“老石”的一个视频项目。


关于Kria KR260的学习资料,还有这个基于KR260的机械臂控制项目的具体细节、步骤和代码,我们都总结成了详细的文档。大家可以点击“阅读原文”填写问卷(该问卷为不记名形式)后即可获取。


(以下内容全文摘自“老石谈芯”有关KR260 的开发记录)


基于软件开发的新型FPGA开发方法,是否会成为未来的主流?


KR260入门套件的最大特点就是采用了SoM - System on Module的形式,也就是说它其实是有两块板卡,上面这个带黑色风扇的部分就是FPGA卡本身,里面装着一个定制版的SoC芯片,而下面的这个部分就是母板,我们叫它base board或者carrier board。母板上包含了各种接口,最明显的就是这4个RJ45以太网端口,以及一个SFP+10G光口,这些都是为了做工业通信的;此外还有4个USB3.0,主要设计用来做为多个摄像头的接口。


点击展开了解“什么是SOM模式”。


这种使用两种板卡的SoM模式,本质就是一种模块化的设计方法。我们可以分别设计这些核心板和母板,来满足不同应用场景的需要。花最小的代价,满足最多种不同场景的需要。比如在一个设计的开发阶段,我们肯定需要一个有着很多接口和调试功能的开发板,这样就可以把母板上的IO接口做多一些、调试手段做丰富一些,方便我们的开发。当开发调试结束、需要实际应用和部署的时候,可能就不需要这些额外的调试接口和IO了,留着它们反而会成为方便别人入侵的安全隐患。在这种情况下,就可以在母板上保留必要功能,而FPGA的部分保持不变,这样能快速组成一个可以部署的产品化系统。


那么具体到KR260,它的FPGA核心板使用的是一个Zynq UltraScale+ FPGA芯片。这是一个16纳米的器件,包含4核ARM Cortex-A53处理器,以及围绕它搭建的一系列SoC子系统,包括嵌入式的GPU、内存控制器,还有各种IO和总线控制单元等等。可编程逻辑部分,也就是PL,包含25.6万个可编程逻辑单元,144个BRAM、64个URAM,这些都是片上的存储单元,此外还有1200多个DSP。


母板的部分前面说过,有四个以太网、4个USB3.0,此外还有显示接口、树莓派接口等等,能很大程度满足开发的需求。


不过我觉得,Kria系列的最大特点,除了这种模块化的板卡设计之外,更多的是它的开发方法。


不写RTL的FPGA开发


FPGA一直是很多开发者又爱又恨的存在,一方面FPGA有各种的好处,比如可以用来做并行计算和硬件加速,同时功耗又很低;但另一方面,FPGA的学习和开发方法非常的复杂和繁琐,这个也是制约FPGA大规模发展的最主要因素。


但是,包括KR260在内的Kria系列FPGA的开发方法就有很大不同,我们不需要Vitis、不需要使用RTL语言,而是通过Python语言进行开发,就能很快跑起来一个应用。对于KR260来说,它还有一个重要的特性,就是能支持运行机器人操作系统ROS2。它虽然名字里有「操作系统」,但其实并不是像windows、linux那样的操作系统,它更多的是一个中间件和编程框架,包含了一整套开源的软件库和工具,专门用来做机器人编程。ROS的作用是抽象机器人控制和传感器驱动的过程,让不同协议的器件之间能够互相通信。起到了一个总线的作用,不需要交互协议,所有的控制用Python,C 来完成。


机械臂控制器的开发过程


这次使用KR260,我们挑战了一下更高难度,想尝试一下实际开发起来是一种怎样的体验,也想体验一下ROS系统的使用,以及这种开发方式带来的好处。


机械臂的控制,是机器人领域的主要应用之一。我们要实现的功能其实并不是特别复杂,就是通过摄像头定位不同颜色的小方块,然后通过机械臂对小方块进行抓取和分类放置。我们这次开发的主要目的,其实就是评估KR260和ROS系统的易用性。


确定功能之后,就是梳理出具体的开发步骤,主要分以下这么几步:

⬇️上下滑动查看更多内容⬇️

第一步

配置KR260的Ubuntu环境。我们接下来所有的开发,都要基于Ubuntu操作系统,所以这一步是基础。具体做法可以参考赛灵思给出的一些步骤,链接我放在下方的评论区里。不过需要注意的是,这里需要选择支持KR260的Ubuntu版本,不能随便下。这个要到赛灵思的官网,找到Ubuntu Desktop22.04 LTS的映像,确保它支持KR260,然后下载,并且烧录到SD卡里。

烧录好SD卡之后,就是把线缆插到KR260上,注意以太网口不要插错,也插上SD卡,连接键盘鼠标,上电启动Ubuntu。这一步的最后,就是为Ubuntu LTS设置一下赛灵思的开发环境,用这里的几个命令就可以了。

sudo snap install xlnx-config --classic --channel=2.x

xlnx-config.sysinit


第二步

配置KR260的ROS2环境。对于KR260+Ubuntu22.04这样的环境来说,目前只有ROS2 Humble Hawksbill这个版本。在安装之前,需要先安装一系列的依赖、配置源、然后再下载ROS包进行安装。所有的命令代码和文档都是开源的,有条件的小伙伴可以试试看。安装好之后可以做一些简单的信息收发的测试,没问题的话就证明ROS2已经正常运行在KR260上了。

第三步

在KR260上安装jupyter lab方便调试。先下载依赖、配置一下远程登录,然后重启一下就好了。

第四步

搭建机械臂的硬件结构。这一步其实独立于FPGA开发,我们用的是现成的机械臂硬件,主要涉及一些组装和调试的工作。某宝上其实有很多机械臂开发件在卖,但是大家在买的时候一定要注意,问清楚控制接口到底是什么协议。这里我们踩了一个大坑,后面会介绍。

第五步

就是开发实际的功能了。功能主要包含两块,一块是对机械臂动作的控制,一块是通过摄像头进行物体和颜色的识别。对于机械臂动作的控制,是通过动作组来实现的,每个动作组包含初始化、复位、抓取、转移、放置,这五个基本的行为。


每个行为的本质其实就是对机械臂里对应的舵机进行控制,比如控制舵机旋转的角度和方向等等,这些都可以通过Python来进行精确的编程控制。摄像头识别的部分,使用OpenCV来实现。主要的工作有两个部分,分别是颜色识别、以及物体中心坐标定位等等。

别着急,还有第六步

也就是最后一步,就是把这些分立的功能通过ROS连接起来。相当于前一步我们做的都是一个个砖块,现在可以把砖砌成房子了。除了识别算法和控制算法,ROS还可以直接驱动摄像头,并且通过CV bridge把摄像头的图像传递给识别算法。识别出物体的轮廓和坐标之后,自动判断下一步要执行的动作,然后在ROS里发送给机械臂完成执行。


踩坑总结


开发过程肯定不是一帆风顺的,一些搭环境装软件的小问题就不说了,我们在开发过程中遇到的最大问题,其实是KR260目前存在的一些限制。一开始我们想用一个性能更好、功能更强的机械臂,买好了抱回来之后发现,那个机械臂的控制端口用的是I2C总线。根据KR260目前板卡的设计和引脚分配我们发现,必须要把这个I2C总线连到KR260的FPGA端。但是问题就来了,目前赛灵思提供的Ubuntu系统还不能访问FPGA PL端的新增AXI 设备,需要修改Ubuntu系统。


然后很自然的就想试试其他操作系统,比如我们试过Petalinux,并且成功修改了设备树,实现和I2C的通信,但是问题又来了,Petalinux不支持ROS,也没办法下载大部分依赖的安装包和支持库。


最后的方案,就是选了另外一个支持USB串口驱动的机械臂,并且直接在Ubuntu+ROS的环境下完成了前面的开发。


事实上,这并不是什么bug,而是一些相关的功能和支持还没完全开放。比如说不定过一段时间赛灵思就更新了Ubuntu版本,添加了对FPGA PL端IO资源的访问支持。也就是说,可以直接从FPGA的可编程硬件部分访问各种外设,这样肯定就方便更多了。


所以,回到了项目刚刚开始的问题:


基于软件开发的新型FPGA开发方法,是否会成为未来的主流?

折腾完我们的答案是,很有可能,但(前面的路还有很多)。详细的踩坑总结以及解决方案,我们以文档的形式列出来了,感兴趣的朋友可以点击这里,或“阅读原文”填写问卷(该问卷为不记名形式)后即可获取。


小结


这期视频带大家一起看了一下赛灵思最新的Kria KR260机器人开发套件的开发全过程。在这个过程中,可以不接触到FPGA的底层硬件内容。如果你是个软件开发者,可以利用这个平台直接进行上层机器人相关软件和算法的开发和加速,这个就大大降低了使用FPGA的门槛。这个过程也很有趣,同时也能慢慢接触到软硬件协同开发的知识细节,并且锻炼这方面的技能。




FPGA开发圈 这里介绍、交流、有关FPGA开发资料(文档下载,技术解答等),提升FPGA应用能力。
评论
  • 在过去十年中,自动驾驶和高级驾驶辅助系统(AD/ADAS)软件与硬件的快速发展对多传感器数据采集的设计需求提出了更高的要求。然而,目前仍缺乏能够高质量集成多传感器数据采集的解决方案。康谋ADTF正是应运而生,它提供了一个广受认可和广泛引用的软件框架,包含模块化的标准化应用程序和工具,旨在为ADAS功能的开发提供一站式体验。一、ADTF的关键之处!无论是奥迪、大众、宝马还是梅赛德斯-奔驰:他们都依赖我们不断发展的ADTF来开发智能驾驶辅助解决方案,直至实现自动驾驶的目标。从新功能的最初构思到批量生
    康谋 2025-01-09 10:04 55浏览
  •  在全球能源结构加速向清洁、可再生方向转型的今天,风力发电作为一种绿色能源,已成为各国新能源发展的重要组成部分。然而,风力发电系统在复杂的环境中长时间运行,对系统的安全性、稳定性和抗干扰能力提出了极高要求。光耦(光电耦合器)作为一种电气隔离与信号传输器件,凭借其优秀的隔离保护性能和信号传输能力,已成为风力发电系统中不可或缺的关键组件。 风力发电系统对隔离与控制的需求风力发电系统中,包括发电机、变流器、变压器和控制系统等多个部分,通常工作在高压、大功率的环境中。光耦在这里扮演了
    晶台光耦 2025-01-08 16:03 84浏览
  • 本文介绍编译Android13 ROOT权限固件的方法,触觉智能RK3562开发板演示,搭载4核A53处理器,主频高达2.0GHz;内置独立1Tops算力NPU,可应用于物联网网关、平板电脑、智能家居、教育电子、工业显示与控制等行业。关闭selinux修改此文件("+"号为修改内容)device/rockchip/common/BoardConfig.mkBOARD_BOOT_HEADER_VERSION ?= 2BOARD_MKBOOTIMG_ARGS :=BOARD_PREBUILT_DTB
    Industio_触觉智能 2025-01-08 00:06 111浏览
  • 1月7日-10日,2025年国际消费电子产品展览会(CES 2025)盛大举行,广和通发布Fibocom AI Stack,赋智千行百业端侧应用。Fibocom AI Stack提供集高性能模组、AI工具链、高性能推理引擎、海量模型、支持与服务一体化的端侧AI解决方案,帮助智能设备快速实现AI能力商用。为适应不同端侧场景的应用,AI Stack具备海量端侧AI模型及行业端侧模型,基于不同等级算力的芯片平台或模组,Fibocom AI Stack可将TensorFlow、PyTorch、ONNX、
    物吾悟小通 2025-01-08 18:17 53浏览
  • 在当前人工智能(AI)与物联网(IoT)的快速发展趋势下,各行各业的数字转型与自动化进程正以惊人的速度持续进行。如今企业在设计与营运技术系统时所面临的挑战不仅是技术本身,更包含硬件设施、第三方软件及配件等复杂的外部因素。然而这些系统往往讲究更精密的设计与高稳定性,哪怕是任何一个小小的问题,都可能对整体业务运作造成严重影响。 POS应用环境与客户需求以本次分享的客户个案为例,该客户是一家全球领先的信息技术服务与数字解决方案提供商,遭遇到一个由他们所开发的POS机(Point of Sal
    百佳泰测试实验室 2025-01-09 17:35 54浏览
  • 根据环洋市场咨询(Global Info Research)项目团队最新调研,预计2030年全球中空长航时无人机产值达到9009百万美元,2024-2030年期间年复合增长率CAGR为8.0%。 环洋市场咨询机构出版了的【全球中空长航时无人机行业总体规模、主要厂商及IPO上市调研报告,2025-2031】研究全球中空长航时无人机总体规模,包括产量、产值、消费量、主要生产地区、主要生产商及市场份额,同时分析中空长航时无人机市场主要驱动因素、阻碍因素、市场机遇、挑战、新产品发布等。报告从中空长航时
    GIRtina 2025-01-09 10:35 58浏览
  • HDMI 2.2 规格将至,开启视听新境界2025年1月6日,HDMI Forum, Inc. 宣布即将发布HDMI规范2.2版本。新HDMI规范为规模庞大的 HDMI 生态系统带来更多选择,为创建、分发和体验理想的终端用户效果提供更先进的解决方案。新技术为电视、电影和游戏工作室等内容制作商在当前和未来提供更高质量的选择,同时实现多种分发平台。96Gbps的更高带宽和新一代 HDMI 固定比率速率传输(Fixed Rate Link)技术为各种设备应用提供更优质的音频和视频。终端用户显示器能以最
    百佳泰测试实验室 2025-01-09 17:33 55浏览
  • 光伏逆变器是一种高效的能量转换设备,它能够将光伏太阳能板(PV)产生的不稳定的直流电压转换成与市电频率同步的交流电。这种转换后的电能不仅可以回馈至商用输电网络,还能供独立电网系统使用。光伏逆变器在商业光伏储能电站和家庭独立储能系统等应用领域中得到了广泛的应用。光耦合器,以其高速信号传输、出色的共模抑制比以及单向信号传输和光电隔离的特性,在光伏逆变器中扮演着至关重要的角色。它确保了系统的安全隔离、干扰的有效隔离以及通信信号的精准传输。光耦合器的使用不仅提高了系统的稳定性和安全性,而且由于其低功耗的
    晶台光耦 2025-01-09 09:58 43浏览
  • 在智能网联汽车中,各种通信技术如2G/3G/4G/5G、GNSS(全球导航卫星系统)、V2X(车联网通信)等在行业内被广泛使用。这些技术让汽车能够实现紧急呼叫、在线娱乐、导航等多种功能。EMC测试就是为了确保在复杂电磁环境下,汽车的通信系统仍然可以正常工作,保护驾乘者的安全。参考《QCT-基于LTE-V2X直连通信的车载信息交互系统技术要求及试验方法-1》标准10.5电磁兼容试验方法,下面将会从整车功能层面为大家解读V2X整车电磁兼容试验的过程。测试过程揭秘1. 设备准备为了进行电磁兼容试验,技
    北汇信息 2025-01-09 11:24 65浏览
  • 一个真正的质量工程师(QE)必须将一件产品设计的“意图”与系统的可制造性、可服务性以及资源在现实中实现设计和产品的能力结合起来。所以,可以说,这确实是一种工程学科。我们常开玩笑说,质量工程师是工程领域里的「侦探」、「警察」或「律师」,守护神是"墨菲”,信奉的哲学就是「墨菲定律」。(注:墨菲定律是一种启发性原则,常被表述为:任何可能出错的事情最终都会出错。)做质量工程师的,有时会不受欢迎,也会被忽视,甚至可能遭遇主动或被动的阻碍,而一旦出了问题,责任往往就落在质量工程师的头上。虽然质量工程师并不负
    优思学院 2025-01-09 11:48 79浏览
  • 职场是人生的重要战场,既是谋生之地,也是实现个人价值的平台。然而,有些思维方式却会悄无声息地拖住你的后腿,让你原地踏步甚至退步。今天,我们就来聊聊职场中最忌讳的五种思维方式,看看自己有没有中招。1. 固步自封的思维在职场中,最可怕的事情莫过于自满于现状,拒绝学习和改变。世界在不断变化,行业的趋势、技术的革新都在要求我们与时俱进。如果你总觉得自己的方法最优,或者害怕尝试新事物,那就很容易被淘汰。与其等待机会找上门,不如主动出击,保持学习和探索的心态。加入优思学院,可以帮助你快速提升自己,与行业前沿
    优思学院 2025-01-09 15:48 47浏览
  • 「他明明跟我同梯进来,为什么就是升得比我快?」许多人都有这样的疑问:明明就战绩也不比隔壁同事差,升迁之路却比别人苦。其实,之间的差异就在于「领导力」。並非必须当管理者才需要「领导力」,而是散发领导力特质的人,才更容易被晓明。许多领导力和特质,都可以通过努力和学习获得,因此就算不是天生的领导者,也能成为一个具备领导魅力的人,进而被老板看见,向你伸出升迁的橘子枝。领导力是什么?领导力是一种能力或特质,甚至可以说是一种「影响力」。好的领导者通常具备影响和鼓励他人的能力,并导引他们朝着共同的目标和愿景前
    优思学院 2025-01-08 14:54 93浏览
  • 故障现象一辆2017款东风风神AX7车,搭载DFMA14T发动机,累计行驶里程约为13.7万km。该车冷起动后怠速运转正常,热机后怠速运转不稳,组合仪表上的发动机转速表指针上下轻微抖动。 故障诊断 用故障检测仪检测,发动机控制单元中无故障代码存储;读取发动机数据流,发现进气歧管绝对压力波动明显,有时能达到69 kPa,明显偏高,推断可能的原因有:进气系统漏气;进气歧管绝对压力传感器信号失真;发动机机械故障。首先从节气门处打烟雾,没有发现进气管周围有漏气的地方;接着拔下进气管上的两个真空
    虹科Pico汽车示波器 2025-01-08 16:51 107浏览
我要评论
0
点击右上角,分享到朋友圈 我知道啦
请使用浏览器分享功能 我知道啦