图源：Itsanan/Shutterstock.com
生产线已步入了快节奏时代，但要提高交付速度和客户满意度，势必需要在装运前检测制造或包装缺陷。然而，自动化检测设备需要在不降低生产线速度的情况下进行处理和做出决策。所以，我们需要借助于Xilinx Kria K26系统模块（SoM）等器件的帮助。Kria K26 SoM（见图1）允许开发人员利用可编程逻辑与高性能Arm处理器内核相结合的并行特性。Kria SoM的优势在于Xilinx首次为SoC（XCK26）提供了异构SoC和必要的支持基础设施，如4GB DDR4内存、16GB eMMC、512Mb QSPI、TPM安全模块以及必要的电源基础设施。
图1：Kria SoM
为便于与应用接口，此器件提供了可拆分成245个IO的两个240针连接器。Xilinx还提供了Kria KV260视觉AI入门套件，让开发人员能够快速开始设计。该套件为开发人员提供了拥有以下接口的SoM载卡：
3个MIPI接口
USB
HDMI
显示端口
1GB以太网
Pmod
此入门套件还随附了一系列应用示例，帮助用户了解开发基于视觉的人工智能应用是一件非常轻松的工作。Kria视觉AI入门套件非常适合需要快速图像处理的应用，例如检测标签是否已正确应用于生产线上的装运箱。
接下来让我们将详细地介绍Kria KV260视觉入门套件如何用于制造行业。创建此类应用并不一定需要可编程逻辑设计。然而，却需要进行软件开发，并具有使用Xilinx Vitis AI培训和编译新机器学习模型的能力。首先，我们需要安装和配置Vitis AI。
我们需要本地Linux机器或运行受支持的Linux发行版的虚拟机来运行Vitis AI。在安装完成后，下载Ubuntu Linux磁盘映像，以便在虚拟机上安装Linux系统。此项目所使用的Ubuntu版本是Ubuntu-18.04.4 Desktop-amd64.iso，点击此处即可下载。👈现在可以开始构建虚拟机了。第一步，在VirtualBox Manager中单击New。这时将显示一个对话框，用于创建新的虚拟机（见图2）。输入虚拟机名称，并将类型和版本分别设置为Linux和64位Linux版本。此外，还可以设置与虚拟机共享的系统内存大小（见图3）。
单击Create按钮，将显示虚拟硬盘的设置。选择512GB，以允许动态分配物理存储空间。随着磁盘使用量的增加，虚拟硬盘大小将扩展到512GB。该项目将外部固态USB C驱动器用作虚拟硬盘，以确保有足够的可用空间。
配置好虚拟机后，接下来就要安装操作系统了。选中新创建的虚拟机，然后单击start按钮启动VM 9（见图4）。
在启动虚拟机时，会要求安装之前下载的Ubuntu ISO（见图5）。
在虚拟硬盘上安装Ubuntu操作系统。选择安装Ubuntu（见图6）。
在选择好Ubuntu的位置和配置选项后，进行键盘配置（见图7）。
选择最小安装（见图8），因为我们不需要使用办公软件、媒体播放器或玩游戏。
最后，输入Ubuntu计算机名、用户名及密码（见图12）。
重启后，登录并开始安装Vitis AI（见图14）。
图14：登录
安装Vitis和Vitis AI
对于运行Linux的虚拟机，接下来需要安装Vitis和Vitis AI。安装Vitis时，需要用到在下载时创建的Xilinx帐户。Vitis安装时间较长，所以我们会先安装它。
打开Xilinx下载页面，选择Linux Self Extracting Web Installer（见图15）。
图15：Xilinx Linux Installer下载web安装程序后，找到下载位置，选择应用程序，右键单击以更改权限，使其能够作为应用程序执行（见图16）。
现在可以使用终端窗口来安装Vitis，所需时间取决于虚拟机和internet连接性能。sudo ./Xilinx_Unified_2020.2_1118_1232_Lin64.bin
此时将启动Vitis Installer（见图18）。
选择Vitis作为目标应用程序，同时还会安装Vivado（见图20）。
为了节省安装空间，应取消选择除SoC以外的所有设备（见图21）。
在Installation Summary中，选择Install并等待安装完毕（见图24）。
安装完成后，需要运行以下脚本以安装所有相关项：
sudo <install_dir>/Vitis/<release>/scripts/installLibs.sh
接下来，安装Vitis AI。在本例中，我们将安装Vitis AI以从CPU而不是GPU运行，因而会影响训练性能。首先要安装docker，请按照此处的说明进行操作。注意，可能需要在安装完成后重启虚拟机。接下来，请使用以下命令安装Git：sudo apt update sudo apt install git选择/创建Vitis-AI的安装目录。使用以下命令克隆Vitis-AI：git clone https://github.com/Xilinx/Vitis-AI.git一旦克隆好Vitis-AI存储库，请将其改为存储目录，并提取docker映像。cd Vitis-AI docker pull xilinx/vitis-ai:latest从docker下载最新的Vitis-AI映像将需要几分钟的时间。在提取docker映像之后，我们需要构建交叉编译系统。可以通过运行Vitis-AI/setup/mpsoc/VART中的脚本来完成此操作（见图25）。cd Vitis-AI/setup/mpsoc/VART ./host_cross_compiler_setup_2020.2.sh
运行脚本后，请确保运行指定的命令以启用交叉编译环境。我们可以通过编译一个演示程序来测试是否正确安装了Vitis AI。在本例中，我们采用的是demo/VART/Resnet50目录下提供的resnet50应用程序。请使用以下命令编译应用程序：如果您在终端窗口中没有看到错误，并且可执行文件出现在目录中，则说明Vitis AI安装成功（见图26）：
现在，我们需要开发数据集，以显示正确和错误黏贴的标签。
为了训练神经网络，我们首先需要一组正确和错误图像的数据集。我们以几个正确和错误地黏贴了贸泽标签的箱子为例。为了获得多样化的图像，我们从多个角度拍摄了正确和错误黏贴标签的箱子（见图27和28）。
这些图像被整理成两个目录——一个是正确的标签，另一个是错误的标签。对于捕获到的图像，我们需要训练一个神经网络。在本例中，我们将使用Edge Impulse。请注意，您需要为Edge Impulse创建一个免费的帐户。在Edge Impulse端，首先要创建一个新项目（见图29）。
新项目创建后，可以上传标记为正确和错误的图像文件夹。首先选择正确目录中的所有文件并进行上传，标记为Label_Correct。随后，上传错误的图像并将其标记为Label_Incorrect（见图30）。
所有图像都上传完成后，接下来就要定义Impulse。选择宽度和高度均为224像素的输入图像。选择图像，输入Transfer Learning，然后保存Impulse（见图31）。
然后，我们可以通过生成特征和训练Impulse来训练模型（见图32）。
图32：生成特征
选择模型MobileNetV2 160x160 1.0，等效模型位于Xilinx Model Zoo下（见图33）。
可能需要几分钟的时间来训练模型。训练完成后，返回概览页面，选择下载迁移学习模型（见图34）。这将包括保存的模型和.zip文件中的变量（检查点）。
图34：下载保存的模型
接下来使用Vitis AI对模型进行量化和编译。在虚拟机中，我们可以通过发出以下命令来运行Vitis AI（见图35）。
./docker_runs.sh Xilinx/vitis-ai-cpu:latest
加载Vitis AI后，使用以下命令激活TensorFlow（见图36）。
conda activate vitis-ai-tensorflow
图36：激活Vitis AI TensorFlow接下来，冻结将检查点的信息合并到冻结模型文件的模型（见图37）。
一旦模型作为冻结模型输出，我们就可以使用编译器编译输出模型，以部署到系统中。
我们可以从Xilinx Model Zoo中包含的YAML文件中了解输出节点的信息（见图38）。
要检查冻结的网表，则需要安装Netron。此外，理解量化过程的输入和输出节点名称也很重要（见图39）。
有了量化网表，我们可以将量化网表编译为部署在Kria SoM上的模型（见图40）。
借助于SCP/FTP，我们可以将编译后的模型上载到以下目录中的Kria文件系统：
/usr/share/vitis_ai_library/models/
上传好模型后，可以生成一个软件应用程序，用于测试神经网络。这时，我们可以将几个正确和错误的图像上载到Kria SoM，来测试应用程序（见图41和42）。
图42：识别正确的标签
该项目展示了对于工业AI/ML应用，在Kria SoM中训练和部署神经网络是一件非常简单的事情，其应用潜力也是无限的。未来可能需要更新软件以利用gstreamer框架，并像在生产线上一样对实时图像进行分类。
Adam Taylor非常擅长为多种最终应用开发嵌入式系统和FPGA。在他的职业生涯中，Adam使用FPGA实现了多种多样的解决方案，涵盖雷达系统、安全关键型控制系统（SIL4）和卫星系统等领域，同时他对图像处理和密码学方面也有所涉猎。
Adam从事过多个经理职位，带领过多家大型跨国公司实现长足发展。多年来，他在航天工业中扮演着重要角色。他曾担任Astrium卫星有效负载处理组的设计主管达6年之久，此外还在一家空间影像公司担任了三年的首席工程师，负责了多个影响深远的项目。FPGA是Adam最早接触的领域。他撰写过许多有关电子设计和FPGA设计的文章和论文，包括330多篇博客文章，并且通过2500多万条评论阐释了如何使用Xilinx的Zynq和Zynq MPSoC。Adam是一位特许工程师。他是IET英国工程技术学会的会员、林肯大学和Arm Innovator项目的嵌入式系统客座教授，同时还是工程和咨询公司Adiuvo Engineering and Training的所有者。
