岩石的探测和识别在地质勘探中是非常重要的环节。那些曾经冒险探险的地质学家们不畏艰辛，深入山林探索未知的地区，收集岩石样本进行分析，为我们更好地认识地球的内部构造作出了巨大的贡献。然而传统的检测算法过分依赖于复杂的特征工程和地质学专业知识，无法满足现代检测的要求。近年来，基于深度学习的算法在目标检测、图像处理和识别等方面取得了重大突破，因此，基于深度学习理论的岩石分类检测系统的研发是必要的。另一方面，使用传统检测方法也会导致检测仪器不够小巧和便捷，有较强的环境局限性，于是，来自湖北工程学院数学与统计学院的学生团队，在导师张天凡的带领下，决定设计一款适合野外作业的便携式岩石分类检测系统。
张天凡老师和他的学生团队
首先，这个系统必须具备高度的便携性和稳定性，以适应地质领域的工作性质，同时实现离线检测功能，解决环境局限性问题，使野外作业人员在通讯信号差的地方依靠离线知识库实现快速、准确的检测。同时，该系统还会具有自动识别岩石种类的能力，让非专业人员也可以使用，辅助专业人员可以更为准确地做出判定。
有要求，就有挑战
团队面临的问题集中在：一，野外作业环境限制了携带设备的体积与重量，在电池供电的条件下更是限制了相关硬件的性能。需保证受限硬件条件下，兼顾岩石分类系统的性能与精度；二，在野外通讯条件受限的环境下，需要动态更新便携设备中的算法、模型，以提高野外作业的灵活性与适应性。
“我们参加了几次由 NVIDIA 开发者社区举办的 Sky Hackathon 大赛后，发现 NVIDIA 提供的 Jetson Nano 比赛平台很符合我们的要求，而且 NVIDIA TAO 工具套件可以帮助我们较快地完成软件上的开发。”张天凡老师表示。
搭建原型机
团队很快搭建出了原型方案。此装置拟实现的功能与所具特色：一是便携，采用 10.1 寸（265×170）的可触摸电容显示屏，方便野外作业人员携带和操作，减少了外设和负重；二是离线检测，以 Jetson Nano 高性能低功耗嵌入式设备为载体实现离线检测；三是自动识别岩石种类，在后方实验室训练完成的模型可由 NVIDIA TAO 工具套件动态部署到 Jetson Nano 边缘设备，使其能够不断更新自动识别岩石的算法。
图一 原型机实现功能的总体流程
为了满足“小型-便携”这一基本设计需求，团队成员经过多次修改，最终确定了原型机的硬件设计，即将 NVIDIA Jetson Nano、显示器驱动板、电源和图像传感器进行集成，利用 3D 打印机，制作出了原型产品。
图二 原型机的正面
模型训练与部署
岩石分类检测系统基于 EffinicentV2 模型，团队使用了 NVIDIA TAO 工具套件中的模型训练工具来训练 EfficientV2 模型，并使用模型转换工具将训练好的模型转换为 TensorRT 格式，以便于在 Jetson Nano 边缘设备上部署和加速推理。此外，团队还使用了 NVIDIA TAO 工具套件中的数据增强工具来增强数据集，以提高模型的鲁棒性和泛化能力。通过不断调整参数和数据集，最后的推理评价为：总体正确率达到 94.36%。
模型训练完成，部署在配置微型摄像头的 NVIDIA Jetson Nano 上，使用可触摸屏幕与其连接。系统通过摄像头获取需要分析的图像数据，获取后将其输送到系统内部，用户通过 UI 界面与岩石分类模型进行交互，数据被传输给岩石分类模型，模型使用图像处理与识别技术进行识别与分析，最后以图表形式显示岩石分类结果。
图三 原型机的系统启动展示
图四 原型机的系统分析结果展示
“NVIDIA Jetson Nano 灵活的软件和完整的框架支持，以及较高的内存容量和统一的内存子系统，使其能够同时运行各种不同的网络，达到全高清分辨率，可以让学生们在短时间内尝试各种 AI 模型，并且完成一个 AI 原型产品，高效地锻炼了学生们的 AI 场景落地能力。”张天凡老师评价说：“在 AI 技术不断发展的时代背景下，能让学生们迎头赶上技术发展的大趋势是很重要的！”
张天凡老师说：“对于那些正在使用 NVIDIA Jetson 系列嵌入式 AI 产品进行开发的开发者们，我想给出的建议是要善于利用 NVIDIA 提供的开发工具和 SDK，例如 NVIDIA TAO 工具套件，NVIDIA DeepStream，NVIDIA NeMo 等，以便根据不同的应用领域，更加高效地进行模型训练、推理和优化。另外，还要密切关注新的 AI 技术和应用趋势，及时掌握最新的开发技能和经验，不断完善和优化自己的 AI 应用方案，为实现更高效、更智能的应用奠定坚实的基础。希望这些建议对 Jetson 嵌入式 AI 产品开发者有所帮助，能够更好地发挥 Jetson 系列产品的潜力，开发出更为出色的 AI 应用。”
*本文中图片均由湖北工程学院数学与统计学院张天凡老师团队提供，如果您有任何疑问或需要使用本文中图片，请联系该团队。
推荐阅读
Jetson 开发者破百万，快来说出你的开发故事吧
Jetson 百万开发者故事 | NVIDIA Jetson 如何成为可移动智能脑机交互平台
Jetson 百万开发者故事 | 通过 Jetson NANO 展现 CV 实践价值
Jetson 百万开发者故事 | 为了孩子的健康成长，他用 NVIDIA Jetson 做了一个象棋机器人
Jetson 百万开发者故事 | Jetson 开发者突破百万，从 TK1 到 Orin 我都经历了啥
Jetson 百万开发者故事 | 让 AI 成为铁路客运站自动扶梯安全管控的关键
即刻点击 “阅读原文” 或扫描下方海报二维码，在 NVIDIA On-Demand 上观看 GTC 精选回放，包括主题演讲相关精选、中国本地精选内容、生成式 AI 专题以及全球各行业及领域最新成果！
