技能|三种主流的深度学习模型部署框架

OpenCV学堂 2024-11-03 21:25

点击上方蓝字关注我们

微信公众号:OpenCV开发者联盟

关注获取更多计算机视觉与深度学习知识

深度学习工程师做什么

    深度学习已经改变了很多行业,深度学习工程师已经是不折不扣的高薪职业,但是也有越来越内卷的趋势,以前只要求会训练模型就可以了,现在多数深度学习工程师岗位都要求掌握模型训练与模型部署。
    可以毫不夸张的说,以后只有既会训练,又会部署而且是会C++部署模型的深度学习工程师才会继续高薪之路,否则按照这个内卷趋势,只会训练模型,不会部署模型的深度学习工程师必然会受到后来开发者越来越多的挑战,前期积累的优势荡然无存。所以 掌握从数据标注、到模型训练、到模型部署技能 是深度学习工程师基本要求,也是未来的必然趋势。

深度学习工程化步骤

深度学习工程落地分为两个主要阶段,分别是数据准备、模型训练、模型部署三个主要阶段。

深度学习模型部署场景

深度学习模型部署场景主要包括:

01

云部署场景

主要是基于云服务器与分布式服务提供,企业需要支付云服务器算力费用与存储费用。优点是便于扩展,方便在多个位置与节点快速部署使用模型算法;缺点是与边缘部署相比,延时比较高,可靠性比较低,数据安全受到挑战,没有充分利用边缘设备算力。

02

边缘(PC端侧)部署场景

高性能应用的理想选择、高度可定制(使用与应用程序相关的部件构建)、灵活的定价(因为可以根据应用选择组件)。优点是成本可控,数据安全有保证,低延时高可靠,因此在机器视觉、安防监控等领域都大量采用该方案,依靠工控机+显卡的方式提供算力实现模型部署,支持缺陷检测、安防监控、自动化生产等。缺点是对一些成本特别敏感的行业依然无法大量采用该方案。

03

边缘(ARM、FPGA和推理板卡,智能相机)

边缘与端侧部署一个很重要的场景,典型的就是各种人工智能盒子,包括英特尔的NUC盒子,最新推出AlxBorad板卡,英伟达的Jetson系列板卡,RK系列的板卡、树莓派等,已经基于他们实现的各种智能设备。他们的优点是低成本,低功耗、显著节省外围硬件算力,同时高可靠性,安全,适用于对算力要求不是很严苛的场景,支持各种轻量化的模型部署。缺点是对深度学习开发者要求较高,要求对模型进行量化,各个板卡支持的模型部署框架不同,工具链软件也不一样

深度学习主流部署框架

深度学习开发者至少应该掌握一种深度学习模型部署框架,当前深度学习模型部署主要有OpenVINO、TensorRT、ONNXRUNTIME 这三个当前主流的框架。

OpenVINO来自英特尔公司,当前最新版本是OpenVINO2023.1


TensorRT来自英伟达公司,当前最新版本是TensorRT8.6

ONNXRUNTIME来自微软,当前最新版本是1.15.x

如何选择

英特尔CPU/GPU上模型加速与推理最佳选择是OpenVINO

英伟达GPU上模型加速与推理最佳选择TensorRT

兼容不同硬件厂家平台模型算子支持度高,兼容性强最佳选择是ONNXRUNTIME


如何学习

掌握三种主流的深度学习模型部署框架,实现模型在CPU、GPU、AMD等不同平台硬件上加速推理最佳性能。OpenCV学堂已经推出OpenVINO、TensorRT、ONNXRUNTIME深度学习部署系统化学习路线图。“工欲善其事,必先利其器”,做深度学习工程师,学完部署再打工,一切都来得及,现在开始刚刚好!

深度学习模型部署路线图视频课程


根据需要自主选择深度学习模型部署框架学习,均支持C++与Python SDK 代码演示,支持对象检测,实例分割,语义分割等主流模型部署与模型加速推理技巧。深度学习开发者根据自己需要选择想要的深度学习模型部署框架,然后学习即可。


OpenCV学堂 专注计算机视觉开发技术分享,技术框架使用,包括OpenCV,Tensorflow,Pytorch教程与案例,相关算法详解,最新CV方向论文,硬核代码干货与代码案例详解!作者在CV工程化方面深度耕耘15年,感谢您的关注!
评论
  • 常见通信标准无线通信标准蜂窝移动通信标准:如 2G(GSM)、3G(WCDMA、CDMA2000、TD - SCDMA)、4G(LTE)以及 5G 等。以 5G 为例,其具有高速率、低时延、大容量等特点,为智能交通、工业互联网和物联网等领域提供支持。无线局域网标准:主要是 IEEE802.11 标准,也就是我们常说的 Wi - Fi。例如 IEEE802.11ac 和 IEEE802.11ax(Wi-Fi 6)等标准,不断提升无线局域网的传输速度和稳定性。短距离无线通信标准:包括蓝牙(Bluet
    Jeffreyzhang123 2025-01-02 14:33 40浏览
  • 【工程师故事】+半年的经历依然忧伤,带着焦虑和绝望  对于一个企业来说,赚钱才是第一位的,对于一个人来说,赚钱也是第一位的。因为企业要活下去,因为个人也要活下去。企业打不了倒闭。个人还是要吃饭的。企业倒闭了,打不了从头再来。个人失业了,面对的不仅是房贷车贷和教育,还有找工作的焦虑。企业说,一个公司倒闭了,说明不了什么,这是正常的一个现象。个人说,一个中年男人失业了,面对的压力太大了,焦虑会摧毁你的一切。企业说,是个公司倒闭了,也不是什么大的问题,只不过是这些公司经营有问题吧。
    curton 2025-01-02 23:08 57浏览
  • 在科技飞速发展的今天,5G 通信技术无疑是最耀眼的明星之一。它如同一场数字革命的风暴,以其前所未有的速度、极低的延迟和强大的连接能力,为我们的生活、经济和社会带来了翻天覆地的变化,开启了一个万物互联的崭新时代。5G 技术的卓越特性5G,即第五代移动通信技术,相比其前辈们,有着诸多令人瞩目的特性。首先是超高速率。5G 网络的理论峰值下载速度可达 10Gbps,这意味着下载一部高清电影只需短短几秒钟,而 4G 网络可能需要几分钟甚至更长时间。这种高速率让高清视频流、云游戏等对带宽要求极高的应用变得流
    Jeffreyzhang123 2025-01-02 14:18 57浏览
  •  在这个日新月异的科技时代,智能家居正以前所未有的速度融入我们的日常生活,从智能灯光到温控系统,从安防监控到语音助手,每一处细节都透露着科技的温度与智慧。而在这场智能化浪潮中,一个看似不起眼却至关重要的组件——晶体管光耦,正扮演着连接物理世界与数字世界的隐形桥梁角色,默默推动着智能家居行业的发展与革新。 晶体管光耦——智能家居的“神经递质”晶体管光耦,作为一种能够将电信号转换为光信号,再通过光信号控制另一侧电路开关的电子元器件,其独特的工作原理使得它在隔离传输、抗干扰及保护电
    晶台光耦 2025-01-02 16:19 58浏览
  • 在科技飞速发展的今天,机器人已经逐渐深入到我们生活和工作的各个领域。从工业生产线上不知疲倦的机械臂,到探索未知环境的智能探测机器人,再到贴心陪伴的家用服务机器人,它们的身影无处不在。而在这些机器人的背后,C 语言作为一种强大且高效的编程语言,发挥着至关重要的作用。C 语言为何适合机器人编程C 语言诞生于 20 世纪 70 年代,凭借其简洁高效、可移植性强以及对硬件的直接操控能力,成为机器人编程领域的宠儿。机器人的运行环境往往对资源有着严格的限制,需要程序占用较少的内存和运行空间。C 语言具有出色
    Jeffreyzhang123 2025-01-02 16:26 76浏览
  • 从无到有:智能手机的早期探索无线电话装置的诞生:1902 年,美国人内森・斯塔布菲尔德在肯塔基州制成了第一个无线电话装置,这是人类对 “手机” 技术最早的探索。第一部移动手机问世:1938 年,美国贝尔实验室为美国军方制成了世界上第一部 “移动” 手机。民用手机的出现:1973 年 4 月 3 日,摩托罗拉工程师马丁・库珀在纽约曼哈顿街头手持世界上第一台民用手机摩托罗拉 DynaTAC 8000X 的原型机,给竞争对手 AT&T 公司的朋友打了一个电话。这款手机重 2 磅,通话时间仅能支持半小时
    Jeffreyzhang123 2025-01-02 16:41 85浏览
  • 前言近年来,随着汽车工业的快速发展,尤其是新能源汽车与智能汽车领域的崛起,汽车安全标准和认证要求日益严格,应用范围愈加广泛。ISO 26262和ISO 21448作为两个重要的汽车安全标准,它们在“系统安全”中扮演的角色各自不同,但又有一定交集。在智能网联汽车的高级辅助驾驶系统(ADAS)应用中,理解这两个标准的区别及其相互关系,对于保障车辆的安全性至关重要。ISO 26262:汽车功能安全的基石如图2.1所示,ISO 26262对“功能安全”的定义解释为:不存在由于电子/电气系统失效引起的危害
    广电计量 2025-01-02 17:18 84浏览
  • 早期概念与探索阶段(19 世纪以前):在古代,人类就对自动机械充满了想象,如古希腊时期的希罗发明的自动门、水钟等自动装置,中国古代的指南车、木牛流马等,虽然这些装置不能称之为真正的机器人,但为后来机器人的发展奠定了思想基础。从概念走向实践阶段(19 世纪~20 世纪初):随着工业革命的到来,自动机概念开始与实际机械设计结合,出现了具有实际功能的自动机械,例如雅卡尔提花机等,可通过穿孔卡片控制编织图案,为后续可编程控制的机器人发展提供了灵感。现代机器人产业萌芽期(1920 年代~1950 年代):
    Jeffreyzhang123 2025-01-02 14:53 79浏览
  • 国际标准IPC 标准:IPC-A-600:规定了印刷电路板制造过程中的质量要求和验收标准,涵盖材料、外观、尺寸、焊接、表面处理等方面。IPC-2221/2222:IPC-2221 提供了用于设计印刷电路板的一般原则和要求,IPC-2222 则针对高可靠性电子产品的设计提供了进一步的指导。IPC-6012:详细定义了刚性基板和柔性基板的要求,包括材料、工艺、尺寸、层次结构、特征等。IPC-4101:定义了印刷电路板的基板材料的物理和电气特性。IPC-7351:提供了元件封装的设计规范,包括封装尺寸
    Jeffreyzhang123 2025-01-02 16:50 95浏览
  • 起源与诞生:AI 技术的起源可以追溯到 20 世纪 40 年代,随着计算机技术的兴起,科学家们开始思考如何让机器具备类似人类的智能。1950 年,英国数学家艾伦・图灵提出了著名的 “图灵测试”,为 AI 技术的发展奠定了理论基础。1956 年,美国达特茅斯学院举行了一次人工智能研讨会,标志着 AI 作为一门独立学科的诞生。符号主义阶段(20 世纪 50 年代 - 70 年代):研究人员主要关注如何使用符号逻辑和推理规则来模拟人类思维,试图通过构建复杂的逻辑系统来解决各种问题。然而,由于这种方法的
    Jeffreyzhang123 2025-01-02 15:15 76浏览
我要评论
0
点击右上角,分享到朋友圈 我知道啦
请使用浏览器分享功能 我知道啦