鲲云科技王少军博士谈智能安防硬核技术之图像/视频处理和AI计算

《电子工程专辑》8月刊封面专题的主题是智能安防三大硬核技术，我们从智能感知、图像/视频处理，以及AI计算这三个方面分别采访了多名业界技术专家。本文是鲲云科技COO王少军博士就图像/视频处理和AI计算方面的问题进行的问答访谈。

王少军博士是鲲云科技合伙人兼COO，鲲云人工智能应用创新研究院副院长，负责整体商务运营和产品化落地。伦敦帝国理工学院计算系访问学者，FPT2016国际会议程序委员会联合主席，PHM2017国际会议出版主席，IEEE ACCESS期刊副主编，ACM TRETS期刊客座副主编，多个国际期刊及国际会议的审稿人。

王博士曾任哈工大讲师，其研究领域包括嵌入式高性能计算，机器学习与人工智能，自动化测试等。发表期刊及会议学术论文40余篇，拥有24项授权发明专利。主持多个国家重大项目累计40余项。

一、AI为安防监控行业带来了哪些挑战和机遇？

安防领域视频摄像头的分辨率越来越高，部署场景也越发广泛，从而导致数据规模高速增长给传输带宽及存储带来更高的要求。另外，由于视频数据是非结构化数据，在缺乏以为代表的结构化手段时，结构化的视频数据利用率非常低。基于的智慧安防系统能够实现获取、存储和分析大量的监控视频数据，并通过复杂的深度学习算法来执行视频分析，给应用方带来经济效益和业务增长。

一方面，人工智能视频分析技术可以充分利旧，将现有的安防监控系统充分利用起来，实现智能化升级，解放部分人力，也让安防监控系统充分发挥其作用，拓展了其业务宽度和广度，引领了安防行业的进一步发展。另一方面，数据安全和隐私安全成为了社会关注的问题，尤其是人脸识别技术带来的隐私顾虑，也催生了可信和法律监管等的社会需求。

二、智能安防的“智能”主要表现在哪些方面？

“智能”主要体现在将原有的依靠人来分析、查看的数据通过算法实现自动识别分析，将海量数据转化为有分析结果的有效信息。以视频分析为例，智能安防系统通过对视频图像的自动分析和处理，可以识别不同的人、物体、环境状态，发现监控画面中的异常情况，实时警报和反馈信息，对目前的视频监控系统实现了智能化升级，实现对数据的有效利用，这是其智能化的最大价值。从更广的层面上来说，智能安防盘活了已有的视频监控数据，发挥了数据的潜力，并且一定程度上替代和减少了人力作业，对于提高人效发挥了重要作用。

三、未来3-5年，智能安防有哪些值得关注的新兴技术及应用？

安防作为一个大的领域，除了人脸识别外，在针对人、车、物及行为的识别领域也涌现出了很多的应用需求。智能安防在向垂直领域不断拓展，基于视频图像应用的智慧能源、智慧工地、智慧园区、智慧港口等将迎来高速发展的时期。

随着智能安防应用的拓展，算法方案将不断迭代和推陈出新，软硬件一体化的整体方案将会成为行业的刚需。

四、“数据就地处理”的边缘计算对图像处理器和视频处理器芯片提出了哪些新的技术和性能要求？

“数据就地处理”的需求让边缘计算成为增长最为迅速的市场，除了云端和前端AI芯片市场，边缘端成为了很多AI芯片创企的突破点。目前市场上的边缘计算多面向的是4-16路的视频分析处理，车路协同、加油站等为典型应用场景，或支持200路左右的小型数据中心，采油厂、变电站等为典型应用场景。在这些场景中，用户的需求明确，市场对低延迟、数据隐私以及低成本和超节能的可用性日益关注，特别对于工业、车路协同这些有大量数据并要求低延时响应的应用场景，芯片的算力性价比成为了核心的考量因素。

鲲云AI视频分析结构图。（来源：鲲云科技）

提升芯片利用率是提供高算力性价比最根本的方式，在这个方面鲲云科技基于自主研发的定制数据流架构，打破传统底层架构下的算力瓶颈，在芯片利用率上实现十倍以上的提升。

在产品形态上，边缘计算的载体包括智能安防摄像头、智能网关、盒子、微型数据中心等，对于多种连接和数据移动性、实时决策、本地化计算能力、高效存储这些功能和技术指标有比较高的要求。

五、人工智能视觉芯片（Vision Chip）相比传统图像/视频处理器芯片有什么优势？

人工智能视觉芯片做的是领域专用计算，相比于通用计算芯片如，定制化运行领域的视觉分析应用，从而提供更高的计算效率，用更低的成本、更低的功耗提供更高的计算性能。优势在于：在恒定的算力需求下，例如数据中心场景下的台服务器，可以以更低成本、更优的计算性能、更低功耗满足算力需求，所需的芯片数量越少或者芯片成本更低，从而大幅降低人工智能应用落地所需的总成本。以一个具体场景为例，在一个使用了台服务器来处理路视频分析的数据中心场景中，如果采用了专用且更高算力性价比的数据流芯片（如鲲云芯片），能在实测算力上高出倍的性能，那么对应地每台服务器的处理能力也提升了倍，也就是说处理的视频路数更多了。同样一个应用达到同样的性能，从原来需要台服务器减少到只需要台服务器，这个倍的性能提升意味着对于数据中心这个场景有以上的成本降低，这是人工智能视觉芯片带来的价值。

鲲云针对安防应用的方案和流程框图。（来源：鲲云科技）

六、边缘AI芯片如何与软件和算法结合以满足特定安防应用场景的需求？

边缘AI芯片从产品到应用场景及商业化，需要配备良好的工具链、对大规模商用部署的丰富软件库的支持，与主流机器学习框架的无缝衔接。另外，随着场景的细分化、专业化，市场上出现了很多场景定义的专用芯片，硬件更需要深耕垂直场景，在落地应用阶段，用户更关注硬件是否具备良好的可移植性、可开发性及可部署性能；同时，基于高精度场景算法提供定制化软件方案，更能体现边缘AI芯片在特定安防应用场景核心价值。

七、哪些数据可以在边缘端本地处理？哪些数据需要传输到服务器或云端进行集中处理和计算？

从一个视觉AI 分析的过程来看，对于需要实时/近实时处理，或者涉及数据隐私的场景往往在智能边缘平台进行推理、识别；需要传输至云端或服务器进行集中处理和计算的数据一般是两类：1、监管或者其他制度要求，2、需要利用数据进行重复训练，模型迭代。

八、在为安防监控应用选择AI训练和推理芯片时，应考虑哪些因素？

1. 计算精度：AI训练基本都是FP32的模型，在推理阶段，客户越来越愿意使用低精度如INT8，应考虑特别在深度学习模型中精度损失和算力、内存带宽使用、模型参数存储之间的平衡；
2. 实测性能：理论峰值算力需要结合芯片利用率来判断，实测算力才是算力真正发挥到应用上的性能。比如以指令集芯片和数据流芯片的对比来看，数据流芯片采用计算流和数据流重叠运行方式消除空闲计算单元，突破指令集技术对于芯片算力的限制，在芯片利用率上提升了10倍；
3. 视频解码和图像解码能力：解码能力的强弱也是决定分析视频路数、图像张数的吞吐能力的重要决定因素；
4. 算力和工具链的软件易用性：需要关注AI芯片是否可以完整支持Caffe，Tensorflow，PyTorch等AI框架，如典型CNN模型中的常见算子，甚至是自研算子，需要芯片配套的端到端编译工具链；
5. 算力算法一体化：在落地应用的过程中，所有的深度学习算法最终都需要附着在芯片上，完成最后部署。AI芯片除了自身性能，更需要适配场景。针对安防领域不同的应用场景，算力算法一体化的端到端解决方案才真正实现了软硬件的深度融合。

九、AI芯片和加速卡在智能安防领域的商用落地现状如何？未来发展趋势又是怎样的？

传统安防企业和“安防”的新兴企业近些年都在加快安防产品在城市建设上的应用，尤其在视频结构化、生物识别、物体特征识别几大领域。未来，安防产业持续智能化升级和加快场景覆盖是必然趋势，场景将更加细分，朝着专业化方向发展，这期间需要经历数据、算法、业务场景理解等方面的挑战。

责编：Steve