清微智能王博谈智能安防硬核技术之智能感知、图像/视频处理和边缘AI计算

点击报名参加直播

《电子工程专辑》8月刊封面专题的主题是智能安防三大硬核技术，我们从智能感知、图像/视频处理，以及AI计算这三个方面分别采访了多名业界技术专家。本文是清微智能CEO王博就智能感知、图像/视频处理和边缘AI计算方面的问答访谈。

王博，清微智能创始人兼CEO

王博获得北京邮电大学计算机通信专业硕士。2018年，带领清华大学可重构计算团队创办北京清微智能科技有限公司。在不到3年的时间内，实现两款超低功耗智能语音芯片和一款多模态智能计算芯片量产，目前已广泛应用于智能安防、金融支付、智能穿戴，航空航天等领域。

在王博的带领下，清微智能先后获得两届“中国芯”集成电路优秀技术产品奖、2019年世界互联网大会“领先科技成果”、中关村论坛创新大奖第一名、2020年科学技术奖技术发明一等奖、2021“silicon 100”等诸多荣誉。

AI为安防监控行业带来了哪些挑战和机遇？

随着技术的发展，对视频监控的图像处理能力提出了更高的要求，高清晰度、更逼真、昏暗场景下的图像显示等，而新的算法可以为其提供有效支撑，例如、图像去躁、双光融合等。清微智能主要从这些方向做优化，打造更加多样化的安防产品，解决之前同质化严重的问题。

智能安防的“智能”主要表现在哪些方面？

“智能”主要体现在对图像的甄别和数据的分析上，随着技术，特别是技术的发展，安防系统从传统的监测功能开始慢慢具有甄别的功能。现在比较常见的闯红灯识别、通缉犯识别、危险情况报警等，而再往后，安防系统会具有分析能力，应用前景也将变得更为广阔，例如养老、智慧社区等。

未来3-5年，智能安防有哪些值得关注的新兴技术及应用？

除了传统的交通、公安、社区等领域，视频监控未来在一些新兴领域会有更大发挥。例如，工业中的产品缺陷监测、安规测试；农业中的农作物病害检测、农产品无损检测等；线下零售行业的柜台监控等。

边缘AI如何与传感器结合让摄像头更智能？

边缘技术让数据采集之后被及时处理，这带来很多好处：第一、减少延时；第二、减少数据的传输带宽；第三、数据隐私和安全得以更好地保证；第四，摆脱对网络和云端计算的依赖；第五、让摄像头具有感知决策能力。

“数据就地处理”的边缘计算对图像处理器和视频处理器芯片提出了哪些新的技术和性能要求？

算力要求更高，功耗要求更低、处理速度更快；尺寸更小。

由清华大学可重构计算研究团队创办的北京清微智能开发的可重构计算芯片TX510，可以依据应用和算法重构执行计算的硬件资源，具有按需即时重构、高能效、低功耗等特点。TX510是一款面向IoT设备的超低功耗视觉处理芯片。 该芯片基于可重构神经网络引擎RNE，支持AlexNet、GoogleNet、ResNet、VGG、Faster RCNN、Yolo、SSD、FCN和SegNet等主流神经网络，可实现人脸识别、物体识别、手势识别、目标跟踪等功能。

TX510内置3D引擎，定制低功耗 ISP 引擎，支持MIPI、RGB、USB、LPDDR2等接口，可以广泛应用在智能安防监控、智能家居、新零售等领域 。

TX510产品结构图。（来源：清微智能）

基于TX510的人脸识别系统产品流程。（来源：清微智能）

清微智能的可重构计算芯片因为可以依据应用和算法重构执行计算的硬件资源，所以具有按需即时重构、高能效、低功耗、可适用于多种场景的通用性特点。可重构芯片应用于图像信号处理的优势主要表现在：

• 快速在芯片上实现最新的图像算法
• 更加强大的图像处理性能
• 更高的能量效率
• 更低的成本，更低的NRE
• 延长产品的生命周期
• 给客户提供了自己定制ISP算法的可能

哪些数据可以在边缘端本地处理？哪些数据需要传输到服务器或云端进行集中处理和计算?

需要融合的数据（多台摄像头采集的数据需要融合处理）、必须需要结合云端数据库的数据、一些超大规模的模型的算法、需要做训练的数据等这些必须放到服务器和云端来处理，而除了这些数据其它的就可以放在边缘端来处理。

在为安防监控应用选择AI训练和推理芯片时，应考虑哪些因素？

价格、功耗、算力、尺寸，对多种算法的支持。

AI芯片和加速卡在智能安防领域的商用落地现状如何？未来发展趋势又是怎样的？

从国家战略层面看，人工智能是基本策略，从政策的制定到对市场的干预都在推动视频监控行业朝着智能化方向发展。

目前来看，在视频监控领域只能算是刚刚起步，特别是在一些的市场，但从传统到智能化一定是方向，一些算法公司也开始加入，而一些传统的芯片企业如果不转型，其产品的单一性，同质化，会导致其陷入价格竞争的尴尬境地，被一些新的厂商所替代。

责编：Steve