《电子工程专辑》8月刊封面专题的主题是智能安防三大硬核技术,我们从智能感知、图像/视频处理,以及AI计算这三个方面分别采访了多名业界技术专家。本文是清微智能CEO王博就智能感知、图像/视频处理和边缘AI计算方面的问答访谈。

点击报名参加直播

《电子工程专辑》8月刊封面专题的主题是智能安防三大硬核技术,我们从智能感知、图像/视频处理,以及AI计算这三个方面分别采访了多名业界技术专家。本文是清微智能CEO王博就智能感知、图像/视频处理和边缘AI计算方面的问答访谈。

王博,清微智能创始人兼CEO

王博获得北京邮电大学计算机通信专业硕士。2018年,带领清华大学可重构计算团队创办北京清微智能科技有限公司。在不到3年的时间内,实现两款超低功耗智能语音芯片和一款多模态智能计算芯片量产,目前已广泛应用于智能安防、金融支付、智能穿戴,航空航天等领域。

在王博的带领下,清微智能先后获得两届“中国芯”集成电路优秀技术产品奖、2019年世界互联网大会“领先科技成果”、中关村论坛创新大奖第一名、2020年科学技术奖技术发明一等奖、2021“silicon 100”等诸多荣誉。

AI为安防监控行业带来了哪些挑战和机遇?

随着技术的发展,对视频监控的图像处理能力提出了更高的要求,高清晰度、更逼真、昏暗场景下的图像显示等,而新的算法可以为其提供有效支撑,例如、图像去躁、双光融合等。清微智能主要从这些方向做优化,打造更加多样化的安防产品,解决之前同质化严重的问题。

智能安防的“智能”主要表现在哪些方面?

“智能”主要体现在对图像的甄别和数据的分析上,随着技术,特别是技术的发展,安防系统从传统的监测功能开始慢慢具有甄别的功能。现在比较常见的闯红灯识别、通缉犯识别、危险情况报警等,而再往后,安防系统会具有分析能力,应用前景也将变得更为广阔,例如养老、智慧社区等。

未来3-5年,智能安防有哪些值得关注的新兴技术及应用?

除了传统的交通、公安、社区等领域,视频监控未来在一些新兴领域会有更大发挥。例如,工业中的产品缺陷监测、安规测试;农业中的农作物病害检测、农产品无损检测等;线下零售行业的柜台监控等。

边缘AI如何与传感器结合让摄像头更智能?

边缘技术让数据采集之后被及时处理,这带来很多好处:第一、减少延时;第二、减少数据的传输带宽;第三、数据隐私和安全得以更好地保证;第四,摆脱对网络和云端计算的依赖;第五、让摄像头具有感知决策能力。

“数据就地处理”的边缘计算对图像处理器和视频处理器芯片提出了哪些新的技术和性能要求?

算力要求更高,功耗要求更低、处理速度更快;尺寸更小。

由清华大学可重构计算研究团队创办的北京清微智能开发的可重构计算芯片TX510,可以依据应用和算法重构执行计算的硬件资源,具有按需即时重构、高能效、低功耗等特点。TX510是一款面向IoT设备的超低功耗视觉处理芯片。 该芯片基于可重构神经网络引擎RNE,支持AlexNet、GoogleNet、ResNet、VGG、Faster RCNN、Yolo、SSD、FCN和SegNet等主流神经网络,可实现人脸识别、物体识别、手势识别、目标跟踪等功能。

TX510内置3D引擎,定制低功耗 ISP 引擎,支持MIPI、RGB、USB、LPDDR2等接口,可以广泛应用在智能安防监控、智能家居、新零售等领域 。

TX510产品结构图。(来源:清微智能)

基于TX510的人脸识别系统产品流程。(来源:清微智能)

清微智能的可重构计算芯片因为可以依据应用和算法重构执行计算的硬件资源,所以具有按需即时重构、高能效、低功耗、可适用于多种场景的通用性特点。可重构芯片应用于图像信号处理的优势主要表现在:

  • 快速在芯片上实现最新的图像算法
  • 更加强大的图像处理性能
  • 更高的能量效率
  • 更低的成本,更低的NRE
  • 延长产品的生命周期
  • 给客户提供了自己定制ISP算法的可能

哪些数据可以在边缘端本地处理?哪些数据需要传输到服务器或云端进行集中处理和计算?

需要融合的数据(多台摄像头采集的数据需要融合处理)、必须需要结合云端数据库的数据、一些超大规模的模型的算法、需要做训练的数据等这些必须放到服务器和云端来处理,而除了这些数据其它的就可以放在边缘端来处理。

在为安防监控应用选择AI训练和推理芯片时,应考虑哪些因素?

价格、功耗、算力、尺寸,对多种算法的支持。

AI芯片和加速卡在智能安防领域的商用落地现状如何?未来发展趋势又是怎样的?

从国家战略层面看,人工智能是基本策略,从政策的制定到对市场的干预都在推动视频监控行业朝着智能化方向发展。

目前来看,在视频监控领域只能算是刚刚起步,特别是在一些的市场,但从传统到智能化一定是方向,一些算法公司也开始加入,而一些传统的芯片企业如果不转型,其产品的单一性,同质化,会导致其陷入价格竞争的尴尬境地,被一些新的厂商所替代。

责编:Steve

阅读全文,请先
您可能感兴趣
美国亿万富翁埃隆·马斯克在社交平台X上对F-35战斗机项目发出强烈批评,称在无人机技术迅速发展的时代,继续制造有人驾驶的战斗机是“傻子”的行为。
2024年8月,海康威视进行了管理层调整,经过这次调整,海康管理团队中60后的高管就全部退出了。
大疆在美国市场占据超过半数的份额,因此,这项法案如果生效,将会对美国大量无人机使用者和救援机构的业务展开产生重大影响。
加拿大女足的一名助理教练简思敏·曼德(Jasmine Mander)和一名技术分析师乔伊·隆巴尔迪(Joey Lombardi)涉嫌在法国圣艾蒂安市(Saint-Etienne)使用无人机偷窥新西兰队的封闭训练。
可以很形象地把CUBE当成小号的HBM。如果说服务器上的GPU搭配的是大容量、高带宽的HBM,用于匹配高算力芯片,那么CUBE就是采用类似思路的定制化存储元件,最大的不同就是容量……
虽然ML可以在MCU上实现,但AI任务的执行速度可能不够快,而且在执行AI时会消耗太多电量。在本文中,我们介绍了一种新型MCU架构,该架构采用两层推理系统,可在电池供电的情况下提供高级AI/ML。
全球人形机器人领域上市公司的百强名单将人形机器人产业链区分为大脑、身体以及集成三大核心环节,覆盖全球共计100家上市公司。中国共37家企业上榜(中国大陆32家,台湾5家),其中深圳7家,占中国大陆上榜企业近四分之一,包括比亚迪、腾讯、优必选、速腾聚创、雷赛智能、兆威机电、汇川技术等......
DeepSeek模型虽降低AI训练成本,但AI模型的低成本化可望扩大应用场景,进而增加全球数据中心建置量。光收发模块作为数据中心互连的关键组件,将受惠于高速数据传输的需求。未来AI服务器之间的数据传输,都需要大量的高速光收发模块......
凭借新一代3nm制程工艺与全新架构,骁龙® 8至尊版的单核和GPU 性能提升均超过 40%,使得Find N5在性能上实现质的飞跃……
简化物联网连接:应用就绪型软件构建模块
据业内人士2月11日透露,三星显示器近期限时推出名为“平衡假期”的特别假期。具体内容是,每周平均工作超过52小时的员工可获得三天带薪休假,每周工作超过60小时的员工可获得六天带薪休假。上个月,三星显示
据业内人士2月11日透露,三星显示器近期限时推出名为“平衡假期”的特别假期。具体内容是,每周平均工作超过52小时的员工可获得三天带薪休假,每周工作超过60小时的员工可获得六天带薪休假。上个月,三星显示
据IT业界9日报道,苹果公司最近进入了“可折叠iPhone”零部件供应商选择的最后阶段,据观察,三星显示器已决定独家供应初期面板量。据悉,三星将供应约1500万至2000万片,并将于明年5月开始量产,
点击蓝字 关注我们SUBSCRIBE to USImage: TASA总部位于东京的初创公司ArkEdge Space声称,其拍摄的可能是小型立方星(CubeSat)所拍摄的质量最高的地球照片(htt
我是芯片超人花姐,入行20年,有40W+芯片行业粉丝。有很多不方便公开发公众号的,关于芯片买卖、关于资源链接等,我会分享在朋友圈。扫码加我本人微信👇1.  信越化学(Shin-Etsu Chemica
周一,埃隆·马斯克与一群投资者提出以974亿美元收购ChatGPT开发商OpenAI,这一金额远低于这家人工智能公司最近1570亿美元的估值。OpenAI首席执行官萨姆·奥特曼在X平台上发文,立即拒绝
一年一度的新能源汽车“掀桌子”活动又开始了,前两年新能源汽车“价格战”的阴影还没有消散,今年关于智能驾驶只怕又要卷生卷死了。搅动风云的,依旧是那个男人,依旧是那个品牌——比亚迪,又来掀桌子了。昨晚,比
比亚迪放大招,智驾卷到10万元内!王传福:比亚迪全系车型搭载高阶智驾2月10日晚,比亚迪智驾发布会放出“王炸”,这家全球新能源汽车销量冠军宣布,将推出低、中、高三套不同配置高阶智能驾驶解决方案,首批搭
  电子无尘车间在设计时需要重视多个问题,以确保生产环境的洁净度、生产效率和安全性。以下是需要重视的设计问题,具体随合洁科技电子洁净工程公司一起来了解下吧! &emsp
据路透社报道,宁德时代计划本周提交港股上市申请,筹资至少 50 亿美元(当前约 365.4 亿元人民币)。2024年12月,宁德时代表示,经公司股东大会审议通过后,最快在 18 个月内完成在港上市,并