《电子工程专辑》8月刊封面专题的主题是智能安防三大硬核技术,我们从智能感知、图像/视频处理,以及AI计算这三个方面分别采访了多名业界技术专家。本文是清微智能CEO王博就智能感知、图像/视频处理和边缘AI计算方面的问答访谈。

点击报名参加直播

《电子工程专辑》8月刊封面专题的主题是智能安防三大硬核技术,我们从智能感知、图像/视频处理,以及AI计算这三个方面分别采访了多名业界技术专家。本文是清微智能CEO王博就智能感知、图像/视频处理和边缘AI计算方面的问答访谈。

王博,清微智能创始人兼CEO

王博获得北京邮电大学计算机通信专业硕士。2018年,带领清华大学可重构计算团队创办北京清微智能科技有限公司。在不到3年的时间内,实现两款超低功耗智能语音芯片和一款多模态智能计算芯片量产,目前已广泛应用于智能安防、金融支付、智能穿戴,航空航天等领域。

在王博的带领下,清微智能先后获得两届“中国芯”集成电路优秀技术产品奖、2019年世界互联网大会“领先科技成果”、中关村论坛创新大奖第一名、2020年科学技术奖技术发明一等奖、2021“silicon 100”等诸多荣誉。

AI为安防监控行业带来了哪些挑战和机遇?

随着技术的发展,对视频监控的图像处理能力提出了更高的要求,高清晰度、更逼真、昏暗场景下的图像显示等,而新的算法可以为其提供有效支撑,例如、图像去躁、双光融合等。清微智能主要从这些方向做优化,打造更加多样化的安防产品,解决之前同质化严重的问题。

智能安防的“智能”主要表现在哪些方面?

“智能”主要体现在对图像的甄别和数据的分析上,随着技术,特别是技术的发展,安防系统从传统的监测功能开始慢慢具有甄别的功能。现在比较常见的闯红灯识别、通缉犯识别、危险情况报警等,而再往后,安防系统会具有分析能力,应用前景也将变得更为广阔,例如养老、智慧社区等。

未来3-5年,智能安防有哪些值得关注的新兴技术及应用?

除了传统的交通、公安、社区等领域,视频监控未来在一些新兴领域会有更大发挥。例如,工业中的产品缺陷监测、安规测试;农业中的农作物病害检测、农产品无损检测等;线下零售行业的柜台监控等。

边缘AI如何与传感器结合让摄像头更智能?

边缘技术让数据采集之后被及时处理,这带来很多好处:第一、减少延时;第二、减少数据的传输带宽;第三、数据隐私和安全得以更好地保证;第四,摆脱对网络和云端计算的依赖;第五、让摄像头具有感知决策能力。

“数据就地处理”的边缘计算对图像处理器和视频处理器芯片提出了哪些新的技术和性能要求?

算力要求更高,功耗要求更低、处理速度更快;尺寸更小。

由清华大学可重构计算研究团队创办的北京清微智能开发的可重构计算芯片TX510,可以依据应用和算法重构执行计算的硬件资源,具有按需即时重构、高能效、低功耗等特点。TX510是一款面向IoT设备的超低功耗视觉处理芯片。 该芯片基于可重构神经网络引擎RNE,支持AlexNet、GoogleNet、ResNet、VGG、Faster RCNN、Yolo、SSD、FCN和SegNet等主流神经网络,可实现人脸识别、物体识别、手势识别、目标跟踪等功能。

TX510内置3D引擎,定制低功耗 ISP 引擎,支持MIPI、RGB、USB、LPDDR2等接口,可以广泛应用在智能安防监控、智能家居、新零售等领域 。

TX510产品结构图。(来源:清微智能)

基于TX510的人脸识别系统产品流程。(来源:清微智能)

清微智能的可重构计算芯片因为可以依据应用和算法重构执行计算的硬件资源,所以具有按需即时重构、高能效、低功耗、可适用于多种场景的通用性特点。可重构芯片应用于图像信号处理的优势主要表现在:

  • 快速在芯片上实现最新的图像算法
  • 更加强大的图像处理性能
  • 更高的能量效率
  • 更低的成本,更低的NRE
  • 延长产品的生命周期
  • 给客户提供了自己定制ISP算法的可能

哪些数据可以在边缘端本地处理?哪些数据需要传输到服务器或云端进行集中处理和计算?

需要融合的数据(多台摄像头采集的数据需要融合处理)、必须需要结合云端数据库的数据、一些超大规模的模型的算法、需要做训练的数据等这些必须放到服务器和云端来处理,而除了这些数据其它的就可以放在边缘端来处理。

在为安防监控应用选择AI训练和推理芯片时,应考虑哪些因素?

价格、功耗、算力、尺寸,对多种算法的支持。

AI芯片和加速卡在智能安防领域的商用落地现状如何?未来发展趋势又是怎样的?

从国家战略层面看,人工智能是基本策略,从政策的制定到对市场的干预都在推动视频监控行业朝着智能化方向发展。

目前来看,在视频监控领域只能算是刚刚起步,特别是在一些的市场,但从传统到智能化一定是方向,一些算法公司也开始加入,而一些传统的芯片企业如果不转型,其产品的单一性,同质化,会导致其陷入价格竞争的尴尬境地,被一些新的厂商所替代。

责编:Steve

阅读全文,请先
您可能感兴趣
美国亿万富翁埃隆·马斯克在社交平台X上对F-35战斗机项目发出强烈批评,称在无人机技术迅速发展的时代,继续制造有人驾驶的战斗机是“傻子”的行为。
2024年8月,海康威视进行了管理层调整,经过这次调整,海康管理团队中60后的高管就全部退出了。
大疆在美国市场占据超过半数的份额,因此,这项法案如果生效,将会对美国大量无人机使用者和救援机构的业务展开产生重大影响。
加拿大女足的一名助理教练简思敏·曼德(Jasmine Mander)和一名技术分析师乔伊·隆巴尔迪(Joey Lombardi)涉嫌在法国圣艾蒂安市(Saint-Etienne)使用无人机偷窥新西兰队的封闭训练。
可以很形象地把CUBE当成小号的HBM。如果说服务器上的GPU搭配的是大容量、高带宽的HBM,用于匹配高算力芯片,那么CUBE就是采用类似思路的定制化存储元件,最大的不同就是容量……
虽然ML可以在MCU上实现,但AI任务的执行速度可能不够快,而且在执行AI时会消耗太多电量。在本文中,我们介绍了一种新型MCU架构,该架构采用两层推理系统,可在电池供电的情况下提供高级AI/ML。
目前,智能终端NFC功能的使用频率越来越高,面对新场景新需求,ITMA多家成员单位一起联合推动iTAP(智能无感接近式协议)标准化项目,预计25年上半年发布1.0标准,通过功能测试、兼容性测试,确保新技术产业应用。
中科院微电子所集成电路制造技术重点实验室刘明院士团队提出了一种基于记忆交叉阵列的符号知识表示解决方案,首次实验演示并验证了忆阻神经-模糊硬件系统在无监督、有监督和迁移学习任务中的应用……
C&K Switches EITS系列直角照明轻触开关提供表面贴装 PIP 端子和标准通孔配置,为电信、数据中心和专业音频/视频设备等广泛应用提供创新的多功能解决方案。
投身国产浪潮向上而行,英韧科技再获“中国芯”认可
今日,长飞先进武汉基地建设再次迎来新进展——项目首批设备搬入仪式于光谷科学岛成功举办,长飞先进总裁陈重国及公司主要领导、嘉宾共同出席见证。对于半导体行业而言,厂房建设一般主要分为四个阶段:设备选型、设
来源:观察者网12月18日消息,自12月2日美国发布新一轮对华芯片出口禁令以来,不断有知情人士向外媒透露拜登政府在卸任前将采取的下一步动作。美国《纽约时报》12月16日报道称,根据知情人士以及该报查阅
投资界传奇人物沃伦·巴菲特,一位94岁的亿万富翁,最近公开了他的遗嘱。其中透露了一个惊人的决定:他计划将自己99.5%的巨额财富捐赠给慈善机构,而只将0.5%留给自己的子女。这引起了大众对于巴菲特家庭
12月18日,珠海京东方晶芯科技举行设备搬入仪式。插播:加入LED显示行业群,请加VX:hangjia188在10月31日,珠海京东方晶芯科技有限公司发布了Mini/Micro LED COB显示产品
来源:IT之家12 月 18 日消息,LG Display 韩国当地时间今日宣布,已将自行开发的“AI 生产系统”投入到 OLED 生产线的日常运行之中,该系统可提升 LG Display 的 OLE
对于华为来说,今年的重磅机型都已经发完了,而明年的机型已经在研发中,Pura 80就是期待很高的一款。有博主爆料称,华为Pura 80将会用上了豪威OV50K传感器,同时电池容量达到5600毫安时。至
万物互联的时代浪潮中,以OLED为代表的新型显示技术,已成为人机交互、智能联结的重要端口。维信诺作为中国OLED赛道的先行者和引领者,凭借自主创新,实现了我国OLED技术的自立自强,成为中国新型显示产
阿里资产显示,随着深圳柔宇显示技术有限公司(下称:“柔宇显示”)旗下资产一拍以流拍告终,二拍将于12月24日开拍,起拍价为9.8亿元。拍卖标的包括位于深圳市龙岗区的12套不动产和一批设备类资产,其中不
又一地,新型储能机会来了?■ 印度:2032储能增长12倍,超60GW据印度国家银行SBI报告,印度准备大幅提升能源存储容量,预计到2032财年将增长12 倍,超60GW左右。这也将超过可再生能源本身
近期,高科视像、新视通、江苏善行智能科技等企业持续扩充COB产能。插播:加入LED显示行业群,请加VX:hangjia188■ 高科视像:MLED新型显示面板生产项目(二期)招标12月18日,山西高科