3D空间计算作为革命性技术将逐步渗透至智能制造、自动驾驶、机器人等各个领域,并彻底改变人类的生活方式。而3D视觉+AI是3D空间计算的关键技术,也是智能识别、自主决策和精准控制的基础。
“随着机器视觉技术的不断成熟与广泛应用,3D空间计算正以前所未有的速度发展,逐渐成为连接现实与虚拟世界的桥梁。”5月17日,在第十四届松山湖中国IC创新高峰论坛上,合肥银牛微电子有限责任公司研发副总裁周凡在发表题为《NU4500:集3D视觉感知、AI及SLAM为一体的3D空间计算芯片》的主题演讲时说到,“尽管3D空间计算技术前景广阔,但它的应用仍面临一些挑战。”
合肥银牛微电子有限责任公司研发副总裁周凡
首先,传统的2D视觉技术已经无法满足日益复杂的终端应用需求。例如,2D视觉缺乏三维信息和空间距离,难以区分颜色相近的物体,也无法单纯依靠2D视觉进行操作或运动。因此需要将2D视觉升级为3D视觉,才能在泛机器人、元宇宙、智能汽车、3D交互、智能养老等场景中发挥越来越重要的作用。
其次,软件化的3D算法加上传统AI芯片或者FPGA芯片的方案不可持续。这种组合存在延时大、功耗大等问题,无法适应复杂的3D场景应用。为了克服这些限制,需要将3D双目立体算法直接固化在芯片上,实现算法芯片化。这样可以降低对大算力芯片的依赖,减少昂贵的定制传感器,实现在复杂3D环境下的实时感知,并使场景更为通用,易于实现3D视觉普及。
第三,适用于复杂场景的3D感知设备价格昂贵。多传感器融合会大幅增加系统成本和复杂度。为了解决这个问题,需要提供单芯片解决方案。通过单芯片实现3D+SLAM+AI,不需要额外的AI芯片和激光SLAM,从而达到低功耗、低成本和小型化的效果,这对设备端尤为重要。
据介绍,银牛微电子即将推出的3D空间计算芯片NU4500是全球唯一的单芯片集成芯片化3D视觉感知、AI、以及实时定位建图(SLAM)技术的系统级芯片。
周凡表示,相较上一代已量产芯片NU4000/NU4100,NU4500在AI通用算力和外设端口性能上大幅提升,可作为3D系统级主控芯片,助力新一代人形机器人实现具身智能。
详细参数方面,NU4500采用12nm制程,具备8核高性能CPU,可作为机器人、XR等终端设备主控使用;可同时处理10路摄像头信息,仅一颗芯片便可实现多传感器融合;边缘端AI算力进一步提升,最高可高达 7.5TOPS,并提供完整的边缘端深度学习算法库和解决方案;超低芯片功耗支持设备持久待机;超低运动到显示延迟仅约1ms,实现感知到动作的快速反应;另外还内置VDSP,视频编解码,PCIe/SDIO/USB 3.0接口等模块,满足各领域客户灵活应用需求。
与市面上其他解决方案相比,NU4500支持最多10路摄像头输入,能够提供更高的图像深度视觉处理能力,同时具备5个深度通道,且内置了深度自研的加速器,如异步时间扭曲引擎,其性能指标在全球范围内均处于领先水平。
“鉴于在AI算力方面进行的大幅度升级,NU4500能够为边缘计算提供更强大的支持,使得机器人、扩展现实设备等终端能够独立完成复杂的数据处理任务,无需依赖云端。” 周凡说到,“NU4500的推出,预示着3D空间计算技术即将迈入一个崭新的发展阶段,为智能制造、自动驾驶、机器人技术带来革命性的改变。”
关于银牛微电子
银牛微电子专注于3D空间计算技术的研究与应用,旨在通过创新的芯片技术,推动智能设备与真实世界的无缝互动,实现从2D到3D的全面升级,进而促进智能机器人、自动驾驶、办公、社交等领域的深度融合。
银牛微电子在全球范围内布局,其以色列子公司Inuitive在3D视觉感知处理引擎方面具有深厚积累,进一步增强了公司的研发实力。公司已与全球超过150家行业龙头客户建立了合作关系,包括亚马逊、国际顶级笔记本电脑制造商以及MR工业头显供应商等,共同推动3D空间计算技术在各领域的深度应用。
结语
银牛微电子NU4500芯片的推出,不仅标志着3D空间计算技术的又一次重大飞跃,也展现了公司在推动智能设备与机器人技术发展中不可小觑的创新力量。随着NU4500在未来市场的广泛应用,可以预见,它将在人形机器人、自动驾驶、智能家居等多个领域引发一系列创新应用,真正实现“感知世界,智控未来”的愿景。
周凡还透露,公司正与行业客户定制研发下一代5纳米工艺的NU5000芯片,“银牛微电子在3D空间计算领域的探索脚步不会停止,未来值得我们共同期待。”